Nop, não uso plugins no Firefox, isto acontece com várias pessoas, não é só a mim, só fechando e voltando a abrir o browser é que ele volta a valores normais...
Sim, eu sei que ele vai "crescendo"... mas não tanto assim. O meu tem sempre 20/30 tabs abertas, começa com 250MB, e ao longo de vários dias vai subindo até aos 400MB... Quando chega aos 500MB - pimba, fecho e reabro e volta ao normal.