Turtinga ne tik Pinigų muziejaus ekspozicija, bet ir pastato, kuriame muziejus įsikūręs, istorija.
Pinigų muziejaus pastatas (Totorių g. 2/8) yra senesnis net už pagrindinį Lietuvos banko (Gedimino pr. 6) pastatą. 1874 m. rugpjūčio mėn. Vilniaus gubernijos statybos skyrius išdavė leidimą antros klasės gildijos pirkliui Tadui Koščicui statytis dviejų aukštų mūrinį namą Totorių g. ir Georgijaus pr. (dabar – Gedimino) sankirtoje. Trapecijos plano sklype buvo statomas dviejų aukštų T raidės plano namas. 1875 m. liepą T. Koščicas gavo leidimą šį namą paaukštinti – statyti trijų aukštų. Naujai sumūrytas namas iš trijų pusių buvo aptvertas medine tvora su mūro laipteliais. 1899 m. vietoj buvusio ūkinio pastato prie namo Totorių g. buvo pristatytas trijų aukštų korpusas su įvažiavimo vartais, abiejuose iškyšų kampuose buvo pastatyti kolonomis paremti erkeriai – balkonai. Taip susiformavo Vilniaus istorizmo laikotarpio architektūrai labai neįprastas fasadas.
XIX–XX a. sandūroje čia vyko aktyvi ūkinė veikla. Gana ryškiomis rusvomis spalvomis dažyto namo balkonai, sienos, net pastogės karnizas nukabinėti įvairiausiomis reklamomis, skelbiančiomis apie čia veikusius restoraną, bandelių ir riestainių parduotuvę, okulisto kabinetą, advokato biurą.
Po Antrojo pasaulinio karo namas buvo nacionalizuotas. 1960 m. jame buvo Valstybinio pedagoginio instituto neakivaizdinis skyrius. Vėliau namo pirmame ir antrame aukštuose buvo įsikūrusi Lietuvos TSR socialinės apsaugos ministerijos Darbo apsaugos inspekcija, o trečią aukštą užėmė TSRS tarptautinio ekonomikos banko skyrius. Pirmo aukšto kampe iki 2006 m. buvo vaistinė. Po Lietuvos nepriklausomybės atkūrimo namas atiteko Lietuvos bankui. Kurį laiką bankas užėmė tik trečią šio namo aukštą, kur buvo įsikūręs Tarptautinio departamento skyrius. Kitomis patalpomis naudojosi Respublikinis gyventojų įdarbinimo, permokymo ir profesinio orientavimo centras (Darbo birža). Vaistinei ir Darbo biržai išsikėlus, namas restauruotas, atkurti istoriniai fasadai.
2010 m. atidaryta nauja Lietuvos banko muziejaus ekspozicija. Muziejus, kurio eksponatai saugomi senojoje banko saugykloje, buvo įsteigtas 1999 m. birželio 25 d. Persikėlęs į naujas patalpas, Lietuvos banko muziejus pasivadino Pinigų muziejumi.