A múzeum törzsgyűjteményének alapját a volt Esztergomi Szent Benedek Rendi Főgimnázium 1860-as évektől regisztrált régiség- és éremgyűjteménye, Knauz Nándor püspök és más gyűjtők (Rényi Rezső, Némethy Lajos, Brenner Ferenc, Einczinger Ferenc, Reviczky Elemér stb.) régiséggyűjteményei képezték. Ferenczy Jákó bencés igazgató 1875-ben alapította meg a helyi "Múzeum Egyletet". 1891-92-ben Récsey Viktor és Knauz Nándor már jelentős ásatásokat végzett Esztergom területén. 1894-ben, Knauz Nándor felhívására alakult meg az "Esztergom-vidéki Régészeti és Történelmi Társulat", amelynek célja:
        "Esztergomban és vidékén (Esztergom-, Bars- és Hontmegyékben) lévő őskori, ó- és középkori régiségek felkutatása és gyűjtése ajándékozás, vásárlás, becserélés és ásatások eszközlése útján s azoknak a társulat székhelyén alapitandó régiségtárban való közszemlére s tudományos czélra szolgáló rendszeres felállitása. A történelmi kutatás az illető vidék első sorban Esztergommegye és város monographiájának előkészitésére és megirására irányul".
        A gyorsan gyarapodó gyűjtemény 1898-ban került (a bencés gimnáziumból) a Főszékesegyházi Könyvtár (Bibliotheka) épületében első, nyilvános kiállításra.
        A gyűjtemény leltára 1900-ban nyomtatásban is megjelent a Társulat III. Évkönyvében, amely ekkor 617 tételben mintegy 1500 db (régészeti, helytörténeti, néprajzi, iparművészeti, numizmatikai és természettudományi) tárgyat jelentett.
        1913 és 1933 között különböző épületekben működött a múzeum, amely ekkor visszaköltözött a Bibliotheka épületébe, ahol 1989-ig maradt.
        A II. Világháború után államosították a gyűjteményt, (ekkor kapta a "Balassa Bálint Múzeum" elnevezést), amelynek élére Zolnay Lászlót nevezték ki (1951-1959), akit Nagy Zoltán követett (1961-1969). Nevezettek működésük idején szakmai felügyeletet gyakoroltak a többi egyházi gyűjtemény (Keresztény Múzeum, Kincstár) fölött is, sőt 1961-től az egyházi tulajdonban lévő egykori királyi palota feltárt és látogatható épületegyüttesét is államosítva, azt a Balassa Bálint Múzeumhoz csatolták. (Így működött intézményünk Nagy Zoltán vezetésével � egységes múzeumként - 1964-ig, amikor a megyei múzeumi szervezetek kialakulásával egy időben a Művelődésügyi Minisztérium és a Komárom megyei Tanács közös megállapodása szerint - a régészeti feltárások és helyreállítás idejére - a királyi palotát Vármúzeum néven a Minisztérium kezelésébe vonták, de a korábbi igazgató továbbra is mindkét intézmény vezetője maradt.) 1969. óta Horváth István a Balassa Múzeum igazgatója.
        1968-ban a múzeum megkapta a vízivárosi "Régi Vármegyeházát" ("B"-épület: Pázmány Péter u. 13.). A középkori alapokra épített egyemeletes barokk épületben kapott helyet a múzeum legjelentősebb anyaga a régészeti gyűjtemény, a restaurátor műhelyek és a kiállítások.
        1987-89 között a Víziváros főterén lévő copf stílusú egyemeletes lakóházat is múzeumi célra átalakítva végleges helyet kapott a múzeum többi gyűjteménye és irodái is, amelyek 1990-ben foglalták el mai helyüket ("A"-épület: Mindszenty tér 5.).
        A Balassa Bálint Múzeum jelenlegi gyűjtőterülete Komárom-Esztergom megye keleti harmada, - azaz a történeti Esztergom vármegye Dunától délre eső fele. Legfőbb tevékenysége - múltjából és helyzetéből adódóan: a régészet, helytörténet és néprajz területére terjed ki.

Gyűjteményeinek állománya 2002. december 31-én:

Számadatok:	Egyedi leltározott db:
természettudományi gyűjtemény	2847 db
régészet	129854 db
történeti	11028 db
numizmatika	19247 db
néprajz	6349 db
képzőművészet	6691 db
iparművészet	978 db
irodalomtörténet	71 db

        Az állandó kiállítás mellett időszakos helytörténeti, vagy képzőművészeti kiállítások is látogathatók.

        A múzeum kiállításaival, rendezvényeivel, munkatársainak közéleti szerepvállalásával fontos szerepet játszik Esztergom város és a megye kulturális, tudományos és közművelődési életében.