A Prímási Levéltár Magyarország legnagyobb egyházi levéltára. Az itt őrzött anyag jelentősége a magyar történeti kutatások szempontjából azonban messze felülmúlja az intézmény iratfolyóméter alapján esetlegesen megítélhető értékét. Az esztergomi érsekek Magyarország prímásaiként ugyanis a hazai egyházi hierarchia csúcsán álltak, ők koronázták a magyar uralkodókat, de főkancellárként és a királyi tanács tagjaként, sőt bizonyos időszakokban helytartókként, az ország világi kormányzatában és belpolitikai életében is meghatározó szerepet játszottak, miközben még Esztergom vármegye örökös főispáni tisztét is betöltötték. Udvaruk emellett mindvégig a magyarországi kultúra és művészetek egyik meghatározó központja volt.

A levéltár jelentőségét fokozza az Esztergomi Főegyházmegye területi nagysága is. Ugyanis 1778-ig - a viszonylag kis terjedelmű nyitrai egyházmegye kivételével - az a hatalmas terület tartozott hozzá, amely a Dunától északra és a Morvától keletre egészen a Szepességig és Gömörig terjedt.  Területe összesen 15 vármegyét (Esztergom, Komárom, Bars, Hont, Pozsony, Szepes, Torna, Gömör, Nógrád, Trencsény, Zólyom, Turóc, Árva, Liptó és Nyitra egy része) ezen belül 2500 települést foglalt magába. Esztergomhoz tartozott továbbá számos exempt (a területileg illetékes püspök joghatósága alól kivett) helység és kolostor is. Ebből a területből szakították ki az 1776-ban felállított besztercebányai, rozsnyói és szepesi püspökséget. Egyidejűleg megszüntették az exemptiók túlnyomó részét is, de még így is Európa egyik legnagyobb egyházmegyéje maradt egészen 1919-ig, amikor területének túlnyomó része az országhatáron kívülre került. 

Így nem csekély a levéltár jelentősége a helytörténet és a gazdaságtörténet vonatkozásában sem.

A levéltár kezdetei az érsekség alapításának idejére, a XI. század elejére tehetőek, legkorábbi leltára a XV. század elejéről maradt fenn.

Helye a középkorban az esztergomi várhegy volt, melyen az iratokat feltehetően több helyen – és nem csak a székesegyház sekrestyéjében - őrizték, másként a történelem viharaiban teljesen megsemmisültek volna. Tudjuk ugyanis, hogy a Szent Adalbert székesegyház 1188 –1198 között leégett, s ekkor az iratok egy része is elpusztult. A középkori levéltárat újabb csapás érte 1304-ben, amikor is Vencel cseh király, magyar trónkövetelő elfoglalta az esztergomi várat, és a kincstárat a levéltárral együtt kifosztotta.

Az a tény, hogy a levéltár legkorábbi eredeti oklevelei a XII. század közepéről, tehát az említett nagy tűz előtti időből származnak, bizonyítja, hogy az iratokat nem egy, hanem több helyen – és nem csupán a székesegyházban – őrizték.

Mielőtt a török 1543-ban elfoglalta volna Esztergomot, a levéltárat elköltöztették a városból. Feltételezhető, hogy a levéltárat a kincstárral együtt menekítették, mint azt Mária királyné tette 1526-ban a királyi kincstár és levéltár esetében. Ha ez valóban így történt, rekonstruálhatnánk az iratok Esztergom és Nagyszombat közötti útját.

Tény azonban, hogy a török miatt Nagyszombatba áthelyezett egyházi központban nyert elhelyezést mind a Prímási, mind a Főkáptalani Levéltár. A levéltárnak és könyvtárnak Forgách Ferenc érsek (1607 – 1615) új épületet biztosított.

Tekintettel arra, hogy az ország központja a török megszállás miatt Pozsony lett, ahol a királykoronázások és az országgyűlések zajlottak, a prímások is palotát építtettek maguknak e városban. Mivel az esztergomi érsekek a XVIII. századtól már nagyrészt Pozsonyban tartózkodtak, az itt keletkezett iratok számára Pozsonyban is kialakítottak egy levéltárat. A XVIII. század végéről fennmaradt rendezési iratok alapján valószínűsíthető, hogy a Prímási Levéltár anyagait átszállították Pozsonyba, míg a Főkáptalan iratai Nagyszombatban maradtak. Tudomásunk van arról is, hogy irattári jelleggel Budán is őriztek iratokat, amelyeket aztán Pozsonyba szállítottak.

A levéltárakat többször is rendezték: 1608-ban Forgách Ferenc érsek, 1699-ben Kollonich Lipót érsek, 1726-ban pedig Esterházy Imre érsek megbízásából. Jóval a török kiűzése után Barkóczy Ferenc érsek (1761 – 1765) a székhelyet vissza kívánta helyezni Esztergomba. Barkóczy 1765-ben – talán a tervbe vett költözés miatt is – rendeztette a levéltárat. Ekkor kötötték be a Főkáptalani Magánlevéltár számos iratát is a könyvtár egykori kódexeinek lapjaiba.

A Prímási Levéltár mai rendszerét Batthyány prímás rendeletére alakították ki, az ő kívánsága volt, hogy az egyházkormányzati levéltárat a helytartótanács levéltárának mintájára alakítsák ki. A levéltár rendszerének kidolgozója a prímás fiatal, tehetséges titkára, a 22 éves Fuchs Ferenc, a későbbi egri érsek volt. Az iratoknak általa kidolgozott tematikus kategóriákba történő rendezése tovább fejlődve egészen 1941-ig használatban volt a prímási irodában.

Rudnay Sándor hercegprímás 1820-ban az érseki székhelyet közel – 280 év elteltével – visszahelyezte Esztergomba. Megindult a különböző intézmények, így a levéltárak költöztetése is. Az iratokat ládákba helyezve Pozsonyból hajón hozták Esztergomba, ahol feltehetően az ideiglenes prímási palotában nyertek elhelyezést.

A kor színvonalán álló, napjainkban is elfogadható raktárt alakíttatott ki a nagy mecénás, Simor János bíboros, hercegprímás az 1882-ben átadott prímási palotában. A Prímási Levéltár egyházkormányzati iratai és gazdasági iratainak egy része ma is itt található. A gazdasági iratok nagyobb része a Főkáptalani Levéltárral együtt az esztergomi bazilika sekrestyéje fölötti folyosó északi részében nyert elhelyezést, majd a Főszékesegyházi Kincstár bővítése miatt 1978-ban egy emelettel följebb költöztették. Az itteni elhelyezés 2007-ben szűnt meg, mert az állományt a levéltár új raktáraiba, a régi szeminárium épületében kialakított Szent Adalbert Központba szállították át.