A múzeum 1897-1951-ig Tolnavármegyei (!) Múzeum néven szerepelt, 1951-1989-ig Béri Balogh Ádám, 1989-től az alapító múzeumigazgató, Európa hírű régész Wosinsky Mór (1854. Tolna-1907. Szekszárd) – eredeti foglalkozása római katolikus pap – nevét viseli. A múzeum könyvtárának története a múzeum alapításával egyidős, Wosinsky ennek alapjait is lerakta. A könyvtár állománya majdnem egészében ajándékozás útján gyűlt össze az alapító, valamint gróf Apponyi Sándor, báró Jeszenszky László és György, és több – Tolna megyében akkoriban ismert – személyiség adományaiból. A Múzeumok és Könyvtárak Országos Főfelügyelősége által biztosított egyedüli pénzbeli segítség lehetővé tette a legszükségesebb régészeti és numizmatikai munkák, alapvető folyóiratok, akadémiai kiadványok beszerzését. A múzeum megnyitásakor a könyvtárat az emeleti nagyteremben (a X. teremben) a képtár és szoborgyűjtemény társaságában, tíz nagy szekrényben helyezték el. Fűtés, világítás, egyéb bútorzat nem volt. A vármegyei törvényhatósághoz ez ügyben küldött kérelem eredménytelen volt, ezért a Múzeumok és Könyvtárak Országos Felügyelőségéhez folyamodott az igazgatóság rendkívüli segélyért. Külön helyiséget kapott – a földszinti oldaltermet – a vármegyei levéltár iratanyaga. Az 1901. évi múzeumi állomány nyilvántartásában együtt szerepel az „emlék és könyvtári osztály” 2342 darabbal. A könyvtárosi teendőket Haugh Béla, a könyvtári osztály őre látta el, aki könyvtárhasználati szabályzatot készített, amely rögzítette, hogy a könyvtárat „bármely művelődésre törekvő egyén” díjtalanul használhatja: helyben olvashat vagy kellő garanciák mellett kölcsönözhet. Az eligazodást cím szerinti betűrendes, szak- és raktári katalógus segítette. Az általa összeállított és 1904-ben kiadott könyvtári katalógus 2189 kötetet tartott nyilván. Ebben legnagyobb számban jogi és államtudományi munkák, görög és latin írók művei, a magyar- és egyetemes történetet feldolgozó kiadványok szerepeltek. Oklevelek, kéziratok, céhes iratok, nyomtatványok rendezésre vártak. 1901-ben Wosinsky Mórt nevezték ki a Múzeumok és Könyvtárak Országos Felügyelőjévé.
A könyvtári osztály 1904. évi államsegélye 500 korona, gyarapodása: ajándék: 87 db, vétel: 82, összesen 169. Év végi állomány: 2507 db.
Az 1905. évi jelentésből tudjuk, hogy a múzeumot 1905. június 15-től 1906 májusig zárva tartották, mert az emeleti termek fenyő gerendáit – azok korhadása miatt ¬¬– kicserélni kényszerültek. Ezzel egyidejűleg a termek átrendezésére is sor került, így a könyvtárnak a nagyteremből való átköltöztetésére is. A főfelügyelőség az egyik volt néprajzi termet jelölte ki e célra, „mert a könyvtárnak a nagyteremben való elhelyezése célszerűtlen, azt ott bővíteni, az erre szükséges tér hiányában nem lehet”. A Múzeumok és Könyvtárak Országos Felügyelősége a múzeum nagytermét 100 darab ülőszékkel és két hosszú olvasóasztallal látta el, valamint „vasszerkezetű nyílt állványokat” rendelt (2000 korona értékben) a budapesti Schlick-féle vasöntő gyárban a könyvek részére. Az új könyvtártermet egy korláttal két részre – könyvkiosztó és olvasó területre – bontotta. Az állványok 1906 tavaszán érkeztek meg és 10 000 kötet befogadását tették lehetővé. 287 korona költséggel bevezették a villanyt az egész épületben. 600 korona államsegélyt tudtak könyv- és folyóirat beszerzésre fordítani. Ez évben 499 darabbal gyarapodott az állomány, ebből 264 db egyéni ajándékozás révén. A könyvtár 1905. évi törzsállománya 2680 kötet.
1906. Az éves államsegély szintén 600 korona volt. Ajándék: 123, vétel 66, összes gyarapodás 189. Év végi állomány: 2769. Befejeződött a könyvtár átköltöztetése, rendezése.
1907. február 22-én elhunyt Wosinsky Mór. Az igazgatói teendők ellátásával rövid időre Dőry Pál vármegyei alispánt bízták meg, őt az év végén Kovách Aladár követte. Egyéb személyi változások mellett, a könyvtári osztály őrének Tolnai Arthur főgimnáziumi tanárt nevezték ki. A múzeum igazgatósága a vallás- és közoktatási miniszterhez folyamodott, hogy Wosinsky Mór hagyatékából elsősorban keletről hozott tárgyai és könyvtára, államköltségen megvásárolhatók legyenek. A miniszter 1500 koronát ajánlott fel azon művekért „melyek a múzeum könyvtári czéljaira alkalmasak”. Az 1907. évi gyarapodási jegyzék viszont ajándék címen rögzíti a Wosinsky hagyatékból származó Cohen: Himelschlüssel és az Archaeologiai Értesítő 12-18, 20, 22, 24, 28. számait, a hagyaték többi részéről azonban nem esik szó. A könyvtári osztály állami segélye ebben az évben 500 korona volt. 316 kötettel gyarapodott a könyvtár, ebből ajándék 175, vétel 141, év végi állomány 3085.
1911-ben a Múzeum-Egyesület kezdeményezésére és pártfogásával munkásgimnáziumi tanfolyamot szerveztek és ennek hallgatói részére – tanulmányaikat segítendő – külön kis könyvtári részleget hoztak létre a Múzeumok és Könyvtárak Országos Tanácsa által ajándékozott 96 kötettel. Ez a 1912/13-as tanévben 66, a 1913/14. évben újabb 64 kötettel gyarapodott és így állománya összesen 226 kötetből állt. Horváth Gyula könyvnyomdász kezelte ezt a könyvtárt. Hetenként kétszer volt könyvkiosztás.
A múzeum életére vonatkozó minden múzeumi irattári adat 1907-től 1945-ig a második világháború alatt megsemmisült, a múzeum hadikórházként működött. Az épület és berendezése, valamint az összegyűjtött tárgyi anyag – köztük a könyvek – súlyos károkat szenvedett. A kiállítótermeket hosszú ideig gabonaraktárnak használták. A háború után évekig nem volt megoldott a könyvek biztonságos elhelyezése. Jelentősebb gyarapodás 1945 után a vagyonelkobzással sújtott – Tolna megyei – földbirtokos családok könyvanyagának a múzeumban történő elhelyezése révén következett be. Az épület helyreállítása, részleges felújítása csak 1957-ben kezdődött meg. A központi fűtést 1978-ban vezették be. A könyvtár elhelyezésére 1961-ben került sor a földszinten, a keleti oldalon, szűk alapterületen. A könyvek jelentős része az irodákban elhelyezett polcokon tárolódott. 1965. január 1-én 6 264 db könyv és 1 501 db folyóirat tartozott az állományba. 1961-1976 között csatolt munkakörben látta el mindig más – változó sikerrel – a könyvtárosi feladatokat, amely a későbbiekben számtalan nehézséget okozott a szakember számára. 1976. január 1-től sikerült fő állású könyvtárost alkalmazni.
1981-ben a földszinten lévő kiállító terem „feláldozásával” 72 m²-es könyvtárterem létrehozására, berendezésére került sor, amelyben 24 fm, 3 m magas szabadpolcos rendszer tárolja a könyveket. 1990-től folyamatosan törekedtek a berendezés megújítására: székek, asztalok cseréje, új függönyök, folyóirat tároló polc, a világítás modernizálása. Az első internetes számítógép is itt került elhelyezésre, nyomtatóval együtt. A nyugodt olvasási lehetőségek mellett a múzeumi rendezvények, munkahelyi megbeszélések helyszínévé vált a könyvtár. A szemben lévő folyosón helyezkedik el a zárt könyvraktár.
A külön gyűjtemények (Garay János, Babits Mihály, Baka István) az 1967-ben megnyitott Babits Emlékházban kaptak helyet, Mészöly Miklós könyveinek egy részét a 2005. január 19-én átadott Mészöly Emlékházban mutatták be. Esze Tamás könyvgyűjteménye a Vármegyeházán külön helyiségben, a régi könyvanyag zöme „A régi vármegyeháza világa” című kiállításban, valamint a könyvtárteremben került elhelyezésre.
1994 elején kezdték el a könyvtári anyag számítógépes nyilvántartását. A központi könyvtár, valamint az Esze Tamás könyvtár állománya ily módon is hozzáférhető.
Gyűjtőkör: régészet, történelem, helytörténet (Tolna megye), néprajz, muzeológia általában, múzeumi kiadványok, restaurálás, művészet, iparművészet, a vármegyéhez kötődő írók művei. Az Esze Tamás könyvtárban a leggazdagabb anyag a Rákóczi-szabadságharcra vonatkozó szakirodalom és a vallástörténeti munkák.
A központi könyvtár állománya: 20.114 egység (2018. december 31.). Esze Tamás könyvtár: 3750 egység. Külön gyűjtemények: 5448 egység. Régi könyvanyag (1500-1800): 562 egység. A megrendelt folyóiratok száma: 14 féle.
A legrégibb magyar nyelvű könyvünk a Bécsben 1626-ban kiadott Szent Biblia. A legértékesebb darab egy Franciaországban készített 14. századi, kézzel írott és festett hóráskönyv (imádságos könyv).