A képzőművészeti gyűjtemény története a múzeum alapításával egy időben kezdődik. 1902-ben az újonnan felépült múzeumpalotában megnyílt kiállítás már önálló képző- és iparművészeti kiállító helyiséggel rendelkezett. A képtár Tolna vármegye jeleseinek arcképcsarnokából és a Vallás- és Közoktatási Minisztérium ajándékaiból állt össze. Az elkövetkező években alig gyarapodott a gyűjtemény, a műtárgyak száma nem haladta meg a pár százat. A második világháború pusztításai ezt az egységet sem kímélték, a képek és a nyilvántartás is nagyrészt megsemmisült.

1949-ben a kastélyok és kúriák államosításával új fejezet kezdődött a gyűjtemény történetében. A kúriákból valamint a közhivatalokból bekerült 18-19. századi festmények vetették meg a jelenlegi gyűjtemény alapját. Ugyancsak az ötvenes évek elején jutott a néhány szekszárdi születésű festő, mint pl. a 19. század első felében működő Boros Nepomuk János (1808-1855), valamint Miklósi M. Ödön (1881-1942) és Garay Ákos (1866-1952) anyaga a múzeumba.

A 18-19. századi festmények restaurálása és kiállításon való bemutatása az 1980-as évek közepétől vett lendületet. Ezek nagy részét a főnemesi, köznemesi családok arcképei alkotják. Közülük is kiemelkednek a Mertz János arckép- és oltárképfestő által készített, az Apponyi család tagjait ábrázoló, finom színvilágú, egészalakos portrék 1780-ból. A családi arcképcsarnokokból származó legkorábbi datált képünk Jeszenszky Antalt ábrázolja 1746-ból. A 19. század elején kialakult Csapó arcképgaléria számos képét Egger Vilmos (1792-1830) svájci születésű festő készítette. Az együttes egy családi csoportképpel is kiegészült, mely a berlini és bécsi működés után Pestre települő Neugass Izidor (1784-1847) munkája. A 19. századi portréfestészet jó nevű képviselőinek, Donát Jánosnak (1744-1830), Kovács Mihálynak (1819-1892) és Györgyi Giergl Alajosnak (1821-1863) alkotásait találhatjuk meg a női arcképek sorában.

Tolna vármegyében 1830 táján Csapó Dániel javaslatára indul el a főispáni galéria kialakítása, amely később a megye kiemelkedő személyiségeinek arcképével egészült ki. Többek között Egger Vilmos (1792-1830), Pesky József (1795-1862), Györgyi Giergl Alajos (1821-1863), Barabás Miklós (1810-1898) Than Mór (1828-1899), Vastagh György (1834-1922), Balló Ede (1859-1936), Paczka Ferenc (1856-1925) által festett portrékat tartalmaz az együttes. A portrék mellett kisebb számban ugyan, de jelentős bibliai és mitológiai témájú festményeket, táj- és életképeket is őrzünk.

Mattioni Eszter (1902-1993) festőművésznő 1982-ben festményei és hímeskövei jelentős gyűjteményét adományozta szülővárosának, Szekszárdnak. A művek a város letétjeként múzeum vármegyegázi kiállítóhelyén láthatók.

A 20. század második felében a gyűjtemény szinte kizárólag kortárs képzőművészeti alkotásokkal gyarapodott. Főként a megye képzőművészetének és az innen elszármazott alkotók munkásságának dokumentálását tűztük ki célul. 2002-ben a Tolna megyei születésű Bazsonyi Arany (1928-2011) festőművésznő 207 db festményét és grafikáját ajándékozta a múzeumnak.

2009-ben Kárpáti Éva (1936) festőművész 36 db írókról, festőkről és zenészekről készített portréját ajándékozta a gyűjtemények. 2012-ben Mözsi Szabó István (1927) festőművész Ikonosztáz című alkotását ajándékozta a múzeumnak.

2016-ban V. Bazsonyi Arany halálának 5 éves évfordulóján újabb jelentős ajándékkal gyarapodott a képzőművészeti gyűjtemény. Hubert Ildikó, a festőművész monográfusa Bazsonyi Arany szellemi végakaratát teljesítve, több mint 1000 db művet, döntőrészben rajzokat, vázlatokat, fiatalkori akvarelleket, néhány festményt és színvázlatot, a művész életét és műveit dokumentáló fénykép- és diafelvételt adott át a gyűjtemény számára.