Idea powołania do życia muzeum poświęconego historii Kielc sięga początków kieleckiego muzealnictwa. Dzieje miasta zaistniały na wystawach i w zbiorach utworzonego w Kielcach w 1908 roku muzeum Polskiego Towarzystwa Krajoznawczego. W okresie międzywojennym kilkakrotnie podejmowano próby zorganizowania w Kielcach Muzeum Historii Kielc, Muzeum Ziemi Kieleckiej czy Muzeum Regionalnego. Tuż przed II wojną światową zainicjowano organizację Muzeum Ziemi Kieleckiej i koncepcję budowy siedziby Muzeum Świętokrzyskiego.

W czasie II wojny światowej zbiory Muzeum Świętokrzyskiego PTK uległy rozproszeniu, zachowały się m.in. cenne archiwalia dokumentujące okres powstań narodowych, lata I wojny światowej i II Rzeczypospolitej. Dzieje kieleckiego muzealnictwa do 1950 roku były związane z pozostałościami przedwojennego Muzeum Świętokrzyskiego. Komitet Organizacyjny Muzeum Regionalnego w Kielcach, przejął część zespołu kamienic przy kieleckim Rynku, a pierwszym dyrektorem placówki został Juliusz Nowak-Dłużewski, zastąpiony w 1947 roku przez Edmunda Massalskiego, przyrodnika i krajoznawcę. W latach 50. XX wieku powstała inicjatywa, rozpropagowana przez Jana Pazdura, utworzenia Muzeum Techniki w Kielcach, które zajęłoby się ochroną tego „co jeszcze ocalało w postaci materialnych zabytków na obszarze Zagłębia Staropolskiego”. W następnych latach, podobnie jak w okresie międzywojennym, próbowano zainicjować powstanie Muzeum Historii Kielc lub choćby stałej ekspozycji historycznej. Należy wskazać też na działania podejmowane w Muzeum Świętokrzyskim (później Narodowym), których efektem była urządzenie czterech czasowych wystaw prezentujących dzieje miasta: IX wieków Kielc (1971), Kielce w latach I wojny światowej (1981), Kielczanie – pokolenie nadziei. Kielce w latach 1918-1939 (1993), Od rozbiorów do niepodległości (1998).

Idee ochrony dziedzictwa regionalnego były propagowane przez Towarzystwo Przyjaciół Kielc, które w 1986 roku zaproponowało utworzenie Muzeum Historii Kielc. Równocześnie podejmowano inicjatywy mające na celu zorganizowanie stałej wystawy historycznej lub Muzeum Historii Kielc jako oddziału Muzeum Narodowego albo samodzielnego Muzeum Historycznego; projektowano także założenie w Kielcach Muzeum Techniki (1988); zagadnienia te omawiano także na posiedzeniach Rady Miasta Kielc w latach 90. W kołach muzealnych podejmowano również próby organizacji Muzeum Historii Kielc lub stałej ekspozycji historycznej. W latach 1993-1994 powstała koncepcja utworzenia stałej wystawy historycznej Z dziejów Kielc w północnym skrzydle pałacu biskupów krakowskich, ukazująca rolę miasta w dziejach gospodarczych regionu. W latach 90. w Dziale Historii Muzeum Narodowego powstawały kolejne wersje scenariusza stałej wystawy historycznej Dzieje Kielc, modyfikowanego zgodnie z bieżącymi potrzebami i projektami nowych lokalizacji. Po wielu dziesięcioleciach od powstania pomysłu stworzenia muzeum miejskiego pierwszego września 2006 r. Rada Miasta Kielc podjęła uchwałę o zainicjowaniu działalności nowej placówki muzealnej, a 30 października instytucja otrzymała swoją siedzibę w wyremontowanej XIX-wiecznej kamienicy przy ul. Świętego Leonarda 4.