Pałac Rudowskich wybudowano w 1899 roku, a od 1900 roku został zamieszkany. Poza wspomnianą salą koncertową wnętrze pałacu skrywa 52 pomieszczenia, z czego 29 to sale dydaktyczne. Jest to piętrowy budynek, który od dwudziestu lat służy edukacji muzycznej. Zresztą od drugiej dekady XX stulecia mury tego budynku służyły celom społecznym. Po I wojnie światowej mieściła się tu szkoła handlowa, a w okresie II wojny światowej szkoła kupiecka. Była to jedyna placówka ucząca zawodu w okupowanym przez Niemców Piotrkowie. Po 1945 roku ponownie pałac stał się siedzibą szkoły handlowej, a następnie szkoły budowlanej i odzieżowej, by w 1989 roku przyjąć przyszłych muzyków. Państwowa Szkoła Muzyczna szykowała się wówczas do jubileuszu. Wraz z objęciem budynku Rada Pedagogiczna z okazji 25-lecia istnienia szkoły, postanowiła nadać jej imię Ignacego Jana Paderewskiego. W jubileuszowych obchodach wzięły udział ówczesne władze Piotrkowa Trybunalskiego, goście, zaprzyjaźnieni artyści, a tablicę pamiątkową odsłoniła w dniu 9 listopada 1990 roku krewna patrona – Emilia Paderewska-Chruścicka. W historii samej szkoły też odnotowano wiele muzycznych wydarzeń, m.in. odbyły się tu: Ogólnopolski Konkurs Pianistyczny im. I. J. Paderewskiego, Ogólnopolski Festiwal Klarnetowy, Regionalny Konkurs Akordeonowy, Międzyszkolny Konkurs Pianistyczny Szkół Muzycznych I stopnia, Piotrkowskie Spotkania Fletowe czy Warsztaty Orkiestrowe.
Potomkowie rodu Rudowskich odwiedzali to miejsce kilkukrotnie. M.in. w 1983 roku gościł tu światowej sławy chirurg i transfuzjolog – Witold Rudowski. Z jego inicjatywy podniszczony wówczas pałac wyremontowano. 9 marca 1983 roku podpisano akt notarialny, w którym potomek rodu Rudowskich przekazał budynek na rzecz miasta. Ponowny remont odbył się w roku 2011 i potrwał kilkanaście miesięcy. Prace dofinansowano m.in. z budżetu Ministerstwa Kultury i Dziedzictwa Narodowego.
Pałac położony jest przy ulicy Pasaż Rudowskich, obok budynku Urzędu Miasta, więc dojazd nie powinien stanowić dla nikogo problemu. Z racji tego, że w Pałacu znajduje się obecnie szkoła muzyczna, wstęp do środka jest wolny, choć o możliwość zwiedzania wnętrz warto zapytać przedstawicieli dyrekcji.