Budynek został zbudowany w 1626 roku zaś rezydencję biskupów kujawskich utworzono w latach 1768-1773. Powstała w wyniku przebudowy, której inicjatorem był biskup Antoni Ostrowski. Autorem projektu był Franciszek Placidi – urodzony w Rzymie włoski architekt i rzeźbiarz, jeden z największych twórców późnego baroku.

Przebudowa miała na celu utworzenie w Wolborzu letniej rezydencji dla kościelnych dygnitarzy. Ostatecznie przybrała ona postać dwukondygnacyjnej budowli przykrytej czterospadowym dachem. Ściany urozmaicono pilastrami, czyli płaskimi kolumnami umieszczonymi przy samej ścianie. Elewację ozdobiły liczne łuki i ryzality. Budynek pałacu został też symetrycznie wzbogacony oficynami, które zamykają dziedziniec. Teren wokół pałacu otoczono parkiem, wyznaczonym na planie prostokąta i ulokowanego symetrycznie względem osi głównej zabudowań. Po bokach perspektywę podkreślają rzędy lip.

Przed budynkiem, na dziedzińcu, znajduje się Pomnik Czynu Grunwaldzkiego, odsłonięty w 1960 r. z okazji 550 rocznicy wymarszu wojsk Władysława Jagiełły z Wolborza na bitwę grunwaldzką.

Po wyprowadzce biskupów, budynek stanowił m.in. schronienie dla inwalidów wojennych. Później ulokowano tu siedzibę Hufców Pracy. W roku 1939 część zabudowań strawił pożar. Okres II wojny światowej to czas, gdy w rezydencji biskupiej zaczęli urzędować Niemcy. Po wojnie mury pałacu stały się schronieniem dla uczniów Wyższej Szkoły Gospodarstwa Wiejskiego, a później stanowiły siedzibę Domu Dziecka i Liceum Pedagogicznego.

Pałac można też było zobaczyć na planie filmowym. W 1969 toku obiekt ten stanowił plan plenery do film „Rzeczpospolita babska” w reżyserii Hieronima Przybyła.

Dojechać tu bardzo łatwo. Wystarczy wyruszyć z Piotrkowa drogą krajową numer 8 w stronę Warszawy, a po kilkunastu kilometrach zabudowania będą widoczne po lewej stronie drogi.