Dwór Olszewskich powstał w XVIII wieku w stylu późnego baroku. Całość na prostokątnym planie powstała z cegły ukrytej pod tynkiem. Całość wybudowana na podpiwniczeniach. Jednak we wnętrzach warto zwrócić uwagę na sklepienia pomieszczeń znajdujących się na piętrze, co będzie możliwe podczas zwiedzania, a jest ono możliwe po zakupieniu biletu.
Historia Dworku Olszewskich rozpoczęła się w pierwszej połowie XVIII wieku i związana jest ze szlacheckim rodem Rychłowskich herbu Nałęcz - właścicieli Bełchatowa od pierwszego ćwierćwiecza XVIII wieku. Architektem rezydencji Rychłowskich był prawdopodobnie Włoch Leonardo Coci. Stanowiąca istotną część ich majątku niewielka osada rozwijała się dzięki dogodnemu położeniu - krzyżującym się traktom z Piotrkowa do Wielunia oraz z Łasku do Kamieńska. To właśnie Stanisław Rychłowski oraz jego brat Franciszek doprowadzili do rozkwitu Bełchatowa. Podjęli także starania w kierunku podniesienia jego statusu do miana miasta. W roku 1737 Stanisław Rychłowski uzyskał przywilej urządzania targów i jarmarków, co było często równoznaczne z uzyskaniem praw miejskich, a to dlatego, że w tamtych czasach to głównie miasta były miejscem wymiany towarowej. Formalny przywilej miejski Franciszek Rychłowski uzyskał od króla Augusta III Sasa w 1743 roku. Na przestrzeni kolejnych lat mieszkańcami dworu stali się Kaczkowscy herbu Świnka, którzy to dokonali znacznej przebudowy budynku. A ten pierwotnie był, co warto dodać, parterowy. Od II połowy XIX w. właścicielami zabudowań zostali Hellwigowie, a zakupu dokonał pochodzący z Bawarii Henryk Hellwig - przedsiębiorca, właściciel browaru w Tuszynie, a także browaru usytuowanego w pobliżu zabudowań dworskich. W posiadaniu rodziny Hellwigów dwór pozostawał do 1949 roku. Wówczas kupili go bełchatowski lekarz Wacław Olszewski wraz z małżonką. To właśnie od nazwiska ostatnich właścicieli współcześni mieszkańcy Bełchatowa zwykli nazywać zabytek Dworkiem Olszewskich. W latach osiemdziesiątych XX wieku rodzina właścicieli odsprzedała dwór na rzecz Skarbu Państwa. W latach 90-tych mieściła się tu Akademia Umiejętności pod patronatem ZHP oraz Młodzieżowy Dom Kultury "Ruina". Później władze Bełchatowa postanowiły przystąpić do remontu dość wymęczonego przez czas budynku. Prace remontowe rozpoczęły się we wrześniu 1993 roku, a zakończono je w roku 1998. W odnowionym dworze zorganizowano siedzibę Muzeum Regionalnego w Bełchatowie.
Całość otacza obecnie zabytkowy park o charakterystycznym dla stylu francuskiego układzie kwater i alei. Przebiega nimi także ścieżka geologiczna przygotowana w 2005 roku. Za budynkiem głównym znaleźć można m.in. zegar słoneczny przedstawiający scenę biblijną – Adama i Ewę pod drzewem życia. A na wzniesieniu, pośród najstarszych drzew znajduje się nagrobek Anieli "Nelly" i Stefana Hellwigów. Otoczenie urokliwego parku o powierzchni 2,83 ha, uzupełnia rzeka Rakówka, która mija dworek swym korytem od strony zachodniej. Mury otaczające park zostały na przestrzeni lat ozdobione różnokolorowym graffiti, a część malunków odnosi się do energetycznych tradycji Bełchatowa.
Obecnie dworek jest siedzibą Muzeum Regionalnego w Bełchatowie, które gromadzi tu m.in. zabytki, a także dokumentację z badań prowadzonych na terenie powiatu bełchatowskiego. W dziale historycznym znajdują się stare dokumenty, zdjęcia i pocztówki prezentujące historię miasta i jego okolic, ale w zbiorach można tez znaleźć stare mapy, gazety czy książki. Muzeum prowadzi także dział etnograficzny, którego eksponaty dokumentują kulturę wiejską z terenu powiatu. Prowadzona jest także biblioteka gromadząca wydawnictwa poświęcone miastu i jego okolicom.
Poza muzealnikami wnętrza dworku zajmują też urzędnicy Urzędu Stanu Cywilnego w Bełchatowie.