Původně renesančně stavěný mezi lety 1579 a 1605 Albrechtem Slavatou z Chlumu a po něm Markétou Berkovou, rozenou Trčkovou, od roku 1664 letní rezidence královéhradeckých biskupů, přestavěný a doplněný dalšími barokními křídly v letech 1721 – 1731 a kolem roku 1742.
V budově zámku se dnes nachází Městské muzeum, založené roku 1893 Vincencem Paulusem. Stálé expozice jsou věnovány především vlastivědné historii regionu Chrastecka a jsou zaměřeny na geologii, paleontologii a vývoj člověka, pravěké osídlení a feudalismus, historický vývoj Chrasti, významné kulturní osobnosti, zaniklá řemesla a tkalcovské žakárové stavy.
K zámku přiléhá zámecká zahrada, která byla roku 1903 byla upravena architektem Thomayerem z Prahy jako park. Dodnes se zde dochovaly původní růže, vzácné stromy jako liliovník tulipánokvětý, cypřišek nutkajský. Na zámeckou zahradu navazuje alej lip a kaštanů, tzv. Velká Lipka. Na jejím konci stojí kaplička sv. Jana Nepomuckého, kterou dal postavit biskup Václav z Košínů roku 1728. Několikrát byla opravována, roku 1907 zbořena smrští, obnovena byla biskupem Karlem Kašparem v roce 1921. V jihovýchodním cípu náměstí vedle děkanství stojí v malém parčíku barokní socha sv. Jana Nepomuckého od neznámého autora a s neznámým datem vzniku. Vprostorách bývalé kaple jsou pořádány vernisáže výstav, koncerty a přednášky.
Muzeum pořádá krátkodobé a sezónní výstavy z vlastních i zapůjčených sbírkových předmětů. V muzejní galerii probíhají výstavy obrazů, fotografií a grafiky, v prostorách bývalé kaple sv. Jana Nepomuckého jsou pořádány vernisáže výstav, koncerty a přednášky. Muzeum se také spolupodílí na kulturních aktivitách města.