Barokní perla Českolipska a nejvýznamnější památka v Zahrádkách je samotný zámek, dříve nazývaný také Nový zámek. Vlastníkem objektu je Univerzita Karlova, která plánuje jeho prodej.
Zámek postavil ve druhé polovině 16. století Jan z Vartenberka, který také nechal nákladně upravit interiéry. Zámek poté měnil vlastníka v rámci příslušníků rodu Vartenberků. Jan Jiří z Vartenberka byl posledním z rodu, který zámek spravoval. Jelikož se aktivně zúčastnil protihabsburského povstání v letech 1619-1620, byl odsouzen ke ztrátě celého majetku.
Po roce 1623 se
majitelem zámku stal Albrecht z Valdštejna, který nechal původní objekt barokně upravit a založil park. Po jeho smrti vlastní zámek až do roku 1897 Kounicové a následně Lichtejštejnové.
Po zestátnění v roce 1945 objekt sloužil jako
domov mládeže a středisko jazykové přípravy zahraničních studentů.
Čtyřkřídlá patrová budova s nárožními věžemi
v roce 2003 vyhořela, zůstaly pouze obvodové zdi. Od té doby zámek čeká na důkladnou rekonstrukci.
Kolem zámku se rozprostírá
rozsáhlý anglický park. Součástí zámeckého parku se stal v 19. století i
skalní kaňon Robečského potoka zvaný Peklo, dnes národní přírodní památka s bohatým výskytem bledule jarní a
Valdštejnská lipová alej (stáří 300 let) vedoucí do jedné z nejstarších bažantnic v Čechách, dnes s chovem kozy bezoárové a muflonů.