Dolní zámek stojí na místě tehdejší tvrze. Později byl přestaven na sladovnu.
V roce 1536 získali tvrz ve vsi
Bruntálští z Vrbna a v 2. polovině 16. století ji přestavěli v renesanční zámek. Z této doby se dochovalo jihozápadní nároží zvané Terezka i křížové klenby v přízemí.
Zámek pak zničili během třicetileté války Švédové a po přestavbě v osmnáctém století získal pro změnu
barokní podobu, kterou dodnes připomíná vzácné schodiště.
V roce 1726 získali Náměšť Harrachové a na jižním okraji vsi postavili
Horní zámek.
Dolní zámek byl v roce 1765
proměněn v textilní manufakturu a v roce 1780 ve sladovnu. V letech 1780-1916 jej vlastinili Kinští a v letech 1916-1945 ho vlastnili Ottahalové. Její tradice nezanikla ani za komunistického režimu – využíval ji tehdy národní podnik
Moravské sladovny. V současné době je sladovna
návštěvníkům nepřístupná.