V centru Šumperka najdete zajímavou památku – bývalý žerotínský zámek. Původní gotický hrad byl přestavěn Tunkly z Brníčka a Žerotíny na přelomu 15. a 16. století v renesanční zámek. V současné době zde sídlí střední škola.
Budova již jen velmi málo připomíná zámek, natož hrad, který zde vznikl patrně již při zakládání Šumperka. Od města byl oddělen příkopem, který probíhal před dodnes patrnou průjezdní bránou. Na hradě sídlili většinou pouze purkrabí pověřeni správou majetku. Zástavní držitelé města se v něm začali trvaleji usazovat až v 15. století. Dne 4. června 1490 se v tomto zámku stala jedna z nejvýznamnějších událostí města. Byl místem konání sjezdu moravských a slezských stavů, na kterém byla dohodnuta společná kandidatura Vladislava Jagellonského za českého krále. Na paměť této události se od roku 1998 pořádají slavnosti šumperského sněmu.
Roku 1507 koupil Šumperk do trvalého vlastnictví Petr z Žerotína a šumperský zámek si zvolil za své rodové sídlo, které zanedlouho přestavěl. Postupnou zkázu objektu dovršil tragický požár v roce 1669, po něm se z původního zámku stal pivovar a sklad soli. Od poloviny 19. století až dodnes slouží zámek ke školním účelům, prohlédnout si ho můžete tedy především zvenčí.