Jezuitská kolej pochází z roku 1634, od roku 1958 je renesanční stavba památkově chráněna. Jezuitský řád byl zrušený v roce 1773 a od té doby budova měla různou funkci (kasárna, škola, archiv).
V létě roku 1679, kdy ve Vídni vypukla morová epidemie, přebýval v budově jezuitské koleje ve
Znojmě římský císař a český král Leopold I.
Postupnou adaptací budovy na kasárna a archiv byla změněná vnitřní dispozice, v roce 1959 byla přistavěná věž. Zachovaná zůstala část kleneb v interiéru, v roce 1998 byla rekonstruovaná sgrafitová fasáda.