Na vyvýšenině zvané Karlov v Benešově byla Benediktem Benešem založena malá osada s kostelíkem. Později zde byl vybudován klášter minoritů, který však padl za oběť husitským válkám a podzěji švédským nájezdům.
Minoritský klášter založil mezi lety 1243 – 1247 staroboleslavský probošt
Tobiáš z Benešova, jeden ze synů Beneše z Benešova, který je považován za prvního doloženého předka tohoto rodu. Kostel Nanebevzetí P. Marie vysvětil roku 1257 pražský biskup Mikuláš z Reisenburgu, chrám se údajně svou velikostí rovnal
sv. Jakubu v Praze.
Dnes už jen
vysoké torzo presbytáře se dvěma hrotitými okny a zbytky kružeb s opěrnými pilíři připomíná jeho tehdejší velikost. Dne 19. 5. 1420 byl totiž klášter
vypálen husity. Další zkáza klášter postihla roku 1648, kdy byl
vypálen Švédy a znovu již nikdy nebyl obnoven. V roce 1941 byly při archeologickém výzkumu severně od stávajícího presbytáře odkryty
základy původního kostela ze 13. století, sakristie a vedle ní schody, západně od nich pak nejspíše kapitulní síň.
U torza stojí kostel sv. Mikuláše z 2. poloviny 13. století a
zvonice s malými zazděnými fragmenty architektonických článků kláštera. Ke zřícenině kláštera se dostanete
z Benešova dlouhou
ulicí Na Karlově, nahoru do mírného kopečka.