Počátky tvrze Starý Dvůr při horní cestě z Krupky od kostela sv. Anny k Bohosudovu jsou dodnes nejasné. Tvrz vznikla jako vesnické opevněné sídlo drobného feudála či bohatého měšťana v průběhu 14. nebo nejpozději na počátku 15. století.
První zmínka o tvrzi pochází z roku 1443. Jednalo se o kruhové tvrziště o průměru 23 až 24 m, na něm stála obdélná budova. Počet pater budovy je neznámý. Sklepy byly valeně zaklenuty. Tato podoba tvrzi vydržela až do roku 1883. Pak bylo veškeré dochované zdivo sneseno a sklepy zasypány.
Místo je pěkné, vzhled však kazí necitlivé vybetonování vodního příkopu v 80. letech 20. století. Tehdy se příkop používal na předehřev vody pro sousední koupaliště. V letním období bývá místo značně zarostlé.