Kostel panny Marie je nejstarším kostelem na území Veselí, který se nachází u jedné z křižovatek v samotném centru města. Po výstavbě nového kostela ve městě (1733-1741) a jeho prohlášení za kostel farní, sloužil především jako pohřební kaple.
Původně byl zasvěcen sv. Bartoloměji, později přejmenován na kostel Panny Marie. Podle dochovaných románsko-gotických prvků je jeho vznik datován do konce 1. poloviny 13. století. První písemná zmínka pochází z roku 1360. Později se s jedním oltářem stal pro početnou obec malým a sloužil hlavně k pohřebním obřadům.
Za zmínku stojí obrazy křížové cesty z počátku 19. století. V areálu kostela jsou barokní sochy sv. Floriána a sv. Vendelína (práce z poloviny 18. století) a pamětní kříž, hodnotná kamenická práce z roku 1828.
Hřbitov, kterým byl kostel obklopován, byl zrušen až roku 1834. V této době se zde již nekonají bohoslužby, ale prohlídka je možná na požádání (na far. úřadě).