Kaple sv. Petra se nachází na městském hřbitově. Byla vystavěna v roce 1698 na hřbitově ležícím mimo hradby, který byl založen na konci 16. století.
Kaple sv. Petra byla původně vybavena hlavním a dvěma bočními oltáři, obrazy Křížové cesty a varhanami. V 70. letech 20. století však došlo pod záminkou rekonstrukce interiéru k odstranění posledních zbytků původního vybavení, včetně původních omítek a maleb.
Uvnitř kaple jsou umístěny tři náhrobní kameny z konce 17. století, zvenku na jižní stěně je umístěno dalších 9 náhrobků z 18. – 20. století. Stavba prošla v letech 2001 – 2004 kompletní rekonstrukcí, nyní slouží jako smuteční obřadní síň.
Kaple sv. Rocha je drobná barokní stavba v Osecké ulici. Byla postavena na památku morové epidemie v roce 1716, které padlo za oběť 145 osob. Kaple nanebevzetí Panny Marie, zvaná též "Na Spravedlnosti". V těchto místech bývalo poslední rozloučení odsouzeného na smrt. V poli proti kasárnám v Hranické ulici je kříž, udávající přibližné místo popraviště, které se nacházelo v blízkosti staré cesty do Hranic.
Kaple jsou přístupné pouze při prohlídkách sakrálních památek s průvodcem nebo v době konání bohoslužeb.