Na vrcholu Jezerky stával kdysi hrad Starý Žeberk. V současné době jeho existenci připomínají jen nepatrné a pro laika v terénu obtížně rozpoznatelné zbytky. Nedaleko od něj, na vrcholu Zámecké hory, jsou zachovány zbytky zdiva paláce a hradeb Nového Žeberku.
Hrad Starý Žeberk býval obranný hrad na jižním úpatí Krušných hor, který se stal sídlem významného šlechtického rodu. Byl považován za nejvýše položený hrad v severních Čechách. Za jeho zakladatele bývá považován Albert ze Žeberka (Albrecht ze Seebergu), v jehož přídomku se v roce 1277 objevuje jméno hradu poprvé. Hrad vznikl pravděpodobně již v první třetině až polovině 13. století. Za jeho zakladatele proto občas bývají považováni páni ze Rvenic (pozdějších Ervěnic).
Na počátku druhé čtvrtiny 14. století byl nedaleko vsi Pyšné na vrcholu dnešní Zámecké hory nový, větší, luxusnější a pohodlněji přístupný hrad. Ten byl pojmenován Nový Žeberk a původní Žeberk (bez přívlastku) se od té doby nazýval Starým Žeberkem. Důvodem opuštění hradu byl nejspíš obtížný přístup, což způsobovalo odtrženost hradu od potřebného hospodářského zázemí. Navíc měl hrad poměrně primitivní podobu a možná i problémy se zásobováním pitnou vodou. Nový Žeberk byl postaven pravděpodobně k ochraně obchodní stezky do Saska.
Později se majiteli Starého Žeberka stali pánové z Bergova, kteří jsou jako jeho vlastníci uváděni v roce 1327. Po nějaké době byl pak hrad zřejmě úplně opuštěn nebo sloužil jen jako pevnost, protože roku 1383 se připomíná již jen hora Starý Žeberk, kterou společně s hradem Novým Žeberkem a několika vesnicemi prodal Ota z Bergova Těmovi z Koldic.
Hrad Nový Žeberk nebyl zřejmě zcela dokončen a v průběhu 1. pol. 15. stol. zanikl. Zachovány jsou zbytky zdiva paláce a hradeb, mohutný, do skály vytesaný příkop a opevnění ve formě valů a dalších příkopů. V zříceniny hradu sloužily jako příhodný zdroj stavebního materiálu, především pro obyvatele Pyšné, a dodnes se proto z původně mohutného sídla dochovaly jen malé zbytky zdí paláce a opevnění.