Někdy kolem roku 1279 založil zemský sudí
Děpolt nad městečkem
Kdyně rodové sídlo,
hrad Rýzmberk. Díky jeho synům se rod úspěšně rozrůstal: Břetislav zůstal na Rýzmberku, Vilém získal
hrady Skálu, Chyši a později i
Švihov, místo, podle něhož Švihovští z Rýzmberka odvozovali své jméno. Během 14. století se rodové majetky dál rozrůstaly: přibyly k nim
hrady Rabí a
Velhartice, získali i
Bor u
Tachova, Přeštice a
Litici.
K nejúspěšnějším představitelům rodu patřil
Půta Švihovský z Rýzmberka (1450–1504). Za vlády
krále Vladislava Jagellonského zastával úřad nejvyššího zemského sudího, podnikal diplomatické cesty a dál zveleboval a rozšiřoval rodový majetek. Nechal přestavět
Švihov, Rabí a další hrady, přikoupil
Horažďovice, Kašperk, Kozel, Střelu, Herštejn, Čejkovy a
Bezděkov. Pan Půta se řadil mezi nejbohatší šlechtice v zemi, v letech 1479–1504 vykonával post nejvyššího zemského sudího a mezi poddanými proslul neobyčejnou krutostí. Pověsti o něm se vypráví hlavně na Švihově a na Rabí, jako strašidlo se ale toulá i kolem dalších rodových hradů.
Ještě jeho synové a bratři zastávali významné dvorské úřady, vliv Švihovských ale postupně upadal a v 18. století rod vymřel.