Jádro
hradu vzniklo patrně na
počátku 14. století ve formě strážní, obytné věže. Hrad byl postaven na příhodném místě. Předpokládá se, že jeho úkolem bylo
chránit obchodní cestu spojující města
Sušice a
Horažďovice a také značně
bohatá rýžoviště zlata podél řeky
Otavy. Kvůli tomu se hrad stával často terčem útoků. Zde také přišel Jan Žižka o své druhé oko, což
Rabí proslavilo.
V dobách své největší slávy měl rozlohu kolem
10.000 metrů čtverečních. Jeho donjon byl po karlštejnském druhý největší v Čechách. Na prvním nádvoří se nachází ve skále tesaná
hradní studna. Patří mezi
nejhlubší, které je možné na českých hradech spatřit. Na celý hrad bylo použito vápence s velkým obsahem křemene. Kámen na stavbu byl těžen v místech vznikajících hradních příkopů.
Hradní raritou je odpadní jímka – ojedinělá přístavba lichoběžníkového půdorysu, která vznikla během pozdně gotické přestavby. Je součástí obytně-obranné věže Donjonu a byl do ní sváděn odpad z dvou hradních prevétů.
Rabské sídlo se tak stalo
nejpevnějším hradem v Čechách. V době držení hradu Janem z Rýzmberka, odpůrcem husitského hnutí, bylo Rabí dvakrát dobyto – v roce 1420 a 1421. Při
druhém obléhání přišel Jan Žižka z Trocnova
o své druhé oko.