Hrad byl založen nejspíše v první polovině třináctého století rodem Wittelsbachů. Po roce 1273 ho získali páni z Budětic a po nich Švihovští z Rýzmberka. V majetku jejich rodu zůstal až do roku 1549. Původně malý románský hrad byl v průběhu staletí několikrát rozšířen.

První písemná zmínka o obci pochází z roku 1380, kdy je ves Raby uváděna jako majetek Švihovských z Rýzmberka. Hrad patřil Půtovi Švihovskému z Rýzmberka. Po Půtovi se majitelem stal v roce 1399 jeho bratr Břeněk Švihovský z Rýzmberka, který nechal hrad rozšířit a nově opevnit. Za husitských válek Rabí patřilo Břeňkovu synovi Janu Rabskému.

Rabí se stalo rodovým sídlem Švihovských a zároveň mělo v oblasti horního Pootaví plnit různé obranné úkoly. Jádrem hradu se stal dvoupatrový palác, který obtočilo kamenné opevnění. Na severu z hradebního okruhu vystupovala lichoběžníková věž, umožňující přístup do obytného paláce, a na východě jej přerušovala vstupní brána. Na hradní jádro navazovalo níže položené, opevněné předhradí, jež patrně bylo (hospodářským) zázemím tehdejšího hradu.

Na konci 14., nebo na počátku 15. století Rýzmberkové rozšířili původní tvrz a posílili obranyschopnost svého sídla. Ve druhé polovině 14. a v první polovině 15. století byl hrad rozšířen, starší část hradu (tak zvaný Horní hrad) prošla pouze dílčími stavebními úpravami – tou nejvýraznější bylo zvýšení obytného paláce o jedno patro. V prostoru dřívějšího opevněného předhradí nově prvního nádvoří byla vykopána studna (nejhlubší na českých hradech) a byla postavena nová kamenná, obytná budova. Unikátní je odpadní jímka (žumpa) pod věří donjonu, do které byl sveden odpad ze dvou hradních prevétů. Byly vybudovány rozsáhlé několikaúrovňové sklepní prostory.

Během úprav v prvním desetiletí 14. století získal hrad druhý hradební okruh. Z nově vzniklého opevnění z bezpečnostních důvodů vystupovala hradní kuchyně, vyčnívaly z něj dvě obranné věže (severozápadní a severovýchodní) a přerušovala jej nová vstupní brána. Uvádí se, že Rabí bylo v této době opevněno tak důkladně, že bylo nedobytné.

V době husitských zápasů se Rýzmberkové přiklonili ke králi Zikmundovi Lucemburskému a aktivně vystupovali proti husitské reformaci.

Vojska vedená Janem Žižkou z Trocnova hrad dvakrát obléhala. Při prvním obléhání v roce 1420 se posádka bez boje vzdala, zatímco podruhé se bránila a při obléhání zde v červenci 1421 přišel Jan Žižka o druhé oko (pravé). Husité zajali Menharta z Hradce a způsobili velké škody na okolních panstvích, hrad byl značně poškozen, ale Zikmund svým spojencům poskytl náhradu za utrpěné ztráty, takže hrad mohl Jan Rabský do roku 1427 opravit.

Výraznou osobností rýzmberského rodu byl Půta Švihovský z Rýzmburka (* 1450/1452 † 1504). Tento vzdělaný a kultivovaný šlechtic úspěšně rozvíjel svou kariéru na dvoře Vladislava Jagellonského – byl nejvyšším zemským sudím a ve službách svého krále podnikal i diplomatické cesty. Svou pozornost směřoval také ke svému panství, snažil se o jeho ekonomický rozvoj a výnosy z panství zvyšoval zakládáním měst. S Půtovým jménem byla spojena také nákladná přestavba rabského hradu, na níž se patrně podílel stavitel Benedikt Rejt, která mu vdechla pozdě gotický ráz. V úpravách hradu pokračovali až do roku 1530 také Půtovi synové Břetislav a Vilém, ale rozsah stavby překročil finanční možnosti rodu, a Švihovští museli Rabí v roce 1549 prodat.

Na konci 15. století přestal hrad vyhovovat nárokům na komfort bydlení a reprezentaci úspěšného šlechtického rodu. Mezi lety 1480 a 1520 tak došlo k rozsáhlým úpravám, které zásadním způsobem změnily tvář hradu.

Během této velkorysé přestavby byly opět upraveny starší část hradu: budovy v Horním hradu byly zvýšeny o jedno, nebo dvě poschodí a do prostoru staršího (malého) nádvoří byla vsazena nová kuchyně. Byl postaven Nový palác, sloužící urozeným majitelům k reprezentačním a obytným účelům a současně vzniklo mladší (velké) nádvoří s konírnou a cisternou.

Hrad byl nově ohrazen, a sice dělostřeleckým opevněním, unikátním systémem mohutných hradebních zdí a obranných bašt. K tomuto hradebnímu okruhu na severovýchodě těsně přiléhal tak zvaný příhrádek, což byl systém tří menších bran (první z nich sloužila jako vstupní brána, druhá hradní brána byla spojena s obydlím vrátného a konečně třetí brána střežila vstup na velké nádvoří).

Závěrem můžeme říci, že ve dvacátých letech 16. století stál v Rabí impozantní hradní komplex. Pevné hradby či mohutná věž neustále připomínaly pevnostní charakter celé stavby, kdežto zdobná, pozdně gotická architektura potvrzovala, že se Rabí stalo reprezentativním sídlem jednoho z nejbohatších a nejmocnějších rodů v  Českém království.

1. brána z města; 2. kostel; 3. přední vrata dolejší brány; 4. prostřední vrata s vrátnicí; 5. konec průjezdu dolejší brány s věžovatou branou; 6. „dolní palác“ nebo dvůr předhradský; 7. veliká bašta; 8. druhá bašta; 9. branka do zadní ohrady; 10. konice; 11. kůlna (řemenní sklep); 12. Žižkova brána  (vchod vpravo od čísla); 13. průjezd druhé dlouhé brány; 14. konec téhož průjezdu; 15. vrátnice; 16. staré pokoje; 17. věž; 18. nové pokoje – poklovaná světnice; 19. nové pokoje – velká síň; 20. nové pokoje – vězení; 21. věž; 22. místo studné; 23. branka a schody; 24. stavení  v němž byla brána ke spuštění mostu na schody; 25. parkán; 26. hradba okolo něho – mezi oběma čísly malé stavení, v němž jsou zbytky malby; 27. branka; 28. branka; 29. věžovaté stavení; 30. starý palác nebo velká věž; 31. prampouch a šnek; 32. kuchyně; 33. zadní ohrada; 34. příkop.

Hradní kostel Nejsvětější Trojice založený patrně ve 14. století byl vysvěcen až v roce 1498 za Půty Švihovského z Rýzmberka.

Hradní kostel si v podstatě zachoval svou pozdně gotickou podobu, byť do jeho vzhledu zasáhly úpravy v následujících stoletích (v 17. století byla přistavěna sakristie, v 18. století přibyla předsíň a sanktusová věžička). Významnější úpravy se dotkly interiéru, jehož podoba byla několikrát doplněna a pozměněna, takže ve 20. století se ve vnitřních prostorách nacházely doklady téměř všech výtvarných stylů, gotikou počínaje a secesí konče.

Hradní kostel je jednolodní stavba, kterou zakončuje pětiboký presbytář. Loď i presbytář kostela jsou zaklenuty síťovou klenbou. Presbytář uzavírá prostý triumfální oblouk, považovaný za jednu z nejstarších částí hradního kostela. Proti němu se nachází tribuna, která se do lodi otevírá třemi hrotitými oblouky a kterou nesou hranolové pilíře. V severozápadním rohu kostelní lodi se ukrývá točité schodiště, které vede na tribunu a do podkroví.

V lodi kostela se nachází dvě okna, zatímco v presbytáři bylo prolomeno oken pět. Všechna okna mají žulové ostění a svým vzhledem odpovídají gotickému tvarosloví. Původní vstup do kostela se nachází v západní stěně a je rámován sedlovým portálem (tento portál v současnosti zakrývá pozdně barokní předsíň).

S interiérem je pevně svázána barevná výmalba stěn a stropu. Starší vrstva omítek byla odkryta formou sond (konkrétně v presbytáři je odhalena část gotické fresky s motivem ukřižovaného Krista, v předsíni pozdně renesanční heraldické motivy). Část kostelních stěn pokrývá pozdně barokní výmalba. Většinu plochy však zaujímají secesní fresky z roku 1907 – v lodi jsou stylizované ornamenty a v presbytáři figurální výzdoba (po obvodu  presbytáře byli vyvedeni čeští světci a v jeho středu Nejsvětější Trojice).

Nepřehlédnutelná je erbovní galerie Švihovských, kterou tvoří čtrnáct erbovních znamení na svornících klenby. Tyto znaky představují dvě genealogické linie pánů z Rýzmberka – první z nich připomíná rodinné vazby Jana z Rýzmberka, druhá se vztahuje k Půtovi Švihovskému a jeho blízkým. Původní erby byly později doplněny o erb Lambergů a znak města Rabí.

Po smrti Půty Švihovského z Rýzmberka na počátku 16. století byl rozsáhlý rodový majetek rozdělen mezi jeho syny. Ti sice zastávali významné pozice na panovnickém dvoře, avšak v důsledku několika špatných rozhodnutí se zadlužili a byli nuceni rýzmberské dědictví postupně rozprodávat.

Po pánech z Rýzmberka Rabí často střídalo majitele (Jindřich Kurcpach z Trachenburka, Diviš Malovec z Libějovic, Vilém z Rožmberka, Chanovští z Dlouhé Vsi), což vedlo k tomu, že se nepodařilo zlepšit hospodářskou situaci panství a hrad samotný chátral. Nedobrý stav ještě umocnila třicetiletá válka a s ní spojený ekonomický, demografický i kulturní úpadek.

Na počátku 18. století získal Rabí pasovský kníže-biskup Jan Filip kardinál z Lamberga. Spolu s ním koupil i nedaleká panství Žichovice a Žihobce a lamberská rodina si za své sídlo vybrala pohodlnější barokní zámek v Žihobcích. Ve chvíli, kdy Rabí přestalo sloužit obytným účelům, přišla jeho zkáza. V první polovině 18. století hrad vyhořel a požár jej připravil o střechy i dřevěné části. Ve druhé polovině 18. a první třetině 19. století se navíc nehlídaný hradní areál stal zdrojem stavebního materiálu pro obyvatele podhradí i širokého okolí.

První pokusy o záchranu a současně zpřístupnění hradního komplexu se objevily v již polovině 19. století. Tehdejší majitel panství kníže Gustav Jáchym z Lamberga nechal uzavřít vstupní bránu, na vrcholu donjonu vznikla první vyhlídková plošina a byla opravena i část zdiva. Přes veškerou snahu se opravy dotkly menší části areálu – většina zdiva nebyla k nelibosti obyvatel podhradí zajištěna, takže jejich domy neustále ohrožovaly padající kameny.

Nešťastná situace se vyřešila až v první čtvrtině 20. století, když v Horažďovicích vznikl Spolek pro zachování památek v horním Pootaví. Členové spolku přikročili k náročným záchranným pracím i nákladné stavební rekonstrukci části areálu, provedli drobné archeologické výzkumy, zřídili malé hradní muzeum a začali organizovat komentované prohlídky.

Do správy státu přešlo Rabí v roce 1954 a roku 1978 byl hrad prohlášen národní kulturní památkou. V současné době je Státní hrad Rabí ve správě Národního památkového ústavu, územní památkové správy v Českých Budějovicích.

Pozn.: Blízkost Půty Švihovského ke králi Vladislavovi Jagellonskému vysvětluje skutečnost, že mohl částečně využívat služeb Benedikta Rejta k přestavbě Švihova a Rábí i v době, kdy byl plně vytížen prací na Pražském hradě.