Il nucleo originario del castello di Fondi risale con probabilità al periodo che va dal IX alla prima metà dell’XI secolo, al tempo del ducato di Fondi. Non si hanno notizie certe di strutture castellari avviate durante il periodo normanno nel quale la città fu affidata ai duchi di Fondi, i dell’Aquila. Nel 1299 il ducato venne assunto da Loffredo Caetani, marito di Giovanna dell’Aquila e soprattutto nipote di papa Bonifacio VIII. E’ in tale periodo che deve essere portata la data della ricostruzione quasi completa del vecchio castello. Nel 1378 all’interno del castello, in opposizione al papato trasferito ad Avignone e sotto la protezione del duca Onorato I Caetani, venne eletto l’antipapa papa Roberto dei conti di Savoia, con il nome di Clemente VII. Tale episodio fu il culmine del grande scisma d’Occidente. Il ducato rimase ai Caetani fino al 1494 quando, a seguito dell’invasione delle truppe di Carlo VIII ed alla fuga nel 1503 in Francia di Onorato III, Fondi ed il suo castello vennero concessi da Papa Alessandro VI Borgia al condottiero di ventura Prospero Colonna. Alla fine del XVI secolo il castello passò ai duchi Carafa di Stigliano, e nel Settecento ai Mansfeld e ai Sangro. Successivamente venne completato dai Castani. la pianta è piuttosto rettangolare, con tre torri angolari – due delle quali a causa dei bombardamenti aerei dell’ultimo conflitto bellico sono state gravemente danneggiate - , che presentano beccatelli con caditoie e merlature e, leggermente distaccato, dal maschio circolare su una possente base quadrata.