La prima menzione del castello di Nazzano è riportata in una bolla di papa Gregorio VII tra il 1073 ed il 1085 in cui il Castellum Nazanum passa dai monaci benedettini dell’abbazia di Farfa a quelli di San Paolo di Roma. A seguito delle lotte causate dagli scontri tra le truppe di Enrico V e quelle di papa Pasquale II si deve probabilmente la parziale devastazione del primo nucleo del castello, parzialmente ricostruito dal 1198 da papa Innocenzo III. A partire dal 1332 il feudo di Nazzano passa a Jacobo de Sabellis che rimase nelle mani di questa famiglia fino alla metà del Quattrocento quando, a seguito dell’assassinio da parte delle milizie di Giacomo Savelli del luogotenente dei monaci di San Paolo, il castello viene confiscato da papa Nicolò V. Alla morte di Nicolò V il castello viene venduto dal nuovo pontefice, Callisto III ai monaci di San Paolo per finanziare la crociata contro i turchi e rimane di proprietà dei monaci fino alla metà del XX secolo. Il fortilizio sorge nella parte più alta del borgo, addossato direttamente alla roccia viva tufacea, ampiamente scavata per ottenere un fossato perimetrale. Le fasi costruttive del castello sono chiaramente riscontrabili in due epoche storiche, quelle del Tre e Quattrocento e pertinenti alla proprietà Savelli la prima e la seconda ai monaci. Il castello è composto da una pianta quadrata con cortile centrale e due torri esterne, una verso l’abitato con funzione di guardia e l’altra aperta invece verso la valle del Tevere di avvistamento a controllo del fiume. Si accede al castello attraverso un massiccio rivellino che anticamente comprendeva un ponte levatoio in legno, oggi scomparso. Le robuste mura esterne di spessore variabile in pietra locale precedute da un breve fossato, presentano una scarpa verso il basso e culminano con profonde merlature nella sommità. Sono presenti lungo il paramento esterno delle mura oltre ad uno stemma in travertino dei monaci di San Paolo anche delle feritoie tre-quattrocentesche e delle aperture per bocche da fuoco del XVI-XVII secolo. All’interno si trova una cappella realizzata sotto papa Callisto III, dove sono ancora visibili resti di affreschi.