Le strutture più antiche di un castello a Castelnuovo di Porto dovrebbero risalire al X secolo, forse costruito sulle rovine di un oppidum capenate dal principe e senatore romano Alberico, all’interno del quale si rifugiarono i profughi sia delle invasioni barbariche che quelli delle scorrerie saracene. La prima menzione documentata di una struttura castellare risale ad una bolla papale di Gregorio VII datata al 1074, in cui si cita un Castrum Novum di cui i monaci dell’abbazia di San Paolo a Roma ne erano parzialmente proprietari. Il feudo passò dal 1252 alla potente famiglia Colonna e verso la fine di quel secolo Sciarra Colonna ristrutturò il primo castello Albericiano. Sia il feudo che il castello per oltre tre secoli furono al centro di lotte per il possesso dell’area tra i Colonna e i Caetani appoggiati dal papa Bonifacio VIII – appartenente allo stesso casato -, che assumeva notevole importanza strategica per il controllo del territorio della valle del Tevere, fino ad essere occupato dalle truppe inviate da papa Alessandro VI Borgia nel 1501. Nel 1581 il feudo passò alla Santa Sede ed il castello amministrato dalla Camera Apostolica. Requisito a seguito dell’unità d’Italia venne trasformato in carcere ed uffici della Pretura. Il castello sorge sulla sommità del paese arroccato su una collina tufacea a circa 300 metri di altezza s.l.m. Il primo nucleo del castello, edificato su quello più antico da Sciarra Colonna, era composto da tre torri quadrangolari collegate tra loro da mura, un mastio e precedute da un fossato. L’intera struttura duecentesca venne lievemente rimaneggiata alla metà del Quattrocento da papa Nicolò V che affidò i lavori all’architetto Giovanni da Milano e ancora agli inizi del secolo successivo, durante l’occupazione di papa Alessandro VI, che aggiunse altre torri al castello e migliorò inoltre le difese del borgo costruendo una nuova cinta di mura a protezione dell’intero abitato. Nel 1539 Alessandro Orsini trasformò il castello con nuovi lavori atti a dare una nuova veste in carattere palazziale al vecchio fortilizio. Fu così che le murature esterne vennero trasformate e quella principale divenne la facciata del palazzo con l’apertura di un portale, di finestre e l’aggiunta di un orologio. I lavori di ingentilimento riguardarono anche l’interno con l’esecuzione di alcuni affreschi in una loggia trasformata in salone ed attribuiti recentemente a Federico Zuccari. Altri lavori vennero eseguiti durante il pontificato di papa Urbano VIII Barberini, come ricordato da una lapide posta su una delle torri.