Il castello di Gallese sorge nella Tuscia, sull’estremità settentrionale di una collina di origine tufacea, strategicamente idonea per la difesa contro eventuali attacchi. Per l’assenza di documenti è difficile risalire ad una qualche prima forma di fortificazione precedente al XIII secolo, momento in cui il borgo, conquistato da Gerardo conte di Sutri, capitolò ai viterbesi che lo tennero fino alla fine del secolo. In tale epoca il paese venne fortificato con mura e torri, ancora oggi parzialmente visibili. Nei secoli seguenti numerose famiglie si alternarono sul comune di Gallese, dagli Orsini ai Frangipane, dai Colonna ai Carafa. Nel 1579 il feudo entrò a far parte dei possedimenti della famiglia Altemps, che lo acquistarono da Felice Madruzzo e, nel 1585, ebbero il titolo di ducato grazie a papa Sisto V. Estinto il ramo maschile nel 1857, Lucrezia Altemps, vedova di Marco, sposò in seconde nozze Giulio di hardouin nel 1861, investito da papa Pio IX con il titolo di duca di Gallese. Furono gli Altemps a trasformare il castello medioevale in palazzo, affidando i lavori al prestigioso architetto Giacomo della Porta che aveva forse integrato precedenti trasformazioni operate dal Vignola. Ulteriori lavori di atti a miglioriare le comodità del vecchio maniero, vennero eseguite nella seconda metà del XVII secolo dall’architetto romano Carlo Fontana. Il castello si presenta oggi in forma quadrata, ed ha inglobato nei rifacimenti cinquecenteschi, le quattro torri che ne proteggevano gli angoli. Oltre la rampa di accesso, passato il portale di stampo vignolesco, si accede all’elegante cortile con loggia. Si segnalano all’interno, oltre ad alcuni marmi preziosi nella loggia, anche importanti affreschi eseguiti nel corso del XVII secolo che decorano il Salone delle Armi. Annesso al castello sorge un bel parco.