Il borgo di Torre Alfina si sviluppa intorno al castello da cui ha avuto origine.
Si deve a Desiderio, ultimo Re dei Longobardi (756-774), la costruzione della torre centrale, detta del cassero.
In seguito sembra che uno dei fratelli di Carlo Magno, sceso in Italia verso 809 si stabilisse ad Orvieto dando origine alla famiglia Monaldeschi che prese il controllo di molti castelli della zona ed estese il suo potere anche su Torre Alfina, almeno fino al 1314, anno in cui la famiglia rivale dei Filippeschi, di parte ghibellina, li costrinse ad abbandonare il territorio dell'Alfina. Ma le numerose lotte tra le due famiglie portarono di nuovo i Monaldeschi al potere e nel 1316 la famiglia di origine tedesca conquistò il controllo su tutte le terre e castelli dell'orvietano.
Intorno alla metà del XV secolo, il castello fu improvvisamente assalito da Antonio Colella, detto il "Ciarpellone", capitano del futuro duca di Milano Francesco Sforza e quando Aluisi di Luca Monaldeschi della Cervara seppe che l'espugnatore intendeva distruggere la torre del cassero, gli offrì di riscattarlo, come riportato nei capitoli del contratto che attestano del pagamento di 200 scudi d'oro.
Il XVI secolo fu un periodo di relativa quiete, eccezion fatta per i saccheggi compiuti nella zona dal napoletano Fabrizio Maramao durante l'assedio di Roma del 1527. Egli espugnò il castello ma non riuscì a prendere il cassero, difeso strenuamente dalla gente di Trevinano, schierata con la popolazione di Torre Alfina. Degno di menzione in questo periodo è Francesco Sforza della Cervara il quale in veste di capitano, combattè in Germania mandato dal Papa Paolo III in aiuto di Carlo V. A lui si devono, come sappiamo dai Comentari historici scritti dal fratello Monaldo, i restauri e gli abbellimenti apportati al castello.
Nel XVII secolo Giovanni Monaldeschi, scudiero e favorito della regina di Svezia, dopo l'abdicazione della sovrana, l'accompagnò nei suoi viaggi in Europa. Estinta la casata dei Monaldeschi, il castello passò in eredità ai marchesi Bourbon del Monte, insieme a quello di Trevinano, fino al 1881 quando fu acquistato e salvato dalla rovina ad opera del marchese Edoardo Cahen che nel 1882 iniziò i lavori di restauro ma morì prima di terminarli e fu sepolto, per sua volontà nel bosco del castello in un suggestivo mausoleo di stile neogotico.
Il figlio Rodolfo continuò l'opera di ristrutturazione intrapresa dal padre. Su progetto dell'architetto senese Giuseppe Partini, ripristinò le forme medievali e acquistò durante i suoi frequenti viaggi nelle metropoli europee tesori artistici quali statue, quadri e arazzi per abbellirne le sale. Morto anche Rodolfo, il castello fu da lui stesso lasciato in eredità ad un suo governatore e da allora fu più volte venduto dai proprietari sino ai nostri giorni.