Un primo castrum a San Vito Romano dovrebbe risalire al X secolo quando il luogo, a dominio della valle del Sacco, venne scelto dai monaci benedettini della potente abbazia di Subiaco per proteggersi dalle scorrerie delle orde barbariche prima dei saraceni poi. Un documento datato al 1180 testimonia il passaggio della vecchia rocca alla famiglia Colonna. Questi, ritenendo insufficienti le vetuste strutture, decisero di rafforzare il castello con nuove murature perimetrali, circondate da uno spazio libero di rispetto, una sorta di spalto, che doveva essere percorso dalle sentinella armate a guardia del castello. Nel 1365, come attestato da una lapide posta all’interno del castello, si narra che vi sia nato Oddone Colonna, futuro papa Martino V, anche se vi sono testimonianze simili anche nel feudo Colonna di Genazzano. Il famoso condottiero Marcantonio Colonna, vincitore della battaglia di Lepanto, dovette cedere per debiti sia il feudo che il castello, che pervenne così tra le proprietà dei Massimo. Questi lo rivendettero nel 1575 ai Theodoli per l’ingente somma di 20.000 scudi romani. Prima il cardinale Mario e poi il principe Carlo Theodoli, ristrutturarono sia il borgo che il castello. Quest’ultimo venne rafforzato nelle sue strutture esterne ed abbellito con una graziosa loggia ad arcate. L’interno subì allo stesso modo radicali restauri ed abbellito con una ricca pinacoteca e le sale vennero sapientemente decorate con affreschi.