Il castello di Labro risale almeno al X secolo durante il lento processo di incastellamento dell'area reatina del Terminillo, anche se le forme attuali iniziano a prendere vita grazie alla famiglia Nobili Vitelleschi, citata in documenti datati 1630. Il nucleo originario era costituito con buona probabilità da una torre qudrangolare, distrutta nella seconda metà del XV secolo. I resti di tale torre vennero utilizzati succesivamente nella costruzione di una piccola chiesa consacrata nel 1498. Con il matrimonio tra Girolamo dè Nobili e Virginia Vitelleschi, avvenuto nel 1575, il casato prese entrambi i nomi, Nobili Vitelleschi.