Nell’anno 956 Aldobrandino de Nobili ricevette da Ottone I di Sassonia l’investitura del borgo di Labro e di altri 12 castelli ed insediamenti nella contrada del Ducato di Spoleto e il contado di Rieti. L’Imperatore diede alla famiglia lo stemma con l’aquila coronata, simbolo del Sacro Romano Impero e il pesce, il quale rappresentava il dominio della famiglia sulle acque della regione.
In origine l’incastellamento di Labro si componeva di un’imponente torre quadrata sovrastante il borgo, il quale era a sua volta circondato da una strada di arrocamento protetta da mura di difesa comprendenti altre sette torri. Nel 1498, la famiglia venne scomunicata da Papa Sisto IV. Il motivo della scomunica fu l’uccisione di un sacerdote avvenuta per mano di Giovanni de’ Nobili. Conseguenza della scomunica fu la distruzione della grande torre e di parte del borgo. La revoca della scomunica, conservata fino ad oggi negli archivi del castello, prevedeva che al posto della grande torre quadrata venisse edificata una chiesa. Alla famiglia rimase la cinta muraria, dove Giordano de’ Nobili edificò la nuova residenza per la famiglia, tuttora abitata dai suoi discendenti. L’origine del cognome Nobili deriva dall’appellativo con il quale venivano designati i Signori di Labro.
Nel 1575 Gerolamo de Nobili si sposa con Virginia Vitelleschi e su richiesta della famiglia di Virginia, in particolare del fratello Muzio Vitelleschi, VI generale dei gesuiti, il cognome Vitelleschi venne aggiunto a Nobili e i due stemmi furono uniti in un unico stemma. L’atto che sanziona ufficialmente l’unione dei cognomi e degli stemmi è conservato negli archivi capitolini. Una copia autentica si trova nell’Archivio Nobili Vitelleschi, in Labro.
Un grande stemma in legno a forma di cuore in nero ed oro, realizzato per celebrare l’unione tra le due famiglie e i duei stemmi, è visibile ancora oggi nella sala d’armi del castello. L’attuale stemma comprende l’aquila e il pesce simboli della famiglia Nobili e i due vitelli con i gigli di Firenze simboli della famiglia Vitelleschi.