Pierosara fu un importante castello medievale che ebbe vasta sovranità sul territorio circostante. Dell'antico Castrum Petrosum rimangono oggi le due cinte murarie con le relative porte e la torre di difesa. Sorge su un colle a 394 m.s.l.m.,che domina a sud-ovest la Gola di Frasassi dove scorre il fiume Sentino e a nord-est la Gola della Rossa attraversata dal fiume Esino. Il paese si trova nel cuore del Parco naturale regionale della Gola della Rossa e di Frasassi.
Si narra che il conte di Rovellone, feudatario del Castello di Rotorscio, conobbe una fanciulla di nome Sara abitante a Castel Petroso. Affascinato dalla bellezza della giovane, s'innamorò di lei, ma decise di rapirla poiché era promessa sposa ad un altro castellano di nome Piero. Una notte, il feudatario s'introdusse all'interno del castello e riuscì nel suo intento. Tuttavia gli abitanti del luogo si accorsero subito del misfatto e per evitare il peggio chiusero le porte di accesso e iniziarono una violenta battaglia contro i cavalieri seguaci del conte di Rovellone. Durante la rissa, il conte, vistosi alla resa, uccise la bella Sara che teneva fra le braccia. Sopraggiunto Piero piombò addosso all'uccisore, il quale, brandendo una scure, colpì anche lo sfortunato giovane che cadde morente vicino alla sua giovane amata e con un ultimo abbraccio le spirò accanto. Per ricordare questo triste avvenimento, Castel Petroso, da quel giorno, assunse il nome di Pierosara.
Le origini di Castrum Petrosum, questo l'antico nome volgarizzato con il passare dei secoli in Plarosara, Plerosaria, Perosara e poi nell'attuale Pierosara, sono difficilmente ricostruibili. Vista la posizione strategica su di un colle a ridosso di due gole, quella di Frasassi e della Rossa, da cui era facile il controllo delle vallate del Sentino e dell'Esino, non è da escludere che gli abitanti di Tuficum, (una delle quattro città di epoca romana dell'alta valle dell'Esino, situata nei pressi della frazione Albacina di Fabriano), cominciarono a costruirvi le prime strutture difensive e di avvistamento.
Dopo la colonizzazione romana e il periodo buio delle invasioni barbariche, i Longobardi con la costituzione del Ducato di Spoleto posero come punto nevralgico di confine il Castello di Pierosara. I feudatari longobardi, convertiti al cristianesimo favoriscono, fin da prima dell'anno 1000, l'insediamento dei Benedettini e lo sviluppo delle abbazie. Chiamati milites longobardi, si attengono alle leggi longobarde fino al XII secolo, quando si appoggiarono alla Chiesa. Grazie a questa politica, riuscirono a conservare autonomia e privilegi fino al periodo dell'età comunale.
L'Abbazia di San Vittore, non riuscendo più ad opporsi all'ormai fiorente Comune di Fabriano, per una pacifica convivenza, nel 1212 assoggettò ad esso il castello. La successiva decadenza del potere comunale, nonché dell'Abbazia di San Vittore, provocò un forte indebolimento della struttura sociale ed economica. Nel XVII secolo era uno dei castelli più poveri di Fabriano. Tuttavia Pierosara conservò una propria autonomia fino all'avvento del Regno d'Italia, ciò confermato anche dall'uso di un proprio sigillo: una croce latina che si eleva su una linea orizzontale con sotto scritto S.P.S. (Sebastianus Patronus Sanctus). Lo statuto del Castello doveva essere ratificato ogni tre anni dalla magistratura fabrianese e il governo era affidato ai “Capoquattro”, quattro uomini eletti ogni due mesi per estrazione dal bussolo.
Meritano sicuramente una visita le vicine Grotte di Frasassi, con la cappella Valadier, e la Chiesa di San Vittore alle Chiuse a San Vittore Terme.