Il territorio del borgo di San Felice Circeo si sviluppa sotto il Promontorio del Circeo, che appare da Anzio come il profilo di un volto di un uomo sdraiato, mentre da Gaeta appare come un'isola, l'antica Isola Eea.
La pianura sottostante, l'Agro Pontino, è invece costituita da sabbie sommerse, bonificate durante il periodo fascista. Il promontorio nel quaternario era veramente un'isola e varie ne sono le prove: il ritrovamento sul promontorio di un'arenaria bigia ritrovata poi solamente a 300 metri di profondità, i solchi marini fossili, i segni dell'erosione marina e le informazioni ottenute dallo studio degli strati pliocenici. Il promontorio del Circeo è caratterizzato dalla presenza di numerose grotte sul suo versante meridionale.
Il borgo di San Felice Circeo ha una storia antichissima, che inizia con gli uomini di Neanderthal. Durante i secoli il Circeo sarà colonia romana, possedimento dei Templari durante il Medioevo, un feudo dei Caetani e infine roccaforte pontificia. A partire dalla metà del 3000 a.C. tutto il Lazio era abitato da popolazioni protolatine. Vivevano di pastorizia e di agricoltura, in villaggi fatti di capanne e successivamente in fortezze costruite su alture. Intorno al 1000 a.C. arrivarono altre popolazioni italiche quali Sabini ed Etruschi.
Il Circeo era già in antichità un importante centro commerciale; era un approdo per i navigatori stranieri i quali intrattenevano rapporti commerciali con le popolazioni locali e dell'entroterra. Si pensa che il promontorio potesse essere una stazione di approdo dei Focei, una popolazione greca stanziatasi nelle colonie siciliane. I greci iniziarono a narrare e a riportare varie leggende legate al Circeo e a Ulisse, Circe e i loro figli.
La fama del Circeo presso i Greci in quest'epoca antichissima fa pensare che evidentemente il Circeo fiorì commercialmente molto prima di altre città del Lazio. In epoca romana, il Circeo vennero costituite due colonie a distanza di un secolo l'una dall'altra, riferiscono gli storici romani Tito Livio, Dionisio d'Alicarnasso e Diodoro Siculo. La prima colonia venne inviata al Circeo da Tarquinio il Superbo e fu guidata dal figlio Arunte. Dionisio narra che la colonia venne inviata poiché il promontorio si trovava in una posizione strategica favorevole, in quanto affacciato sul mare. Poco tempo dopo la colonia dovette far fronte all'invasione dei Volsci. Dopo la dominazione volsca i Romani-Latini nel 393 a.C. decisero di riconquistare Circei e costruirono il perimetro dell'Acropoli di Circei facendola divenire una città-fortezza.
La storia del Circeo presenta un ampio buco temporale che va dalla caduta dell'Impero romano fino all'anno Mille. Sono gli anni delle invasioni barbariche e non è da escludere che gli abitanti della colonia abbiano subito violenze e devastazioni, prima con Alarico e poi con Genserico. Sicuramente Circei venne distrutta nel IX secolo dalle invasioni saracene. L'antica colonia era sparita e da quel momento in poi il centro abitato cambiò nome in Rocca Circei, Rocca Circea, Rocca de Circeio, Castrum Sancti Felicis, Locus Sancti Felici.
La Rocca Circea inizia a venire menzionata nei documenti dell'Alto Medioevo. Venne costruita dai papi o dai terracinesi subito dopo la distruzione di Circei. Dopo essere stata affidata per un periodo ai terracinesi, la Rocca Circea venne governata dalla signoria di Marino di Formosa, che lasciò ai cittadini ampie libertà ma in cambio richiese protezione armata e alleanza militare con l'esercito di Gaeta. Nel 1138 Gaeta cadde sotto il regno dei Normanni; di conseguenza anche la signoria di Marino di Formosa abbandonò la Rocca Circea che verrà occupata per breve tempo proprio dai Normanni.
Il XII secolo vide l'arrivo alla Rocca Circea dei Frangipane. Nel 1239, in un periodo di aspre lotte fra il papa Gregorio IX e Federico II, il pontefice ordinò ai Cavalieri Templari di impossessarsi della Rocca Circea. L'imperatore infatti aveva intenzione di attaccare da sud lo Stato Pontificio. È in questo periodo che la Rocca cambiò nome in Castrum Sancti Felicis. Oggi nel centro storico di S. Felice Circeo è possibile ancora osservare i luoghi costruiti ed abitati dai Templari che eressero un Convento e la Torre che oggi domina la piazza centrale.
Nel 1259 il Castrum Sancti Felicis venne dato a un nuovo signore: Giordano Pironti-Conti. Lui e i suoi discendenti governarono il paese fino alla fine del secolo, quando per occupazione violenta passò sotto la guida della famiglia Annibaldi di Roma. Il 1301 è una data molto importante nella storia del Circeo: gli Annibaldi infatti cedettero tutto il Castrum Sancti Felicis a Pietro Caetani. Il regno della famiglia Caetani sarà lunghissimo: più di 400 anni. Nel 1501 venne distrutta da Federico I d'Aragona. Questo perché il territorio era stato governato dai Caetani, nemici politici della famiglia aragonese. Gli abitanti fuggirono e i pochi che si salvarono si trasferirono a Sermoneta. Con la morte di papa Alessandro VI il paese ritornò ad essere un possedimento dei Caetani. Il nuovo papa Giulio II chiamò Guglielmo Caetani, che si trovava in esilio a Mantova, e con un documento incaricò il nobile di ricostruire e restaurare il castello di S. Felice.
Tutto il Cinquecento fu segnato infatti dai continui attacchi dei Saraceni che depredavano le coste laziali. In particolare il promontorio del Circeo era una meta preferita dai pirati che si nascondevano tra le insenature della costa per attaccare le navi che passavano. Inoltre la maggior parte delle volte sbarcavano sulla terraferma per compiere razzie e rapimenti. Le prime torri ad essere costruite furono Torre Paola e Torre Fico.
Nei primi decenni del Seicento i Caetani decisero di iniziare una seria opera di ripopolamento e di ricostruzione di San Felice. Questa prosperità prese piede in un periodo che invece fu difficilissimo per il resto della Penisola italiana afflitta dalla peste e dalla Guerra dei Trent'anni. Se si percorre la strada che da La Cona conduce al centro storico si troverà, poco dopo, sulla sinistra una discesa intitolata al principe Stanislao Poniatowsky. Il principe, nipote del re polacco Stanislao Augusto, prese in affitto il feudo nel 1808 e lo resse per 14 anni.
Al Circeo arrivarono vari artisti da Roma, tutti al servizio del principe, e tra questi ricordiamo Giuseppe Valadier, fonditore del Campanone della Basilica di San Pietro in Vaticano. In quattordici anni il paese rifiorì, cambiò volto e gli abitanti conobbero un vero periodo di benessere. Durante periodo napoleonico al promontorio viene riaffidato il compito di baluardo per la difesa costiera. L'arrivo delle truppe francesi comportò la costruzione delle due batterie di Torre Cervia e di Torre Moresca (quest'ultima ancora osservabile) e la sistemazione di un telegrafo nella zona dell'Acropoli.
