Il borgo di Specchia deve il suo nome al cumulo di pietre a secco che i Messapi utilizzavano come opere di difesa e postazioni di vedetta. Nel Medioevo, Specchia era chiamata Speda de Amygdalis e nel corso dei secoli è stata chiamata anche Specchia Mendolia. Il nome indica che in passato la zona di Specchia era ricchissima di alberi di mandorlo. Un mandorlo che cresce su un cumulo di pietra è rappresentato infatti anche sullo stemma civico del paese. Secondo la leggenda Specchia è stata fondata dalla matrona romana Lucrezia Amendolara, alla quale è dedicata la via principale del paese. Il nome completo era però "Specchia Preti", ma dopo l'Unità d'Italia si sente l'esigenza di cancellare l'appellativo "Preti" e il Re Vittorio Emanuele II accoglie la richiesta del Comune in data 28 febbraio 1873.
Le prime notizie sull'esistenza del borgo di Specchia risalgono all'XI secolo, quando, molto probabilmente, un piccolo nucleo di contadini e pastori, per ripararsi dalle frequenti scorrerie saracene, ha occupato questo colle abbastanza elevato e lontano dal mare. Il nucleo di persone che aveva qui trovato facile rifugio si ingrandiva sempre più, con l'aggiunta di nuovi fuggiaschi. La collina cominciò ad essere cinta di grandi muraglie, torrioni e altre opere militari, di cui non è rimasto più a. A ricordo delle mura sono rimaste solo due strade: Mura di Ponente e Mura di Levante. Delle torri quattrocentesche ne restano ancora due anche se sono inglobate in costruzioni successive.
II centro storico è l'espressione più alta della vita e della storia di una popolazione, e quello di Specchia è considerato fra i più belli del Salento. Rivela ancora oggi un impianto medievale ed è racchiuso in un perimetro circolare della lunghezza di 700 metri corrispondente al perimetro delle antiche mura. Intorno al primitivo nucleo, costituito dal castello, si costruì lentamente una serie di case e di strade, mano a mano che la popolazione aumentava. La parte più suggestiva è quella collocata alle spalle del castello. Qui la natura scoscesa del luogo ha trasformato le strade in scalinate creando un gioco prospettico ed una scenografia difficilmente riscontrabile nel resto del Salento. Dappertutto si incontrano strade brevi e strette che, qualche volta, svelano scorci della pianura sottostante e, altre volte, terminano in vicoli o si aprono su corti, quasi delle piccole piazze, con la pila in pietra leccese per lavare i panni, la cisterna comune e i fiori coltivati. Queste corti rappresentano gli antichi salotti del popolo, che trascorreva all'aperto buona parte della giornata e entrava in casa solo per mangiare e dormire.
Ma il centro storico di Specchia non nasconde suggestioni ad ogni angolo di strada, ma anche sotto di essi. Meritano indubbiamente una visita i frantoi ipogei. Risalgono ad un periodo compreso fra il 1500 e il 1800. Vennero realizzati sottoterra per due motivi: la semplicità di escavazione rendeva più conveniente lo scavo anziché l'edificazione in superficie; inoltre era più facile mantenere la temperatura costante sui 20 gradi centigradi circa: temperatura ottimale per la separazione della cosiddetta santina dall'olio vero e proprio. Un ulteriore accorgimento era quello di posizionare l'imboccatura del frantoio a sud per meglio difendersi dai venti di tramontana. La storia narra che durante il Regno di Napoli, il Salento avesse il primato nella produzione dell'olio, infatti il Capo di Leuca è ricco di queste strutture architettoniche ora abbandonate. I frantoi erano la fondamentale risorsa economica di questa terra.