Il Castello è il simbolo della città, costruito probabilmente in epoca normanna intorno all’XI secolo, nel luogo di un preesistente torrione di epoca longobarda. Fu ristrutturato nel 1247 da Federico II di Svevia, dal quale prende il nome.
Ciò che salta subito all’occhio è la sua struttura, composta da una torre che poggia su una base a tronco di piramide quadrata; ai quattro angoli si innestano altrettante torri cilindriche aggettanti.
Il castello si sviluppa soprattutto in altezza sul lato nord a ridosso del mare, e questo lascia intendere che aveva una funzione sì di avvistamento ma soprattutto difensiva. La parte inferiore del castello aveva una funzione di magazzino e deposito, mentre la parte superiore era adibita a deposito e abitazione, ma aveva soprattutto un ruolo difensivo.
Gli ambienti posti al primo piano sono denominati “Corridoio degli arcieri”, hanno tutti una pianta rettangolare, sono coperti da volte a botte e sono caratterizzati da numerose fessure che permettevano agli arcieri e ai balestrieri di colpire i nemici dall’alto. Su questo piano si sviluppano le torrette circolari e qui, in origine, si apriva l’unico accesso al castello posto sul lato nord-est, dove sono visibili le mensole che servivano a far scorrere le funi e gli argani del ponte levatoio.
Nel 1885 il Castello Svevo è stato dichiarato monumento nazionale e qualificato come museo storico regionale.