Per la sua posizione strategica, Vieste costituì sempre uno dei maggiori capisaldi di difesa del Gargano e conservò fino al 1846 il titolo di Piazza d’armi. Tutti i governanti del Regno dell’Italia meridionale, dai Normanni ai Borboni, hanno sempre tenuto nella massima considerazione questo avanzatissimo posto dell’Adriatico. Il Castello, che sovrasta con la sua imponente mole il quartiere medioevale, viene fatto risalire alla II metà del sec. XI, quando conte di Vieste era il normanno Roberto Drengot. Si distingue dagli edifici e dal paesaggio circostante per il suo colore bruno, e si erge a strapiombo sulle rocce calcaree che danno sul mare. E’ a pianta triangolare, corredata agli spigoli (nord. Est ed Ovest) di tre bastioni a punta di lancia, che incorporano quelli più antichi a base circolare. A Sud, invece, sul limite dell’alto strapiombo della costa, si ergeva la fabbrica con la cappella, una serie di abitazioni e un piccolo cinquecentesco bastione. Durante le lotte tra il Papato e Federico II (1240), subì con la città, da parte dei Veneziani, notevoli danni. È attualmente usato dalla marina militare italiana.
