A guardia del porto della città, sull’isola di S. Andrea si erge maestoso il Castello Alfonsino fatto costruire per volontà degli Aragonesi a partire dal 1481 per fronteggiare la minaccia dell’avanzare dell’espansionismo ottomano. La fortezza si compone di due fulcri annessi tra loro dalla splendida darsena: da un lato la prima edificazione, dall’altra la cosidetta zona del Forte a Mare fatto costruire a partire dal 1558. Il castello, detto anche Castello rosso per il colore che assumono al tramonto i conci di carparo con cui è costruito, è un capolavoro di architettura da difesa, la sua forma trapezoidale e le spesse mura lo hanno reso per anni inespugnabile.