La sua prima edificazione risale all’età normanna con il possente torrione quadrangolare che svetta tra le torri del castello. Fu Federico II a voler ampliare la fortezza e a potenziare la cinta muraria cittadina con l’apertura dell’attuale Porta Napoli (o Porta Mesagne) col tipico fornice a sesto acuto. Angioini ed Aragonesi proseguirono con gli interventi di adeguamento della struttura alla nuove tecniche di attacco e di difesa con la costruzione del possente antemurale che circonda la struttura federiciana. Durante la II guerra Mondiale, il re Vittorio Emanuele III ed il suo stato maggiore, in fuga da Roma, stabilirono qui la loro base promuovendo Brindisi a temporanea Capitale d’Italia. Oggi il Castello è sede della Brigata Marina San Marco.