El Castillo de Gallipoli es un imponente castillo que se encuentra en la parte este de la isla que alberga el antiguo pueblo, cerca del puente que une la parte antigua de la ciudad con la nueva. Está rodeado casi por completo por el mar y se asienta para custodiar el puerto y la ciudad gracias a su posición estratégica.
Es muy probable que los angevinos y aragoneses hicieran cambios sustanciales en el castillo de origen romano: la planta cuadrangular de la estructura, dotada de tres torreones y una torre poligonal, estaba casi completamente aislada por fosos por todos lados. Además, en 1522 se construyó el Rivellino, es decir, una quinta torre circular, más baja y ancha que las demás, en una posición adelantada con respecto a las murallas. Una especie de vanguardia en el sistema defensivo.
El Rivellino se utilizó como cine hasta su cierre. Hoy, todo el Castillo ha sido remodelado y gracias a un nuevo proyecto, se han creado zonas para la realización de exposiciones, eventos culturales y pequeñas representaciones teatrales.