Su verdadero nombre es Fuerte de San Francisco Javier, pero es más conocido por los portuenses como Castillo de Queso ya que fue construido encima de una roca de granito cuyo formato arredondeado recordaba un queso.
Esta designación surgió en el siglo XVII cuando se construyó el fuerte para defender la ciudad de los ataques de los piratas provenientes del norte de África. La idea de erigir el Fuerte de San Francisco Javier surgió en el siglo XVI, pero como la zona no tenía mucho interés estratégico en aquella época, su construcción fue pospuesta.
Aun cuando poseía todas las características de un edificio militar diseñado para la defensa costera – murallas, un foso, cañones y garitas – lo cierto es que nunca sirvió verdaderamente para el fin para el que fue ideado. Durante la Guerra Civil (1828-34) fue ocupado por las tropas de D. Miguel y acabó por ver parte de su estructura destruida. Y aunque fue abandonado y saqueado, después de restaurarlo es, en la actualidad, un espacio abierto al público en el que encontramos un pequeño museo que recibe exposiciones y otros eventos.