Le vrai nom est Forte de São Francisco Xavier (Le Fort de Saint François Xavier), mais il est connu par les habitants de Porto comme Castelo do Queijo (Château de Fromage), vu qu’il a été construit sur une roche de granite de forme ronde ressemblant à un fromage.
Cette désignation aurait surgi au XVII siècle, quand le fort fut construit pour défendre la côte des attaques de pirates venus du nord d’Afrique. L’idée d’ériger le Fort de Saint François Xavier aurait surgi au XVI siècle, mais comme, à l’époque, cette zone ne présentait pas d’intérêt stratégique, la construction fut reportée.
Quoiqu’il possède toutes les caractéristiques d’un édifice militaire, taillé pour la défense côtière – murailles, une fosse, des canons et garnissons, en réalité, il n’a jamais vraiment servi à cette fin. Durant la Guerre Civile (1828-34) il fut occupé par les troupes de D. Miguel et une partie de sa structure fut détruite. Il a été abandonné et saccagé mais, après sa restauration, il est aujourd’hui un espace ouvert au public, possédant un petit musée et recevant des expositions et autres événements.