Construída em 1744 formou parte do sistema defensivo da Ilha projetado pelo Brigadeiro da Silva Paes. No século 19, funcionou como enfermaria para doentes de cólera e hanseníase.
A fortaleza de São José da Ponta Grossa foi tombada pelo Partimônio Histórico e Artístico Nacional em 1938. Em 1976 as ruínas foram limpas da vegetação.