Quizais fosen as súas óptimas condicións naturais ou a súa proximidade á cidade de Vigo os factores que motivaron que a illa fose testemuña de numerosos acontecementos violentos provocados por conflitos territoriais e incursións armadas, que desembocarían finalmente no éxodo dos monxes, buscando lugares menos axitados en zonas próximas a Redondela.
Un dos episodios máis sanguentos tivo lugar en 1589, cando Francis Drake atacou diversos puntos da costa galega nunhas incursións das que non se librarían as illas de San Simón. De feito, as crónicas da época apuntan a que os últimos ocupantes do convento foron pasados a coitelo polo célebre corsario, nomeado cabaleiro pola raíña Isabel I de Inglaterra pero considerado un pirata pola Coroa española.
Apenas pasara un ano da derrota da Armada Invencible cando Inglaterra aproveitou a desfeita dos barcos españois para saquear as nosas costas e apoiar a insurrección portuguesa contra Felipe II de España. Tras atacar A Coruña, ao norte de Galicia, con resultados infrutuosos grazas á heroica resistencia da cidade, o vencido e humillado Sir Francis Drake arrasou sen piedade a vila de Vigo e, por extensión, a illa de San Simón antes de baterse en retirada e embarcarse nunha nova campaña contra a Coroa española.
O arquipélago viuse inmerso tamén, o 23 de outubro do ano 1702, na batalla de Rande, cando unha flota armada anglo-holandesa atacou as naves españolas e francesas na enseada de San Simón, en plena Guerra da Sucesión.
Os galeóns españois cargados co maior envío que se coñecía de tesouros procedentes de América, entraron en Vigo o día 22 de setembro de 1702. Refuxiáronse no fondo da ría, pero os anglo-holandeses descubriron o agocho do prezado cargamento. Os españois estaban preparados para a incursión, protexidos pola escuadra francesa, con canóns en terra e cadeas cruzadas na ensenada para impedir a entrada dos buques inimigos. Finalmente, o 23 de outubro comezou a batalla.
Os anglo-holandeses conseguiron conquistar as defensas de terra cun ataque anfibio logrando unha vitoria que se repetiría no mar tras menos de dez horas dun combate, que deixou os navíos franceses en chamas e abriu unha vía libre para chegar aos cobizados galeóns españois cargados de tesouros.
Os españois afundiron os seus barcos e hai historiadores que afirman que foron tragados polo mar con parte da súa prezada carga a bordo. Os atacantes vitoriosos non puideron evitar, á súa partida, que encallase o único galeón apreixado, que finalmente afundiría na saída da ría de Vigo, alimentando dese modo a lenda. Antes de abandonar a enseada os ingleses saquearon a illa de San Simón e, segundo relata Frei Jacobo de Castro, acoitelaron as imaxes dos santos e queimaron a igrexa.
Tan célebre foi a batalla de Rande que Vigo gañou unha rúa en Londres para lembrar a vitoria británica na súa ría. Ademais, esta contenda é quizais a maior fonte de lendas relacionadas coa enseada e a illa de San Simón. O mito do tesouro segue vivo e non só reparou nel Jules Verne. Ao longo da historia sucedéronse as expedicións para buscar o ouro dos vellos galeóns que repousan no fondo da ría.
Tras tantas escaramuzas, as ordes relixiosas acabaron abandonando a illa, que seguiu sendo escenario de novas incursións británicas como a do Almirante Michells no ano 1719. Tamén se apunta a unha posible visita das tropas de Napoleón durante a Guerra da Independencia, no transcurso das contendas que culminaron o 28 de marzo de 1809 cun alzamento popular que permitiu liberar Vigo da ocupación francesa. A coñecida como Reconquista, que se conmemora todos os anos con diversas actividades e recreacións históricas, é un fito fundamental no desenvolvemento da vila, xa que supuxo a concesión do título de cidade.