En 1943, l'effort de guerre allemand se faisant de plus en plus exigeant, l'opération Todt, qui a déjà participée à la construction du Westwall avant guerre, s'emploie depuis quelques années, à la construction de l'atlantikwall et du südwall, elle a besoin de matériels et surtout d'acier. C'est dans cette optique de récupérer le maximum de métaux en France, qu'une grande campagne de ferraillage verra le jour en 1943, détruisant ou endommageant une grande partie des forts Séré de Rivières.

Le fort n'échappe pas à la règle, s'ils laissent intact les deux ponts du fort, ils récupèrent nombre de pièces métalliques dans le fort, mais surtout, font exploser la casemate en fer laminé, prennent énormément de retard sur la tourelle, après l'avoir pétardée au niveau des tubes, ils découpent au chalumeau, les voussoirs et l'avant-cuirasse, ce qui les obligeras à délaisser les morceaux de fer laminé de la casemate. En ce qui concerne le réseau de fil de fer, pour la récupération de celui-ci, les allemands ont internés à Epinal, au fort de Dogneville et à l'hôpital militaire de Golbey, des prisonniers russes et des prisonniers français, en grande partie des sénégalais et également des indiens. Ceux-ci auront comme outils, un marteau et un burin, ils seront chargés de casser le béton autours des queues de cochons et des ardillons.

Des travaux également de récupération vont se faire sur toute la route stratégique, récupération des câbles enterrés de téléphone et télégraphe qui en 1892, avaient été installés pour la communication entre les forts. Le fort en 1944 sera bombardé à plusieurs reprises par les américains et les allemands, mais sans être occuper par l'un ou par l'autre. Après la deuxième guerre mondiale, les américains vont s'en servir, pour y pratiquer des expériences, comme dans beaucoups d'ouvrages de fortification, que ce soit Séré de Rivières ou ligne Maginot. Ces expériences concernent des explosions en milieu confinés pour le réglage des sismographes des bombes nucléaires.

Après le départ des américains, ce sont les ferrailleurs et récupérateurs de la région qui achèveront la basse besogne. Une longue période d'abandon attend le fort, qui jusqu'à ce fameux jour du 21 août 2005, recevra les assauts des enfants de la région, puis de groupuscule plus ou moins suspect. Malgré tout, quelques efforts seront tentés pour le sortir de l'ombre, mais sans succès.

Afin de relier le fort de Remiremont, aux autres forts en constructions sur la Haute Moselle, un chemin stratégique est construit en 1875, ce chemin portera le nom de route stratégique n°102, elle débutera au réduit du Bois d'Arches et reliera successivement les forts d'Arches, Parmont, batterie de la Beuille, Rupt, Château-Lambert, Ballon de Servance et Giromagny.