Op 11 oktober 1944 wordt Hermsen gedeporteerd naar Neuengamme, een reis van drie dagen. Dat transport vanuit Amersfoort bestaat uit 1406 mensen. Zijn kampnummer is 56938. Hij heeft dan nog één ring in zijn bezit en wat Nederlands muntgeld.