Ende November 1941 begannen die Deportationen der Juden aus Württemberg in die Lager im Osten. Ilse Wälder wurde bei der zweiten Deportation am 26. April 1942 nach Izbica in Polen verschleppt. Mit ihr wurde auch der letzte jüdische Lehrer, Arnold Isenberg, mit seiner Frau deportiert.

Die Eltern von Ilse blieben in Rexingen zurück.