In der Pogromnacht vom 9. auf den 10. November 1938 wurde die Rexinger Synagoge von SA-Männern angezündet und im Innern zerstört. Torarollen und Gebetbücher wurden in und vor der Synagoge verbrannt. Die Synagoge konnte nicht mehr benutzt werden.

Die meisten jüdischen Männer aus Rexingen wurden festgenommen und im KZ Dachau inhaftiert. Darunter war auch der Vater von Ilse, Wilhelm Wälder.

Ihr Bruder Sally, der sich in Frankfurt aufgehalten hatte, wurde von dort ins KZ Buchenwald gebracht. Nach seiner Entlassung im Februar 1939 gelang es ihm, über Schweden in die USA zu fliehen. Ihm folgten kurz darauf seine Schwester Hella mit Mann und Kind.