In der Nacht des 9. November 1938 wurde auch in Rexingen die Synagoge zerstört. Jüdische Männer wurden verhaftet und ins Konzentrationslager nach Dachau gebracht. Ludwig Baum wurde ins KZ Welzheim verschleppt.

Am 21. November wurde er wieder entlassen, mit der Verpflichtung, sofort seine Auswanderung zu betreiben. Die Familie wollte jetzt so schnell wie möglich NS-Deutschland verlassen.