Im März 1939 verließ die Familie Baum Rexingen in Richtung Palästina. Mit dem Nachtzug von Horb über Stuttgart, Ulm, München, Rosenheim nach Triest, da dies noch ein erlaubter Weg war.
Herbert erinnerte sich, dass in Rosenheim der Zug von Gestapo-Beamten kontrolliert wurde. Sie erlaubten sich einen üblen Spaß, als sie von seiner fünfjährigen Schwester Senta den Hitlergruß verlangten.
„Meine Schwester machte es. Sie hob die Hand und sagte Heil Hitler. So war die letzte Kontrolle überstanden und wir kamen schließlich nach Triest in Italien zu dem Schiff Galilea.“