Nachdem sie ihre Heimat in Tübingen hatten aufgeben müssen, lebten die Bernheims kurze Zeit in Stuttgart. Dort erlebten sie die totale Ausgrenzung der Juden in der Öffentlichkeit. Auf einer Bahnreise von Berlin nach Stuttgart wurde Adolph Bernheim der Eintritt in den Schlafwagen und in den Speisewagen verwehrt.

Der 9. November 1938 verschlimmerte die Lage der Familie nochmals dramatisch. Sie mussten 20 Prozent ihres Vermögens als Zwangsabgabe bezahlen, und weil sie NS-Deutschland verlassen wollten, mussten sie "Reichsfluchtsteuer" bezahlen. So blieb den Bernheims von ihrem Vermögen nicht mehr viel übrig.