1935 zog die Familie nach Rottenburg. Mit den Großeltern Rosa und Albert Horkheimer hatten sie sich ein Zweifamilienhaus in der Mechtildstraße 32 gebaut. Zum Haus gehörte ein Garten mit Obstbäumen, Gemüsebeeten und einem großen Sandkasten.

Lila, wie sie von allen genannt wurde, hatte ein eigenes Zimmer mit vielen Spielsachen. Der Sandkasten war eine Attraktion für die Kinder in der Nachbarschaft.
In Rottenburg lebten nur wenige jüdische Familien und es gab keine jüdische Gemeinde.