In Rottenburg wollten die Großeltern Deutschland nicht verlassen. Der Großvater hatte im Ersten Weltkrieg gekämpft und fühlte sich dadurch geschützt. Im August 1942 wurden Albert und Rosa Horkheimer ins Ghetto Theresienstadt deportiert. Fünf Wochen nach ihrer Ankunft brachte man sie ins Vernichtungslager Treblinka und ermordete sie.
Auch Lilians Großonkel Ferdinand und Großtante Jenny Horkheimer wurden nach Theresienstadt deportiert. Beide starben dort.