Hillel Baum wurde im September 1928 als Herbert Siegmund Baum in Alzey geboren. Er war das erste Kind von Klara und Ludwig Baum.

Seine Schwester Senta kam im Dezember 1933 auf die Welt.

Alzey war eine Kleinstadt in Rheinland-Pfalz und hatte damals etwa 9.000 Einwohner. Circa 200 von ihnen waren Juden. Die Jüdische Gemeinde besaß eine eigene Synagoge und hatten einen Rabbiner angestellt.