בשנים אלו עליית הנאצים לשילטון השפיעה על חיי היומיום גם בוויזנברון. בשנת 1938 נאלץ יעקב לעזוב את בית הספר המקומי עקב היותו יהודי.
יעקב עבר לבבית הספר היהודי בווירצבורג, 30 ק"מ מוויזנברון. שם הוא גר אצל משפחת אנסבכר היהודית והיה חוזר לבית הוריו לשבתות וחגים.
