למרות כל זאת, מנפרד נעשה מודע לזהותו היהודית על ידי אחרים באופן קבוע, ובצורה שלילית. כמעט כל חבריו היו קתולים. אפילו אלו שהסתדרו איתו וקיבלו אותו העירו הערות במהלך וויכוחים שכוונו נגד זהותו היהודית. אז הוא חזר פתאום להיות אותו היהודי שאבות אבותיו רצחו את ישו.
ילדים אחרים שלא היו קרובים אליו היו מעליבים אותו לפרקים תוך שימוש בהערות אנטישמיות קשות. כך שאנטישמיות הייתה חלק מחייו כבר בילדותו המוקדמת.