Die Diskriminierungen, die Nussbaum 1933 unter der neuen Herrschaft erleiden musste, führten zu massiven gesundheitlichen Problemen. Der damalige Oberarzt an der Neurologischen Poliklinik in Frankfurt, Dr. Erich Adler, formulierte 1962 in einem Gutachten: „Der feinfühlige, produktive Künstler war zutiefst betroffen und erschüttert durch die entwürdigenden und demütigenden Schikanen, denen er als Jude ausgesetzt war. Er wurde sehr reizbar, nervös, depressiv. Sein Magenleiden verursachte derartige nächtliche Schmerzanfälle, dass er fast schlaflos wurde. Er hatte mehrere schwere Blutungen aus seinem Zwölffingerdarm-Geschwür, hatte Angst vor jeder Nahrungsaufnahme, lebte praktisch nur noch von kleinen Mengen Milch, so dass er erheblich an Gewicht abnahm. Ich riet dringend zu einer Operation, wollte ihn bei Professor Schmieden operieren lassen, der es jedoch ablehnte, einen Juden zu operieren. Er war durch diese Vorkommnisse so entmutigt, wollte sich in seinem reduzierten körperlichen Zustand von niemand anderem operieren lassen und hatte nur noch einen Gedanken, Deutschland möglichst schnell zu verlassen.“
Die Bilder in seinem persönlichen Besitz überließ Nussbaum dem Direktor der Städelschen Galerie in Frankfurt, der sie in einem Keller versteckte. Nach dem Krieg  wurden sie der Familie zurückgegeben. Die Graphiken, die das Städelsche Kunstinstitut zu Lebzeiten Nussbaums erworben hatte, überdauerten dort die NS-Zeit, obwohl sie als Werke eines jüdischen bzw. „entarteten“ Künstlers gemäß damaliger Praxis eigentlich hätten ausgemustert werden müssen.
  
Selbstporträt