Edmond Scherer apparaît également dans le journal des Goncourt, mais dans le contexte moins idéaliste des dîners Magny, qui réunissaient, entre autres, Sainte-Beuve, Théophile Gautier, Renan. Le 20 juillet 1863, Jules Goncourt note, après avoir rapporté une série d'indiscrétions et d'anecdotes lestes, que "Comme on se lève pour s'en aller, [Théophile] Gautier va à Scherer, le personnage le plus muet de la société, et lui dit: "Ah ça, j'espère que la première fois vous vous compromettrez; car nous nous compromettons tous, il n'est pas juste que vous restiez là à nous regarder!""