梁思成的学生也是他后来的妻子林洙曾在怀念金岳霖的文集里披露过一个故事，说的就是当时梁思成和林徽因住在总布胡同时，金岳霖与他们住前后院，金岳霖住在另有旁门出入的后院。

　　1931年，梁思成从外地回来，林徽因很沮丧的告诉他：“我苦恼极了，因为我同时爱上了两个人，不知道怎么办才好?”这应该是林徽因这个女人独特的聪明之处，遇到问题时，从来不是自己一个人去解决，让你抛给愿意帮她解决的人。

　　梁思成第二天告诉林徽音，“你是自由的，如果你选择了老金，我祝愿你们永远幸福。”林徽因后来又将这些话转述给了金岳霖，金岳霖回答，“看来思成是真正爱你的，我不能伤害一个真正爱你的人，我应该退出。”于是从此三人终身为友。

　　总觉得金岳霖对林徽音的感情要比梁思成来得深厚得多，有人说金岳霖才是真正懂得爱情的人，他对林徽因的痴恋让“三洲人士共惊闻”。这位老先生一生的感情确实从来都没离开过林徽因。五十年代后期，林徽音已经去世，梁思成也已经另娶了他的学生林洙。金岳霖有一天却突然把老朋友都请到北京饭店，没讲任何理由，让收到通知的老朋友都纳闷。饭吃到一半时，金岳霖站起来说，今天是林徽因的生日。闻听此言，有些老朋友望着这位终身不娶的老先生，偷偷地掉了眼泪。