在温州的这两个女人和一个男人，无论怎么短暂的三角关系，亦是一个尴尬的故事。胡兰成曾回忆过这么一件事：“爱玲并不怀疑秀美与我，因为都是好人的世界，自然会有一种糊涂（这是多么聪明的辩解--笔者注）。惟一日清晨在旅馆里，我倚在床上与爱玲说话很久，隐隐腹痛，却自忍着。及后秀美也来了，我一见就向她诉说身上不舒服。秀美坐在房门边一把椅子上，单问痛得如何，说等一会儿泡杯午时茶吃就会好的。爱玲当下很惆怅，分明秀美是我的亲人。”而她，她像是“第三者”或是客人了。

有时三人一起上街，有时三人一起在旅馆里聊天。秀美却不愿意爱玲上她家，怕邻居们对三人的关系作种种猜忌，自己不好做人。一日爱玲夸秀美长得漂亮，并要给她画像。这本是爱玲的拿手戏，三人兴味十足。秀美端坐着，爱玲疾笔如飞，胡兰成在一边看，看她勾了脸庞，画出眉眼鼻子，正待画嘴角，却突然停笔不画了，说什么也不画了，她也不解释，一脸凄然之情。
秀美走后，胡兰成一再追回原委，她半晌才说：“我画着画着，只觉得她的眉神情，她的嘴，越来越像你，心里好不震动，一阵难受就再也画不下去了。”言下不胜委屈。一个女人心里只装着一个男人，而这个男人心中却有着几个女人，她如何能不感伤？

胡兰成自有辩护。他问爱玲，早先在上海时，也曾两次谈到他和小周的事，爱玲虽不悦，却也无话，为何现在当了真？他说他和爱玲的爱是在仙境中的爱，与小周、秀美的爱是尘境中的爱，本不是一档，没有可比性。他还说他待爱玲如待自己，宁可委屈爱玲，也不委屈小周，如像克己待客一样。视妻为己，视情人为客，两相冲突时而“克己待客”，这本是某些喜欢拈花惹草而道德感未彻底丧失的男子的通性，因此，胡兰成的这一条解释或有部分真实。但整个的辩解只能视为狡辩，只能看做男人移情别恋，推诿责任的不实之辞。

他还对爱玲说：“我等你，天上地下，没有得比较。若选择，不但于你是委屈，亦对不起小周。人世迢迢如岁月，但是无嫌猜，按不上取舍的话。而昔人说修边幅，人生的烂漫而庄严，实在是连修边幅这样的余事末节，亦一般如天命不可移易。”

爱玲自有其理：“《美的画报》上有一群孩子围坐吃午时茶苹果，你要这个，便得选择美国社会，是也叫人看了心里难受。你说最好的东西是不可以选择的这个我完全懂得。但是这件事还是要请你选择，说我无理也罢。”而且她第一次作了这样的质问，“你与我结婚时，婚帖上写现世安稳，你不给我安稳？”

胡兰成答道，世景荒芜，已没有安稳，何况与小周有无再见之日也无可知。爱玲道：“不！我相信你有这样的本领。”她叹了一口气，自伤自怜地说：你到底是不肯。我想过，我倘使不得不离开你，亦不致寻短见，亦不能够再爱别人，我将只是萎谢了！

第二天，她走了。胡兰成送她，天下着雨。不几日爱玲有钱寄来，亦有信来：“那天船将开时，你回岸上去了，我一人在雨中撑伞在船舷边，对着滔滔黄浪，伫立涕泣久之。”都说女人情多泪亦多，但张爱玲是很少流泪的。与父亲反目时，她大哭过，在香港求学时有次放假炎樱没等她先回了上海，她伤心痛哭又追她而去。再就是这一次……天公应离情。二十多天的温州寻夫行结束了，阵阵春雨，淅淅沥沥，缠缠绵绵。雨水和泪水中满腔的哀怨包围了爱玲，把昔日的热焰浇泼贻尽，把欲仙欲死的爱境冲刷得人去楼空，把一代才女的爱之繁花打落得残红遍地……

他俩仍偶有通信往返，但日渐疏稀。到了1947年春天之时，爱玲的信亦有了“我觉得要渐渐地不认识你了”之类的词句。但她仍常给他寄钱，用自己的稿费接济他。这时胡兰成的情况有了松动，虽然还是隐姓埋名。此时他正在撰写论中国社会与现实的书，名曰《山河岁月》。（这本书费时数年，几易其稿，后来在日本出版。）他还在温州中学和淮南中学教书。他仍然怀着“要出去到外面天下世界”的梦想，“想法子结识新人”。时逢梁漱溟先生调停国共纷争，屡屡被时人注意。胡兰成就给他写信，称他“于学问之诚，可算今日中国思想界第一人”。梁先生回信说：“几十年的老友中，未有针砭漱溟之切如先生者。”于是二人常有通信来往。胡兰成有时也去听温州戏，“我看了温州戏，想着我现在看一样东西能晓得它的好，都是靠的爱玲教我。又我每日写 《山河岁月》这部书，写到有些句子竟像是爱玲之笔，自己笑起来道：‘我真是吃了你的涎唾水了’。”

1947年11月，胡兰成悄悄来到上海，他在张爱玲处住了一夜，又走了。他不忏悔和谴责自己的滥情，反倒指责张爱玲在日常生活中的某些细节处理“不当”。他又问张爱玲对自己写的那篇含有与小周交往内容的《武汉记》印象如何，又谈起与范秀美的事，张爱玲十分冷淡。当夜，二人分室而居。第二天清晨，胡兰成去张爱玲的床前，俯身吻她，她伸出双手紧抱着他，泪涕涟涟，哽咽中一句“兰成”就再也说不出话来。