1965年秋，总政治部主任萧华因患肝炎，住在上海养病。萧华患病期间，副总参谋长杨成武经常去上海探望萧华，同时顺便去苏州问候林彪。这样，林彪和杨成武之间的来往接触，就比较多了起来。

    不久，军委办公厅主任萧向荣突然被撤职了。萧向荣究竟有什么“错误”和“问题”，是办公厅的工作搞得不好，还是有其它什么原因，我就说不清楚了。后来，是杨成武兼任了军委办公厅主任的职务。这样，林彪和杨成武之间的关系，起来越密切了。

    这一阶段，罗瑞卿的大部分时间都是在外地视察。他经常坐飞机往来于各地，检查各大军区的战备和防御工程，那一年，他先到沿海各地区，从东北一直到海南，然后又去西南、西北，总之对全国的地形，差不多都看遍了。由于经常外出，他对林彪难免有些疏远。于是林彪开始觉得罗瑞卿有些变了，认为他翅膀变硬了，有些大的事情也不请求报告。例如，在未报告林彪的情况下，罗瑞卿组织了全军“大比武”，被认为在“突出政治”的这个问题上，同林彪唱了对台戏，这就逐渐引起了林彪的不满。当时林彪还在苏州，据说罗瑞卿曾经几次想到苏州去汇报工作，但是每一次打电话都被林彪拒绝，说：“你工作忙，让杨成武来就可以了。”到这时，罗瑞卿已经发现林彪在有意冷淡他，可又不好表示什么，只好让杨成武到林彪那里来来往往，靠杨成武通报一些消息。

    1965年11月罗瑞卿离开上海时，到正在上海的毛泽东那里，对毛泽东说，他要到苏州去看看林彪。由于毛泽东对林彪在“七千人大会”上的讲话非常欣赏，始终不忘，就说：“去看看好，要林彪好好休养，要养得和‘七千人大会’时一样，能够作三、四个小时的报告。”没想到，罗瑞卿到了苏州，来到林彪的住所门口要求见林彪，但叶群借口林彪身体不好，没有让罗瑞卿进去，让罗瑞卿碰了一鼻子灰。

    这个时候，叶群还在太仓搞“四清”。11月末的一天上午，叶群从苏州用保密电话找我，要我马上派一架飞机到苏州去。她还特别告诉我，她要去杭州毛泽东那里，并再三嘱咐我不要向任何人讲，要绝对保密。我告诉叶群，上海空军有一架小型的里—2型飞机，为了保密，可以不通过北京，我直接命令上海空军用这架飞机送她到杭州去。放下电话，我便向上海空军下达了命令，要他们当天用这架飞机送叶群到杭州。晚上，这架飞机又载着叶群，从杭州返回了苏州。

    回到苏州后，叶群用保密电话告诉我，她下午见到了毛泽东，她把林彪对罗瑞卿的一些意见，全部向毛泽东作了汇报。汇报完，她还把一些单位反映罗瑞卿反对“突出政治”的材料，呈送给了毛泽东。汇报完时，天已经黑了。毛泽东要她当晚就返回苏州，并告知林彪，说他要考虑一下怎么处理，要林彪在苏州提高警惕，注意安全。

    叶群的这些讲话让我当时非常吃惊，我完全没有想到林彪同罗瑞卿之间的关系，已经坏到了这种地步！我想不出这究竟是为了什么，可在电话上也不好问。

    12月2日，毛泽东在一份报告上批示：“那些不相信突出政治，对突出政治表示阳奉阴违，而自己另外散布一套折衷主义（即机会主义）的人们，大家应当有所警惕。”在毛泽东作出这个批示几天之后，12月7日，中央军委副主席叶剑英通知我：“毛主席决定，从八号开始，在上海召开一个小型会议，要你去上海参加会议，并准备飞机，把北京的一些主要领导人送到上海去参加会议。”至于会议的内容，叶剑英始终没有对我透露。此时，毛泽东已经先期到达了上海。

    按照叶剑英副主席的指示，我安排刘少奇、周恩来、朱德、邓小平等各乘一架飞机飞往上海，我同参加会议的军委各总部，各军、兵种的主要负责人，以及国务院的一些主要负责人，分乘四架飞机飞往上海。

    到了上海，我刚刚在锦江饭店住下，杨成武和萧华就来告诉我，说林彪要找我谈话。紧接着，我就接到了叶群的电话，要我立即到她那里去。我很快到了叶群那里。叶群告诉我，毛泽东决定召开这次上海会议，主要就是要解决罗瑞卿的问题，因为上次她去杭州向毛泽东汇报罗瑞卿的事情时，对如何处理罗瑞卿，林彪没有提什么意见。这些天来，毛泽东一直在考虑这个问题，最后决定在上海开会，背靠背地批判罗瑞卿。

    听到这个决定，我十分震动，想不到庐山会议才几年的功夫，林彪和罗瑞卿的关系竟然发展到了这个地步！想到这里，我不禁问叶群：“罗瑞卿究竟有什么问题？”

    叶群说：“你不了解情况，我告诉你一点材料，你好在会议上揭发和批判。第一、罗长子反对林总突出政治的观点，说什么既要突出政治，也要突出军事，政治、军事都重要，搞折衷主义。第二、长期以来不向林彪报告工作，对一些重大的问题不商量、不通气。有的事情林总根本就不知道。例如在北京十三陵搞的那次大比武，林总当时在外地，罗瑞卿就没有报告他。这种作法林总是根本不同意的。第三、逼林总交权让贤。有一次，罗长子到林总这里来汇报工作，林总身体不大好，没听完就让他走了。他在走廊里大吵大嚷，说什么‘病号嘛，还管什么事？病号就应该让贤，不要挡路’。把林总气得差一点晕过去。第四、罗瑞卿曾经对刘亚楼讲了四条意见，包括要林总退居‘二线’，或者只搞中央工作，至于军委的工作，放手让罗瑞卿去管等等。还有，林总让我去参加‘四清’，好得到第一手材料来向林总汇报，但是罗长子就是反对，还说‘你何必去搞什么’‘四清’，主要是保护好林总的身体就行了’。”

    说完这些，叶群就要我在会议上发言，说就讲这些材料就行了。她还说：“现在知道这些材料的只有杨成武、萧华、雷英夫和你，别人都还不知道。你们几个人要在会议上带头发言，把这些材料捅出去。”

    我当时并没有见到林彪，这些都是叶群向我布置的。由于我知道这个会议是毛泽东决定而且亲自来上海坐镇主持召开的，是一个相当高级别的会议，加上要我发言又是林彪的意思，所以我向叶群表示愿意发言。话是这样说了，可从内心来说，我并不愿意作这样的发言。罗瑞卿一向对我很好，我对他还是很有感情的，何况我确实也不知道他有什么错误，一时不知道该说些什么，所以我一时也拿不定主意。

    这个会议是十分保密的，与会的除了从北京赶到上海的中央、中央军委、国务院及解放军各总部和各军、兵种的负责人以外，只有华东局第一书记陈丕显，总共不到一百人。我们全都住在锦江饭店，我住在八楼，同杨成武、萧华他们住在一层。

    12月18日上午9点，会议正式开始。整个会议由中央总书记邓小平主持，周恩来协助。会议先是分组，把与会人员分为三组，刘少奇、周恩来、邓小平各负责一组。我被编在第三组，是邓小平负责的那个组。毛泽东和林彪既没有参加编组，也没有在会议上露面，但每天的会议开完以后，由毛泽东召集中央常委会议，听取汇报和作出决定。

    会议开始的第一天，我们第三组的人都不知道罗瑞卿究竟有什么问题，一开始会上没人发言。主持会议的邓小平就说：“有人说，吴法宪知道点情况，是不是你先讲一讲。”

    邓小平这一点名，我只好硬着头皮，把叶群告诉我的情况在会议上说了一遍，主要讲罗瑞卿是折衷主义。由于讲这些话本来就不是我的意思，我说话声音比较小，邓小平就让我过去和他坐在一起。我很快说完后，邓小平问：“没有啦，就是这些？”我说我就是知道这些，别的确实不知道，讲不出多少。于是，会议就冷场了。后来在邓小平的一再启发下，大家这个讲几句，那个讲几句，但都讲不出什么名堂来。时间刚到十一点，邓小平就宣布散会了。

    与我们第三组相比，叶群、萧华、杨成武他们所在的那一组，开得就比我们热闹多了。小组会议开始后，叶群在会议上连续发言了几个小时，指责罗瑞卿有野心。叶群说，1964年以后，罗瑞卿就开始逼林彪让贤，叫嚷“病号不要挡道，要让贤”。

    叶群在发言中还抛出了一个材料，说罗瑞卿曾经要刘亚楼转告叶群四条意见：第一、林总早晚都是要出中央政治舞台的，现在不出，将来也要出；第二、要保护好林总的身体；第三、林总不要再干涉军队的工作了；第四、要放手让罗瑞卿工作，军委的事情交罗瑞卿办就可以了。叶群说，她听了刘亚楼转达的四条意见以后，当时就对刘亚楼说：“林彪的荣誉已经很高了，无意再进。”回家以后她对林彪说起这件事情，林彪说：“罗瑞卿是个野心家。”

    叶群在小组会议上的发言，当晚就由主持第二小组会议的周恩来向中央常委会作了汇报。当天晚上，周恩来就找我谈话。我刚到周恩来住房的门口，正好碰到雷英夫从里面出来。我一进去，周恩来就问我：“罗瑞卿是怎么反对林彪的？”我很惊讶，反问他“你也不知道吗？”他说他也不了解情况。于是，我就把叶群告诉我的事情又说了一遍。说完后，我还补充说：“听说海军有一些材料。”

    第二天上午，刘少奇又找我谈话，我又照样把叶群告诉我的话说了一遍。到了中午，刘少奇请我一起吃饭，我乘机在吃饭时把在太仓搞“四清”的一些情况，向他当面作了汇报。刘少奇听了很高兴，当即作了一些指示。我马上将刘少奇关于军队“四清”工作的指示进行了整理，并报告了总政治部。以后，总政治部又将这个材料发给了全军。

    这个时候，我对这次会议产生了一些疑问：像这样一个会议，连刘少奇、周恩来、邓小平都不知道什么情况，这是怎么搞的呢？但当时我是坚信毛主席的，既然毛主席都亲自到上海主持这件事，我也就不多想了。

    如果这种情况出在我们下面的党委，肯定是不正常的。但我当时连一个中央委员都不是，对中央的情况不太了解，所以只好相信毛主席的决定是正确的。尽管这样，我还是感到，在这样一个高级别的会议上，让我来带头发言，与我的身份是不相符的。基于这个考虑，一直到会议结束，我都没有再发言。

会议的第三天晚上，周恩来突然来找我交代任务，要我派一架飞机，配备最好最可靠的机组，到昆明把罗瑞卿接到上海来。他特别交待，要我亲自掌握好这架飞机，作好应变措施，飞机只准往东飞，不准往西飞。我明白他这话的意思，就是要防止罗瑞卿跑到缅甸或印度去。

    周恩来还告诉我，这架飞机到上海以后，只要三个人去接：一个是陈丕显，代表东道主；一个是谢富治，当时的公安部长；一个是我，是管飞机的。除了我们三个，其他任何人都不能去。他一再强调，罗瑞卿到上海的事情，要严格保密，不要告诉任何人。

    听完周恩来的指示，我当即报告他，准备派空军运输十三师的副师长时念堂去驾驶这架飞机。等他同意后，我又告诉他，罗瑞卿曾经从昆明打电话到北京找我讲话。周恩来马上问我：“接电话了吗？”我说：“没有接，我已经离开了北京，是留在家里的秘书打电话告诉我的。”周恩来听了后强调：“不要紧，就说你不在家。”

    我刚刚想离开周恩来的房间，秘书就进来告诉我，说是彭真从北京来电话找我。我刚想去接电话，周恩来立即阻止我说：“不要接，就说找不到你。他可能是来了解会议情况的。”

    我当时感到很奇怪，心里想，彭真同志是中央政治局委员、中央书记处书记、北京市委第一书记、全国人大常委会副委员长，为什么不告诉他会议的情况？难道彭真也有了问题？但是我绝对不敢问，只能带着这样的疑问离开周恩来的房间。

    12月21日下午2点，接罗瑞卿的飞机回到上海。按照周恩来的规定，我和陈丕显、谢富治一起到虹桥机场去接罗瑞卿。飞机降落以后，我看到昆明军区司令员秦基伟和罗瑞卿一起走下机舱。罗瑞卿的脸色很难看，显得很紧张，似乎意识到了什么。他同我们握手以后，就同陈丕显坐一辆车向市区驶去。陈丕显把罗瑞卿带到锦江饭店里的一个小院。周恩来、邓小平等在那里准备同罗瑞卿谈话。我没有资格参加这次谈话，我就离开了。罗瑞卿来到上海以后，一直没有见到他参加会议，我也没有向任何人透露罗瑞卿已经到了上海。

    会议进行到第四天，也就是罗瑞卿到达上海的那一天，大家继续揭发、批判罗瑞卿的折衷主义。这时候，发言的人比较多了起来。第五天，大家就讲得差不多了，实际上也没有什么可以讲的了，于是小组会宣布休息。同时，也宣布了纪律：不准上街，不准会见朋友。

    第六天下午，在锦江饭店顶楼餐厅开大会，刘少奇、朱德、周恩来、邓小平等领导到会，只有毛泽东和林彪没有露面。大会由周恩来主持，邓小平做总结发言。记得邓小平一共讲了五点：一、这次会议初步揭发了罗瑞卿的一些问题，会议暂时告一段落；二、罗瑞卿的主要问题是没有坚决执行林彪同志关于突出政治的指示，犯了折衷主义的错误；三、会议上揭发批判罗瑞卿的一些问题，将转达到本人，给他一点时间来认识错误；四、对罗瑞卿的问题，不能扩散，只限到会人员知道；五、会后怎么办，回京以后由中央研究解决。

    邓小平一共讲了半个小时。他讲完话，其他人全都没有再讲什么话，就散会了。这个会议开得很沉闷。

    回北京的时候，周恩来、邓小平、罗瑞卿同坐一架飞机。按照惯例，我还是赶在他们前面回到北京，然后候在机场接他们。在他们下飞机后同我一一握手时，我看到周恩来和邓小平的情绪都还好，只有罗瑞卿一声不响，心情沉重。这是我最后一次当面见到罗瑞卿。

    上海会议刚结束，毛泽东就又召集中央军委常委开会。他在与林彪、叶剑英、贺龙、聂荣臻、徐向前等老帅一起研究后决定：撤销罗瑞卿的军委秘书长兼总参谋长职务，由叶剑英副主席兼任军委秘书长，杨成武代理总参谋长。从此罗瑞卿就算靠边站了。罗瑞卿下台以后，由林彪、叶剑英、杨成武、萧华形成了军委新的领导核心，并由叶剑英及杨成武、萧华三人主持着军委全盘的日常工作。