1965年秋，總政治部主任蕭華因患肝炎，住在上海養病。蕭華患病期間，副總參謀長楊成武經常去上海探望蕭華，同時順便去蘇州問候林彪。這樣，林彪和楊成武之間的來往接觸，就比較多了起來。

    不久，軍委辦公廳主任蕭向榮突然被撤職了。蕭向榮究竟有什麼“錯誤”和“問題”，是辦公廳的工作搞得不好，還是有其它什麼原因，我就說不清楚了。後來，是楊成武兼任了軍委辦公廳主任的職務。這樣，林彪和楊成武之間的關係，起來越密切了。

    這一階段，羅瑞卿的大部分時間都是在外地視察。他經常坐飛機往來於各地，檢查各大軍區的戰備和防禦工程，那一年，他先到沿海各地區，從東北一直到海南，然後又去西南、西北，總之對全國的地形，差不多都看遍了。由於經常外出，他對林彪難免有些疏遠。於是林彪開始覺得羅瑞卿有些變了，認為他翅膀變硬了，有些大的事情也不請求報告。例如，在未報告林彪的情況下，羅瑞卿組織了全軍“大比武”，被認為在“突出政治”的這個問題上，同林彪唱了對台戲，這就逐漸引起了林彪的不滿。當時林彪還在蘇州，據說羅瑞卿曾經幾次想到蘇州去匯報工作，但是每一次打電話都被林彪拒絕，說：“你工作忙，讓楊成武來就可以了。”到這時，羅瑞卿已經發現林彪在有意冷淡他，可又不好表示什麼，只好讓楊成武到林彪那裡來來往往，靠楊成武通報一些消息。

    1965年11月羅瑞卿離開上海時，到正在上海的毛澤東那裡，對毛澤東說，他要到蘇州去看看林彪。由於毛澤東對林彪在“七千人大會”上的講話非常欣賞，始終不忘，就說：“去看看好，要林彪好好休養，要養得和‘七千人大會’時一樣，能夠作三、四個小時的報告。”沒想到，羅瑞卿到了蘇州，來到林彪的住所門口要求見林彪，但葉群藉口林彪身體不好，沒有讓羅瑞卿進去，讓羅瑞卿碰了一鼻子灰。

    這個時候，葉群還在太倉搞“四清”。11月末的一天上午，葉群從蘇州用保密電話找我，要我馬上派一架飛機到蘇州去。她還特別告訴我，她要去杭州毛澤東那裡，並再三囑咐我不要向任何人講，要絕對保密。我告訴葉群，上海空軍有一架小型的里—2型飛機，為了保密，可以不通過北京，我直接命令上海空軍用這架飛機送她到杭州去。放下電話，我便向上海空軍下達了命令，要他們當天用這架飛機送葉群到杭州。晚上，這架飛機又載着葉群，從杭州返回了蘇州。

    回到蘇州後，葉群用保密電話告訴我，她下午見到了毛澤東，她把林彪對羅瑞卿的一些意見，全部向毛澤東作了匯報。匯報完，她還把一些單位反映羅瑞卿反對“突出政治”的材料，呈送給了毛澤東。匯報完時，天已經黑了。毛澤東要她當晚就返回蘇州，並告知林彪，說他要考慮一下怎麼處理，要林彪在蘇州提高警惕，注意安全。

    葉群的這些講話讓我當時非常吃驚，我完全沒有想到林彪同羅瑞卿之間的關係，已經壞到了這種地步！我想不出這究竟是為了什麼，可在電話上也不好問。

    12月2日，毛澤東在一份報告上批示：“那些不相信突出政治，對突出政治表示陽奉陰違，而自己另外散布一套折衷主義（即機會主義）的人們，大家應當有所警惕。”在毛澤東作出這個批示幾天之後，12月7日，中央軍委副主席葉劍英通知我：“毛主席決定，從八號開始，在上海召開一個小型會議，要你去上海參加會議，並準備飛機，把北京的一些主要領導人送到上海去參加會議。”至於會議的內容，葉劍英始終沒有對我透露。此時，毛澤東已經先期到達了上海。

    按照葉劍英副主席的指示，我安排劉少奇、周恩來、朱德、鄧小平等各乘一架飛機飛往上海，我同參加會議的軍委各總部，各軍、兵種的主要負責人，以及國務院的一些主要負責人，分乘四架飛機飛往上海。

    到了上海，我剛剛在錦江飯店住下，楊成武和蕭華就來告訴我，說林彪要找我談話。緊接着，我就接到了葉群的電話，要我立即到她那裡去。我很快到了葉群那裡。葉群告訴我，毛澤東決定召開這次上海會議，主要就是要解決羅瑞卿的問題，因為上次她去杭州向毛澤東匯報羅瑞卿的事情時，對如何處理羅瑞卿，林彪沒有提什麼意見。這些天來，毛澤東一直在考慮這個問題，最後決定在上海開會，背靠背地批判羅瑞卿。

    聽到這個決定，我十分震動，想不到廬山會議才幾年的功夫，林彪和羅瑞卿的關係竟然發展到了這個地步！想到這裡，我不禁問葉群：“羅瑞卿究竟有什麼問題？”

    葉群說：“你不了解情況，我告訴你一點材料，你好在會議上揭發和批判。第一、羅長子反對林總突出政治的觀點，說什麼既要突出政治，也要突出軍事，政治、軍事都重要，搞折衷主義。第二、長期以來不向林彪報告工作，對一些重大的問題不商量、不通氣。有的事情林總根本就不知道。例如在北京十三陵搞的那次大比武，林總當時在外地，羅瑞卿就沒有報告他。這種作法林總是根本不同意的。第三、逼林總交權讓賢。有一次，羅長子到林總這裡來匯報工作，林總身體不大好，沒聽完就讓他走了。他在走廊里大吵大嚷，說什麼‘病號嘛，還管什麼事？病號就應該讓賢，不要擋路’。把林總氣得差一點暈過去。第四、羅瑞卿曾經對劉亞樓講了四條意見，包括要林總退居‘二線’，或者只搞中央工作，至於軍委的工作，放手讓羅瑞卿去管等等。還有，林總讓我去參加‘四清’，好得到第一手材料來向林總匯報，但是羅長子就是反對，還說‘你何必去搞什麼’‘四清’，主要是保護好林總的身體就行了’。”

    說完這些，葉群就要我在會議上發言，說就講這些材料就行了。她還說：“現在知道這些材料的只有楊成武、蕭華、雷英夫和你，別人都還不知道。你們幾個人要在會議上帶頭髮言，把這些材料捅出去。”

    我當時並沒有見到林彪，這些都是葉群向我布置的。由於我知道這個會議是毛澤東決定而且親自來上海坐鎮主持召開的，是一個相當高級別的會議，加上要我發言又是林彪的意思，所以我向葉群表示願意發言。話是這樣說了，可從內心來說，我並不願意作這樣的發言。羅瑞卿一向對我很好，我對他還是很有感情的，何況我確實也不知道他有什麼錯誤，一時不知道該說些什麼，所以我一時也拿不定主意。

    這個會議是十分保密的，與會的除了從北京趕到上海的中央、中央軍委、國務院及解放軍各總部和各軍、兵種的負責人以外，只有華東局第一書記陳丕顯，總共不到一百人。我們全都住在錦江飯店，我住在八樓，同楊成武、蕭華他們住在一層。

    12月18日上午9點，會議正式開始。整個會議由中央總書記鄧小平主持，周恩來協助。會議先是分組，把與會人員分為三組，劉少奇、周恩來、鄧小平各負責一組。我被編在第三組，是鄧小平負責的那個組。毛澤東和林彪既沒有參加編組，也沒有在會議上露面，但每天的會議開完以後，由毛澤東召集中央常委會議，聽取匯報和作出決定。

    會議開始的第一天，我們第三組的人都不知道羅瑞卿究竟有什麼問題，一開始會上沒人發言。主持會議的鄧小平就說：“有人說，吳法憲知道點情況，是不是你先講一講。”

    鄧小平這一點名，我只好硬着頭皮，把葉群告訴我的情況在會議上說了一遍，主要講羅瑞卿是折衷主義。由於講這些話本來就不是我的意思，我說話聲音比較小，鄧小平就讓我過去和他坐在一起。我很快說完後，鄧小平問：“沒有啦，就是這些？”我說我就是知道這些，別的確實不知道，講不出多少。於是，會議就冷場了。後來在鄧小平的一再啟發下，大家這個講幾句，那個講幾句，但都講不出什麼名堂來。時間剛到十一點，鄧小平就宣布散會了。

    與我們第三組相比，葉群、蕭華、楊成武他們所在的那一組，開得就比我們熱鬧多了。小組會議開始後，葉群在會議上連續發言了幾個小時，指責羅瑞卿有野心。葉群說，1964年以後，羅瑞卿就開始逼林彪讓賢，叫嚷“病號不要擋道，要讓賢”。

    葉群在發言中還拋出了一個材料，說羅瑞卿曾經要劉亞樓轉告葉群四條意見：第一、林總早晚都是要出中央政治舞台的，現在不出，將來也要出；第二、要保護好林總的身體；第三、林總不要再干涉軍隊的工作了；第四、要放手讓羅瑞卿工作，軍委的事情交羅瑞卿辦就可以了。葉群說，她聽了劉亞樓轉達的四條意見以後，當時就對劉亞樓說：“林彪的榮譽已經很高了，無意再進。”回家以後她對林彪說起這件事情，林彪說：“羅瑞卿是個野心家。”

    葉群在小組會議上的發言，當晚就由主持第二小組會議的周恩來向中央常委會作了匯報。當天晚上，周恩來就找我談話。我剛到周恩來住房的門口，正好碰到雷英夫從裡面出來。我一進去，周恩來就問我：“羅瑞卿是怎麼反對林彪的？”我很驚訝，反問他“你也不知道嗎？”他說他也不了解情況。於是，我就把葉群告訴我的事情又說了一遍。說完後，我還補充說：“聽說海軍有一些材料。”

    第二天上午，劉少奇又找我談話，我又照樣把葉群告訴我的話說了一遍。到了中午，劉少奇請我一起吃飯，我乘機在吃飯時把在太倉搞“四清”的一些情況，向他當面作了匯報。劉少奇聽了很高興，當即作了一些指示。我馬上將劉少奇關於軍隊“四清”工作的指示進行了整理，並報告了總政治部。以後，總政治部又將這個材料發給了全軍。

    這個時候，我對這次會議產生了一些疑問：像這樣一個會議，連劉少奇、周恩來、鄧小平都不知道什麼情況，這是怎麼搞的呢？但當時我是堅信毛主席的，既然毛主席都親自到上海主持這件事，我也就不多想了。

    如果這種情況出在我們下面的黨委，肯定是不正常的。但我當時連一個中央委員都不是，對中央的情況不太了解，所以只好相信毛主席的決定是正確的。儘管這樣，我還是感到，在這樣一個高級別的會議上，讓我來帶頭髮言，與我的身份是不相符的。基於這個考慮，一直到會議結束，我都沒有再發言。

會議的第三天晚上，周恩來突然來找我交代任務，要我派一架飛機，配備最好最可靠的機組，到昆明把羅瑞卿接到上海來。他特別交待，要我親自掌握好這架飛機，作好應變措施，飛機只准往東飛，不准往西飛。我明白他這話的意思，就是要防止羅瑞卿跑到緬甸或印度去。

    周恩來還告訴我，這架飛機到上海以後，只要三個人去接：一個是陳丕顯，代表東道主；一個是謝富治，當時的公安部長；一個是我，是管飛機的。除了我們三個，其他任何人都不能去。他一再強調，羅瑞卿到上海的事情，要嚴格保密，不要告訴任何人。

    聽完周恩來的指示，我當即報告他，準備派空軍運輸十三師的副師長時念堂去駕駛這架飛機。等他同意後，我又告訴他，羅瑞卿曾經從昆明打電話到北京找我講話。周恩來馬上問我：“接電話了嗎？”我說：“沒有接，我已經離開了北京，是留在家裡的秘書打電話告訴我的。”周恩來聽了後強調：“不要緊，就說你不在家。”

    我剛剛想離開周恩來的房間，秘書就進來告訴我，說是彭真從北京來電話找我。我剛想去接電話，周恩來立即阻止我說：“不要接，就說找不到你。他可能是來了解會議情況的。”

    我當時感到很奇怪，心裡想，彭真同志是中央政治局委員、中央書記處書記、北京市委第一書記、全國人大常委會副委員長，為什麼不告訴他會議的情況？難道彭真也有了問題？但是我絕對不敢問，只能帶着這樣的疑問離開周恩來的房間。

    12月21日下午2點，接羅瑞卿的飛機回到上海。按照周恩來的規定，我和陳丕顯、謝富治一起到虹橋機場去接羅瑞卿。飛機降落以後，我看到昆明軍區司令員秦基偉和羅瑞卿一起走下機艙。羅瑞卿的臉色很難看，顯得很緊張，似乎意識到了什麼。他同我們握手以後，就同陳丕顯坐一輛車向市區駛去。陳丕顯把羅瑞卿帶到錦江飯店裡的一個小院。周恩來、鄧小平等在那裡準備同羅瑞卿談話。我沒有資格參加這次談話，我就離開了。羅瑞卿來到上海以後，一直沒有見到他參加會議，我也沒有向任何人透露羅瑞卿已經到了上海。

    會議進行到第四天，也就是羅瑞卿到達上海的那一天，大家繼續揭發、批判羅瑞卿的折衷主義。這時候，發言的人比較多了起來。第五天，大家就講得差不多了，實際上也沒有什麼可以講的了，於是小組會宣布休息。同時，也宣布了紀律：不准上街，不準會見朋友。

    第六天下午，在錦江飯店頂樓餐廳開大會，劉少奇、朱德、周恩來、鄧小平等領導到會，只有毛澤東和林彪沒有露面。大會由周恩來主持，鄧小平做總結髮言。記得鄧小平一共講了五點：一、這次會議初步揭發了羅瑞卿的一些問題，會議暫時告一段落；二、羅瑞卿的主要問題是沒有堅決執行林彪同志關於突出政治的指示，犯了折衷主義的錯誤；三、會議上揭發批判羅瑞卿的一些問題，將轉達到本人，給他一點時間來認識錯誤；四、對羅瑞卿的問題，不能擴散，只限到會人員知道；五、會後怎麼辦，回京以後由中央研究解決。

    鄧小平一共講了半個小時。他講完話，其他人全都沒有再講什麼話，就散會了。這個會議開得很沉悶。

    回北京的時候，周恩來、鄧小平、羅瑞卿同坐一架飛機。按照慣例，我還是趕在他們前面回到北京，然後候在機場接他們。在他們下飛機後同我一一握手時，我看到周恩來和鄧小平的情緒都還好，只有羅瑞卿一聲不響，心情沉重。這是我最後一次當面見到羅瑞卿。

    上海會議剛結束，毛澤東就又召集中央軍委常委開會。他在與林彪、葉劍英、賀龍、聶榮臻、徐向前等老帥一起研究後決定：撤銷羅瑞卿的軍委秘書長兼總參謀長職務，由葉劍英副主席兼任軍委秘書長，楊成武代理總參謀長。從此羅瑞卿就算靠邊站了。羅瑞卿下台以後，由林彪、葉劍英、楊成武、蕭華形成了軍委新的領導核心，並由葉劍英及楊成武、蕭華三人主持着軍委全盤的日常工作。