孫中山編組“東路討賊軍”討伐陳炯明時，任命許崇智為總司令兼第二軍軍長，蔣介石是第二軍的參謀長，所以說起來許崇智是蔣介石的老上司。然而後來1925年3月蔣介石率領黃埔軍校子弟兵攻打惠州，打敗並驅走陳炯明後不久，蔣介石奪取了許崇智的兵權，將許崇智的粵軍大部收編整訓成為自己的部隊，把許崇智放逐到上海去“度假”了。曾經身為蔣介石上司的許崇智，手握大軍，如何那麼輕而易舉就被蔣介石拿下了呢？似乎讓人難以理解。

有些文章說蔣介石利用廖仲愷被殺案，藉機排擠走了許崇智，因為發現許崇智下屬里有人牽扯到謀殺廖的案件，但這種說法語焉不詳，使人一頭霧水。廖仲愷死後成立的處理廖案特別委員會的三人成員是汪精衛許崇智和蔣介石，胡漢民因為自家兄弟涉案被放逐是眾所周知的，許崇智因此案而被蔣介石驅逐卻沒有什麼令人信服的根據。而且許崇智是手握軍權的實力人物，豈能那麼容易“俯首就縛”？倒是蔣介石的前夫人陳潔如女士的回憶錄《我做了七年蔣介石夫人》一書裡對於蔣介石如何奪取許崇智軍權的過程有詳細和較為令人信服的敘述。據陳女士上述回憶錄所述，蔣放逐許並收編其部隊的過程大致如下。
1925年2月初，蔣介石率領黃埔軍校兩團官兵約三千人，外加部分許崇智的粵軍去攻打占據惠州虎視廣州的陳炯明。許崇智是此戰役的司令官，但親赴前線指揮作戰的是蔣介石。經過艱苦作戰，蔣介石的學生兵以少勝多打敗並趕走了陳炯明。但此戰役蔣介石付出了重大代價，損失了三千名士兵的性命。

蔣接管惠州城區後，進行必要的肅清工作，將降軍重新編組。一個月後就急忙返回廣州去辦理軍校及其他事務。他將新占領的惠州交給許崇智治理。可是許崇智在惠州這個土裡吧唧的古老小城鎮裡住不慣，想回到熱鬧的廣州城去，結果他在惠州住了一個月後，就把惠州防務交給一個叫做HoongLok（原文用此字母拼寫的名字）中將代理他的職務，把惠州的官印交給了此人。不料這個中將是陳炯明親信洪兆麟的堂兄弟。許崇智離開僅48小時後，那個中將就打開城門讓陳炯明卷土重回了。
蔣介石在廣州聽到陳炯明“胡漢三又回來了”的消息，氣得暴跳如雷，詛天咒地，大罵“娘希匹”，他覺得自己三千子弟兵的性命白白犧牲掉了，如果交軍法會審，許崇智是應該槍斃的。但許是蔣的老上司，兩人關係也不錯。蔣沒有起訴他，經過深思熟慮，蔣平靜地對許說，發生這樣的事情實在是不幸。我那麼多學員士兵白白犧牲了。現在我要帶兵再去奪回惠州。你必須把你的士兵撥給我一部分。許崇智原本就充滿了愧疚，不知如何才能贖罪，聽蔣介石如此說當然一口答應。他並且主動討好蔣介石表示自己深悔鑄下大錯。蔣介石進一步提出要求說許崇智的粵軍軍紀渙散，毫無戰鬥力，需要進行重新編訓。許崇智一口答應，說，凡是你建議的，我都同意。蔣介石乘勢提出要許崇智離開廣州去上海“度假”一年，否則不利於他編訓許的粵軍。他說一年後許崇智度假回來，他再將編訓完畢的粵軍奉還給許。許崇智答應了蔣介石。
可是部隊交接後，許崇智手下有個叫張國楨的中將和楊錦龍少將倆人拒絕接受新上司蔣介石的命令。他們對許崇智說，你上了那個姓蔣的大當了，別說一年後，再過三十年這支隊伍也不會在還給你了。這就是借荊州，有借無還。
蔣介石認為張揚兩個刺頭不識好歹，簡直就是叛變造反。但他不動聲色，過了一陣後以黃埔軍校名義設宴邀請張揚兩將軍赴宴。張揚不知是計，以為有新的安排，欣然赴宴。宴上大家碰杯互敬，酒過三巡忽然一軍官帶一批士兵進場，軍官手持逮捕令將張揚二人當場拿下，直接押到東校場，不經軍法審判，就直接槍斃掉了。
那以後許崇智的粵軍就毫無障礙地被編訓成了蔣介石的隊伍。