孙中山编组“东路讨贼军”讨伐陈炯明时，任命许崇智为总司令兼第二军军长，蒋介石是第二军的参谋长，所以说起来许崇智是蒋介石的老上司。然而后来1925年3月蒋介石率领黄埔军校子弟兵攻打惠州，打败并驱走陈炯明后不久，蒋介石夺取了许崇智的兵权，将许崇智的粤军大部收编整训成为自己的部队，把许崇智放逐到上海去“度假”了。曾经身为蒋介石上司的许崇智，手握大军，如何那么轻而易举就被蒋介石拿下了呢？似乎让人难以理解。

有些文章说蒋介石利用廖仲恺被杀案，借机排挤走了许崇智，因为发现许崇智下属里有人牵扯到谋杀廖的案件，但这种说法语焉不详，使人一头雾水。廖仲恺死后成立的处理廖案特别委员会的三人成员是汪精卫许崇智和蒋介石，胡汉民因为自家兄弟涉案被放逐是众所周知的，许崇智因此案而被蒋介石驱逐却没有什么令人信服的根据。而且许崇智是手握军权的实力人物，岂能那么容易“俯首就缚”？倒是蒋介石的前夫人陈洁如女士的回忆录《我做了七年蒋介石夫人》一书里对于蒋介石如何夺取许崇智军权的过程有详细和较为令人信服的叙述。据陈女士上述回忆录所述，蒋放逐许并收编其部队的过程大致如下。
1925年2月初，蒋介石率领黄埔军校两团官兵约三千人，外加部分许崇智的粤军去攻打占据惠州虎视广州的陈炯明。许崇智是此战役的司令官，但亲赴前线指挥作战的是蒋介石。经过艰苦作战，蒋介石的学生兵以少胜多打败并赶走了陈炯明。但此战役蒋介石付出了重大代价，损失了三千名士兵的性命。

蒋接管惠州城区后，进行必要的肃清工作，将降军重新编组。一个月后就急忙返回广州去办理军校及其他事务。他将新占领的惠州交给许崇智治理。可是许崇智在惠州这个土里吧唧的古老小城镇里住不惯，想回到热闹的广州城去，结果他在惠州住了一个月后，就把惠州防务交给一个叫做HoongLok（原文用此字母拼写的名字）中将代理他的职务，把惠州的官印交给了此人。不料这个中将是陈炯明亲信洪兆麟的堂兄弟。许崇智离开仅48小时后，那个中将就打开城门让陈炯明卷土重回了。
蒋介石在广州听到陈炯明“胡汉三又回来了”的消息，气得暴跳如雷，诅天咒地，大骂“娘希匹”，他觉得自己三千子弟兵的性命白白牺牲掉了，如果交军法会审，许崇智是应该枪毙的。但许是蒋的老上司，两人关系也不错。蒋没有起诉他，经过深思熟虑，蒋平静地对许说，发生这样的事情实在是不幸。我那么多学员士兵白白牺牲了。现在我要带兵再去夺回惠州。你必须把你的士兵拨给我一部分。许崇智原本就充满了愧疚，不知如何才能赎罪，听蒋介石如此说当然一口答应。他并且主动讨好蒋介石表示自己深悔铸下大错。蒋介石进一步提出要求说许崇智的粤军军纪涣散，毫无战斗力，需要进行重新编训。许崇智一口答应，说，凡是你建议的，我都同意。蒋介石乘势提出要许崇智离开广州去上海“度假”一年，否则不利于他编训许的粤军。他说一年后许崇智度假回来，他再将编训完毕的粤军奉还给许。许崇智答应了蒋介石。
可是部队交接后，许崇智手下有个叫张国桢的中将和杨锦龙少将俩人拒绝接受新上司蒋介石的命令。他们对许崇智说，你上了那个姓蒋的大当了，别说一年后，再过三十年这支队伍也不会在还给你了。这就是借荆州，有借无还。
蒋介石认为张扬两个刺头不识好歹，简直就是叛变造反。但他不动声色，过了一阵后以黄埔军校名义设宴邀请张扬两将军赴宴。张扬不知是计，以为有新的安排，欣然赴宴。宴上大家碰杯互敬，酒过三巡忽然一军官带一批士兵进场，军官手持逮捕令将张扬二人当场拿下，直接押到东校场，不经军法审判，就直接枪毙掉了。
那以后许崇智的粤军就毫无障碍地被编训成了蒋介石的队伍。