由于苻坚所带的军队太多了，他的中军抵达项城（今河南项城）时，凉州的部队才来到咸阳，而蜀汉的水军正在长江顺流而下，幽冀的士兵正在彭城（今江苏徐州）地界行军。军队走在路上，前后绵延近千里地。

秦军的大举进攻使晋国非常恐慌，文武百官尽皆失色，晋帝司马曜更是惊恐不安。只有谢安胸有成竹道：“苻坚虽有雄兵百万，但我有三胜之宝。”朝臣们的心这才稍稍安定，又向谢安请教谁当为帅。谢安推荐自己的侄子谢玄。于是司马曜宣谢玄进京，任命他为元帅。谢玄又保举刘牢之为先锋，带着八万“北府兵”，由京口起军，沿淮河西上去阻秦兵。

前秦的大将军苻融围攻寿阳，攻城很专业，围三面而留一面。所以寿阳守将徐元喜并没有死守城池，感觉顶不住的时候就弃城南逃，结果被秦将张蚝的伏兵袭击。徐元喜被俘，晋军投降。苻融进入寿阳后，东晋的龙骧将军胡彬率八千水师已到了淝淮界口，苻融即命大将苻方率军两万去迎击胡彬。两军交战后，晋军不敌，便退至硖石。

硖石是进入淮水必经的峡口，在这个峡口两岸各有一城，十分险要。苻方攻了四五日也没有攻下，便向苻融请求增援。苻融道：“关口险要，不是增兵就能攻破的。不过你也不用攻城，只需要把两城围得严严实实的，时间长了胡彬一定缺粮，到时候城池不攻自破。”

苻融又派卫将军梁成率五万人马抢占洛涧关口，阻止谢玄的军队逆流西上增援。谢玄被梁成阻在洛涧之东，没办法前进，只得暂时停止进军，在洛涧河附近安下营寨。

被困在硖石的胡彬，粮食将尽，派人去向谢玄求援，被苻融捉到。苻融料定硖石指日可下，不由笑道：“我以前以为江南很难打，没想到江南如此不堪。”立刻向皇帝苻坚报喜，苻坚也很高兴，登上城头向江南望去，感慨道：“真没想到秦始皇一统天下的大业，这次落到了朕的身上！”喜悦之情溢于言表。

被胜利的喜悦感染着，苻坚便打算渡过淝水，寻找江南主力决战。这时战将朱序出来说自己愿意先去劝降谢玄，劝降不成，苻坚再南攻不迟。苻坚于是派朱序去劝降。

朱序原是东晋的降将，在前秦灭凉的时候，朱序作为晋将进攻过秦国。后来在镇守襄阳的时候，城破被俘，投降了前秦。

朱序见到谢玄，第一件事就是表白心迹，称自己人虽在秦，却一直心向晋朝。第二件事则向谢玄透露了秦国的机密情报。他说秦军虽然号称百万，但实际上大多秦兵都在路途上。寿阳的秦军只有二十多万，现在必须趁秦军兵力不是很多的时候速战速决。不然，等秦军全部在江淮部署完毕，那时候再想取胜就很难了。

谢玄听完朱序的情报后，倒身便拜，说道：“破秦之计，全靠你了。”并且要朱序留下来帮助他。

朱序说：“如果我不回去，苻坚肯定要怀疑，而且我已经联络了凉州张天锡，刚刚投降秦军的徐元喜等人，回去之后我们可做内应。”

谢玄于是不惜代价拼命强攻洛涧，终于将洛涧攻下，杀死梁成。晋军迅速进军到淝水东岸八公山下，与秦军隔河相望。洛涧一失，秦军南下的绝对优势便消失了。

苻坚十分恼怒，他质问朱序：“你不是说谢玄愿降吗？为什么他会强攻洛涧？”

朱序也做出一副很委屈的样子：“我也是被谢玄欺骗了啊。”

苻坚想了好一会儿，还是相信了朱序，没有杀掉他。

当日，苻坚与苻融登城瞭望，只见晋军阵容严整，士气高昂。此时正是十一月仲冬，淮河流域的草木正是繁盛的时候，草木随风摇曳，杀气弥漫，影影绰绰像是满山遍野的士兵。苻坚不觉心惊，对苻融道：“这明明是劲敌，谁说是弱旅呢？”苻坚由此创造了一个成语“草木皆兵”。

这时建康城中也充满了不安和紧张的情绪，绝大多数人都被百万秦兵压境的恐惧所围绕着，只有谢安游玩于山水之中，不出去玩的时候便找朋友下几盘围棋，过得很是安闲。京城朝野见丞相都这样淡定，于是也都安下心来。

谢玄见秦军紧逼在河岸，晋军无法渡河，只能隔岸对峙。但谢玄把对己不利的条件很巧妙地转化为有利条件。他激苻坚说：“你不是自恃兵强马壮，想要速战速决吗？你紧逼在河岸之前，我们怎么对决？如果你真有胆气的话，你往后让一让，给我在淝水北岸让出一块空地来，咱们好好地干一仗。”

苻坚认为可以趁谢玄的军队渡河到一半的时候出击，将晋军歼灭。苻融也认为这个作战计划很周密，可以实施。但实际情况是秦军士气低落，其中汉、鲜卑、匈羯、西羌等族的将士都很厌战，指挥也不统一。向后撤时乱了步伐，阵形大乱，而且很多部队都不知道为什么撤退。更糟糕的是，朱序、张天锡等人组织了一批起义士兵在秦军中故意大喊：“秦军败了！秦军败了！”一部分秦军便信以为真，争相奔逃。晋军趁势发起进攻，秦军于是大溃，没怎么抵抗就纷纷奔逃。

苻融急忙带着亲兵跑到阵前，想要稳住阵脚，但乱兵如洪水一般后撤，就是前面的想止住步，后边的也停不下来。苻融在混乱的人群中被冲倒，竟然被踩死了。这时朱序的起义士兵又在喊：“苻融死啦，苻融死啦。”秦军更是无心恋战，拼命北逃。晋军如驱赶羊群一样在后掩杀。其实根本不用晋军动手，秦兵自相践踏和挤入淮河中淹死的就不计其数。

在寿阳城头上观察战场的苻坚当时目瞪口呆，愣在那里半天没有回过神来，他根本没有想到会有这个结果！等他回过神来后，第一件事就是带着城中不多的士兵逃跑。

秦军以后的任务就是不断地逃跑，拼命向北奔逃，沿途不敢停留，听到风的声音鹤的叫声，都以为是晋军追来，这就是著名典故“风声鹤唳”的来历。

当淝水之战的捷报送到京城时，谢安正在府中与客人下围棋。他看过捷报之后，拼命压抑着激动的心情，不动声色地把捷报随手放在一边，继续下棋，就好像什么也没有看到一般。对面的客人着急地追问道：“前方战事是什么情况？”

谢安轻轻说道：“小儿辈遂已破贼。”说完此话，他走向内室，因为难以抑制心中的喜悦，走过门槛的同时竟然把屐齿给弄折了。

淝水之战后，晋军趁势收复了东南的蜀汉以及黄河以南的大片地区。而对前秦打击更大的是，慕容垂、姚苌、吕光、拓跋等人纷纷独立，原本强盛的前秦顿时四分五裂，北方再一次陷入大混乱时期。