以苻坚为王的大秦，从表面看，势力强大，超过东晋。已经继承王位20多年的苻坚，现在日思夜想的是降服晋朝，统一天下。
然而王猛却于几年前去世了，此时的大秦，没有一个人的才智能比得上王猛。东晋虽然兵没有大秦多，但朝廷由谢安辅佐，谢安推行宽厚仁爱的措施，深得民心，朝廷和睦，晋室逐渐兴旺起来。
就是在这种情形之下，苻坚决定要攻打东晋。出兵之前，他想听听大臣们的意见。秘书监朱彤善于阿谀奉承，说：“陛下御驾亲征，所到之处，必然高山低头，河水让路，有征无战。晋国主子或投降或逃亡，此举定能统一天下，创建万古伟业！”
朱彤的一番话，说得苻坚心花怒放。但大多数人却与朱彤观点不同。尚书左仆射权翼，有理有据地反驳朱彤的言论，他说：“晋国虽弱，但君臣和睦，况且有谢安、桓冲等杰出之人，故此时伐晋不妥。”太子左卫李石越立即赞同权翼的看法，补充说：“晋国的百姓也拥护朝廷，而且有长江天险可守，臣夜观天象分析镇星守斗牛。说明福地在晋。所以，现在伐晋凶多吉少，愿陛下等待机会，再出师不迟。”
苻坚的弟弟阳平公苻融也反对此时伐晋，并且说了三条理由，苻坚还是听不进去，说：“朕屯兵百万，粮草如山，以胜兵追穷寇，岂能不胜？”苻融又说：“大军一出，朝中空虚，遍布朝廷内外的鲜卑、羌、羯各族起事就不好办了。”苻坚不以为意，说：“我对他们恩重如山，他们感恩戴德尚不及，岂能恩将仇报。”
苻融见苻坚如此顽固，只好使出最后一招，把王猛临死之前说的话又重新提起：“东晋虽居江左，却是晋朝正统。他们与邻国和睦相处，国内百姓生活也很安定，臣死以后，陛下不要攻打晋国，鲜卑、羌虏才是后患。”
王猛在世时，句句千斤，但现在他已去世7年，苻坚也就不以为意了，仍然武断地下令出师伐晋。
太元八年(公元383年)八月十一日，苻坚亲自率领百万大军出征，战旗猎猎，刀光剑影，前后延续达一千多里，其势空前。
东晋朝廷得到大秦出兵伐晋的消息，慌作一团，孝武帝召集众臣商讨对策。唯有谢安不惊不慌，很坦然地阐述了“有道”与“无道”的关系，也就是正义与非正义的辩证关系。他指出，两国交兵，无道必败。大秦无端进攻大晋就是无道，而且违背民意。我们抗击侵略，是有道抗无道，必定胜利。这谢安可不是一般人物，曾隐居东山，后被重新起用。“东山再起”就是由他而演变出的一句成语。
谢安的话，鼓舞了多数大臣的志气，最终统一意见，出兵抗秦。孝武帝任命谢安为全国统帅，负责抗秦之事。
秦军大兵压境，晋朝百姓人心惶惶。但谢安稳如泰山，不是下棋欣赏歌舞，就是游山玩水，神态自若，他有意让老百姓看见他的举止行动。老百姓见谢安这样镇静，也就安下心来，京城刚刚出现的混乱局面不扫自除。
谢安见是时候了，连夜召开军事会议，主要将领谢石、谢玄、辅国将军谢谈(谢安之子)、西中郎将桓伊、龙骧将军胡彬、刘牢之等均参加会议。谢安让龙骧将军胡彬率5000水军守寿阳，让谢石、谢玄带兵8万北上阻止秦兵。其他将领也一一予以部署。众将领见主帅谢安神态自若，毫无惧色，也有了信心，领命而去。
胡彬率5000水军从淮河西行，赶赴寿阳，但走到硖石(今安徽凤台县西南)，听到寿阳被秦军苻融攻占的消息，便随机应变，决定驻扎硖石这个要地。
秦军征南大都督苻融攻下寿阳后，紧接着派兵包围了硖石，又派兵5万由大将军梁成率领攻占了洛涧(今安徽淮南市东)。
苻坚打了几次小胜仗，便以为晋军不堪一击，命令尚书朱序前去劝降晋将谢石，想不费兵力而使东晋归顺。
但这朱序原本东晋降将，见到谢石以后，却鼓励他立即提议出兵攻秦。谢石心中有了底，增加了勇气，派刘牢之率领5000名精兵于夜间进攻溶洞的梁成大军。
梁成听说苻坚派人去谢石处劝降，以为定会成功，便放松了警惕，不是骑马打猎，就是饮酒作乐。这天夜里喝得大醉，正在熟睡之时，刘牢之率军杀入秦营。秦军没有准备，有的在梦中被杀，有的来不及穿衣就逃命。梁成慌忙组织人马反抗，但为时已晚，先是中了一箭落马，又被刘牢之砍了一刀身亡。梁成的副将王显只带着十几个人逃回。
苻坚听说梁成的5万大军被晋军几千人马杀得几乎全军覆灭，不由大怒，下令将王显斩首。
正在这时，苻坚得到报告，围攻硖石的军队也被晋军打败。苻坚大惊失色，脱口说道：“想不到晋军竟然如此厉害！”
当天夜里，苻坚又听说秦军在淝水(东淝河，从合肥向西北到八公山南汇入淮河)吃了败仗，还听说晋军作战勇敢，一人顶秦军几十个人。苻坚这才后悔，自言自语地说：“早知道晋军这样厉害，寡人何必兴师动众，自寻烦恼呢！”
第二天一早，众将陪同苻坚在寿阳城头观望晋军动态，只见淝水对岸战船密布，旌旗飘扬，士兵正在练习拼杀，喊声震天，斗志显得十分旺盛。苻坚心里胆怯起来，问苻融晋军有多少人马。苻融说有十万多人。苻坚又向远处八公山上眺望，只见森林中影影绰绰埋伏着许多晋兵，不禁大惊道：“啊！山那边也是晋兵，只这一处就有十万兵马，谁知山后有多少人呢？”
苻坚回头看见朱彤，顿时来了气，当时就是他鼓动出师伐晋，于是说：“你不是说晋军兵微将寡，出师必然有征无战吗？为何晋军英勇善战，如此强大？”朱彤吓得躲到一边，哪敢吱声。
事实上，八公山上没埋伏一兵一马，只是苻坚连吃败仗，心里恐慌，居然把山上的草木误以为是晋兵，这就是成语“草木皆兵”的由来。
秦军吃了亏，变得聪明一些了，不再轻敌，坚守不出，专等后续大军到来。而晋军谢石、谢玄最怕秦军大军赶到。谢玄想了一个激将法，派人给苻融送去一信，大意是：将军率百万之众攻打晋国，只洛涧一战便龟缩不前，有失秦国大将风度。如果敢交战，就退后一箭之地，腾出一块交战之地，让晋军渡过淝水，再决胜负。
苻融拿不定主意，就找苻坚商量。苻坚马上有了主意，说：“兵不厌诈，我军虽然后撤，但等晋军渡河之时，再迅速反击，把晋军消灭在淝水之中。”
太元八年(公元383年)十一月，这天早晨，是双方约好决战的时间。苻坚亲自指挥战斗，手向空中一挥，大声命令：“撤！”此令一下，秦军转过身去，竞相撤退。淝水东岸的谢石、谢玄见状，立即命令晋军渡河。胡彬率领一万名水军乘船由深水渡河，刘牢之率领一万名兵士乘铁骑由浅水处涉水前进。
这时，苻坚认为反击时刻到了，便命令秦军杀回。但秦军大多是强迫入伍的老百姓，谁也不愿替秦王送死，只是一个劲儿地后撤。朱序又趁机大喊：“秦军打败了！”于是有人跟着喊秦军败了。不明真相的兵士闻听，拼命逃窜，自相践踏而死伤者难以计数。
苻坚已无能为力，骑着马从荒野小路逃跑，听到风声和鹤群的叫声，也以为是晋兵追来了，这就是“风声鹤唳”的来历。
淝水之战，前秦军被歼和逃散的共有70多万，唯有鲜卑慕容垂部的3万人马尚完整无损。苻坚统一南北的希望彻底破灭，不仅如此，北方暂时统一的局面也随之解体，再次分裂成更多的地方民族政权，鲜卑族的慕容垂和羌族的姚苌等其他族贵族重新崛起，各自建立了新的国家，苻坚本人也在两年后被姚苌俘杀，前秦随之灭亡。此战的胜利者东晋王朝虽无力恢复全中国的统治权，但却有效地遏制了北方少数民族的南下侵扰，为江南地区社会经济的恢复和发展创造了条件。淝水之战也成为以少胜多的著名战例，载入军事史，对后世兵家的战争观念和决战思想产生着久远影响。
淝水之战确定了南北朝的长期分裂。之后南朝宋的刘裕于公元417年入长安，但是部队将领在关中发生内讧，得而复失。450年北魏的拓跋焘从黄河北岸一路穿插，推进到长江北岸，但是北人难以适应南方气候，将士染病甚多，不能久驻。侯景反复叛变，先叛北齐而投奔南梁，后又叛梁自立为主，也曾于公元548年陷建康，不久即为部下所杀，都去统一全国的目标甚远。直到公元589年才有继承北周的隋文帝杨坚的“天下大同”“区宇一家”。至此已去淝水之战206年。
