西晋代魏以后，晋武帝司马炎接受将军羊祜的建议，积极准备灭亡东吴，统一中国。
羊祜早有灭亡东吴统一中国的远大抱负，他决心把南夏一个靠近东吴边境的城镇治理好，作为伐吴的基地。他在南夏推行屯田政策，让士兵开垦荒地八百多顷，经过一年的努力，粮食大丰收，可供十年的食用，解决了军粮问题。羊祜对东吴军民还实行招抚诱降的政策，对从东吴过来投降的人，给予奖励，而且来去听便。有些投降过来的人，回到东吴说羊祜怎样优待他们，跟着来投降的人就越来越多了。
晋武帝司马炎非常赞赏羊祜在南夏的政绩，提升他为车骑将军，还要为他在洛阳建造住宅。羊祜推辞说：“东吴未灭，国家尚未统一，我的成绩微不足道。希望皇上多多奖励那些对国家有更大功劳的人。”羊祜这种居功不骄，一心为国的精神，使得朝廷上下的文武官员都深受感动。
东吴的西陵督军步阐，在羊祜宽大的政策的感召下，准备率领全城士兵过来投降。羊祜正要去接应，哪知道吴将陆抗已经得知消息，他以迅雷不及掩耳之势袭击西陵，把步阐活捉去了，这事传到西晋朝廷上，有人乘机散布流言蜚语，中伤羊祜，说步阐被擒是因为羊祜没有及时去接应的缘故。结果羊祜受到了降职的处分。羊祜把个人的得失置之度外，灭吴的决心没有因为降职而有丝毫动摇，反而更加紧了灭吴的准备工作。
羊祜对东吴军民进一步采取攻心战术，有意识地和东吴军民表示友好。有一次，他的部下为了贪功，抓了两个东吴的牧童作为俘虏献了上来，羊祜了解情况以后派人把牧童送还东吴境内，当面交给他们的父母。牧童的父母高兴极了，到处称颂羊祜的恩德，并且带着一帮人过来投降。又有一次，东吴的将领陈尚、潘景来进攻西晋，被西晋的军队打死了，羊祜说：“两军交战，各为其主，他们对东吴是尽了忠心的，应当买两口上等棺木装殓他们，通知他们的子弟来迎丧。”陈尚、潘景的子弟果然过来迎接，羊祜亲切地接待他们，劝他们不要悲伤，要为国家统一做出贡献，避免出现更多的死亡悲剧。羊祜的行为使吴人十分感动，他们在提到羊祜的时候，都不叫他的名字，尊称他为“羊公”。在不知不觉中，羊祜把吴国的人心收买过来了。
在收买了人心的同时，羊祜也加紧进行灭吴的军事部署。他推荐益州刺史王任龙骧将军，在长江上游督造战船，训练水军，准备顺流而下，灭掉东吴。
在一切准备好了以后，羊祜向晋武帝提出了灭吴的建议。当晋武帝正准备出兵东吴的时候，不料秦、凉二州的少数民族发生了动乱，就把出兵东吴的事情给耽搁了。羊祜又写了一份奏折，说：秦、凉二州的动乱是小事，统一天下是大事。灭了东吴，乘胜再去平定秦、凉，就可以不费吹灰之力了。他要求晋武帝迅速作出决定，不要再犹豫了。但是，由于遭到朝廷上多数人的反对，羊祜的主张虽然得到晋武帝的赞许，还是被搁置了起来。羊祜只得仰天长叹说：“当断不断，恐怕将来没有这样的好机会了！”
羊祜为无法实现统一事业而闷闷不乐，不久就生病了。他要求带病进京，当面对皇帝文武大臣陈述灭吴的计划。晋武帝见羊祜身患重病，让他坐着车子上殿，还免去了朝见的礼节。晋武帝对羊祜为统一事业操劳的精神非常感动，但是怕他累坏了身体，加重病情，劝他去休息，并且专门派了中书令张华同他共商灭吴大计。
过了几天，张华向晋武帝详细报告了灭吴的谋略。晋武帝很高兴，他准备派羊祜带病领兵出征。羊祜辞谢说：“消灭东吴、统一国家是我的愿望，但是我有病在身，不便带兵。我建议派杜预担任灭吴的统帅。”
晋武帝接受建议，拜杜预为平东将军。正当杜预接受任务，招集兵马，准备粮草的时候，羊祜病情恶化，与世长辞了。他死后并没有为子孙留下什么遗产。两年前，他的女婿曾经请他置备一些产业，以便传给子孙。羊祜却对他的子女说：“一个人应当大公无私，如果整天为着私产打算，就会忘记了公共的事业。”
羊祜死后的第二年，杜预讨平了东吴，国家统一了。在庆祝胜利的时候，晋武帝想起了羊祜，他举着酒杯对大臣们说：“讨平东吴，统一天下，羊太傅应当记头功。”接着，他带领文武大臣到羊祜的墓前去祭奠，用胜利的喜讯告慰已经安眠地下的羊祜。
