淳熙五年（1178年）秋天，陆游从四川到达杭州，孝宗召见了他，任命他为提举福建常平茶盐公事。这年冬天，陆游怀着为国效劳的渺茫希望，离开临安，再次入闽。从春天离开成都以来，陆游的大部分时间都花费在旅途之中，行程九千余里，但他并不因长期跋涉奔波而感到劳苦，使他抑郁悲伤的是，南归的大雁没有带来中原的消息：“无情最恨寒沙雁，不为愁人说杜陵。”（《衢州道中》）不管走到哪里，诗人的心总是系念着祖国的北方。
到了建安（今福建建瓯），陆游觉得工作仍然不称心，不能施展自己的才智和抱负，他的心情依旧十分郁闷。南宋统治者这次调动陆游的工作，并非要重用他，不过是借诗人的声誉点缀一下“太平景象”而已。陆游在建安任上，除了赋诗饮酒外，也没有多少事情可做：
建安酒薄客愁浓，除却哦诗事事慵。
不许今年头不白，城楼残角寺楼钟。
——《建安遣兴》
在这种慵散愁闷的处境里，陆游常常回忆起川陕前线的生活：
貂裘宝马梁州日，盘槊横戈一世雄。
怒虎吼山争雪刃，惊鸿出塞避雕弓。
朝陪策画清油里，暮醉笙歌锦幄中。
老去据鞍犹矍铄，君王何日伐辽东。
——《忆山南》
一提起从戎南郑的往事，陆游就精神倍增，时刻准备重返前线，为光复国土献出自己的一切。可是，在西子湖畔养尊处优的孝宗能听到“君王何日伐辽东”的呼号吗？恐怕即使听到了，也只不过当做一阵耳旁风罢了。
淳熙六年（1170年）秋天，陆游奉诏离建安任。他取道建阳、崇安北归，过江西铅山、玉山，来到衢州等待另外的任命。途中，陆游游览了武夷山、鹅湖寺等名胜，赋诗抒怀，多次表达杀敌报国的决心和要求。到达衢州后不久，陆游就接到诏书，派他到江西抚州任职。十二月，陆游来到了抚州。
在抚州，陆游的职务有所提升，主管一地的钱粮仓库和盐茶专卖等事，但仍然是用非所长。尽管如此，陆游没有消沉下去，而是恪尽职守，尽力在自己的职权范围内为百姓做一些有利的事。当时江西一带，生产凋敝，田园荒芜，人民生活痛苦不堪。淳熙七年（1180年）四五月间，江西各地天气亢旱，庄稼受到严重威胁。陆游曾和当地群众一起求雨，虔诚地祷告上天降下甘霖，终于在五月中旬开始降雨。陆游眼看丰收有望，欣喜地与百姓共同庆祝。可谁知天公偏不作美，一连十多天大雨滂沱不止。山洪暴发，江河水涨，千顷农田变成了一片汪洋。一座座村庄被洪水淹没，百姓只好逃到山上去避难，生活更加困难了。陆游看到人民遭受天灾浩劫，不愿坐视不管，毅然决定打开江西官府的常平仓，通知各州县立即向灾民发放救济粮食。陆游不仅积极指挥救灾工作，而且不辞辛苦地亲自驾着小船把粮食送给被洪水围困在山丘上的灾民们。由于救灾工作比较及时，在一定程度上减轻了灾民的苦难。这年冬天，陆游到下属的地区视察，一路上他看到灾区百姓的生活仍很困难，心中十分不安。他要求地方官吏应体恤民众的困苦，施政要以宽大为本。
然而，正因为陆游同情人民的苦难，把囤积在官仓中的粮食用来救灾，他遭到了朝廷中迂腐官僚的攻讦。当权者既不让陆游在前线杀敌立功，也不容许他在后方为民谋利。他们宁肯让官仓中堆积如山的粮食被老鼠糟蹋，也不准地方官越级用粮食赈济灾民。面对生活苦难的灾民，陆游不计个人利害得失，先斩后奏，下令开仓放粮，救活了千万百姓，这本来是一件应当予以肯定和表彰的事。可当权者丝毫不考虑灾情的紧急，以“逾越规矩”、擅自行动的借口弹劾、排挤陆游，最终使陆游遭受到罢免职务的处分。可以想象，如果陆游谨守规矩，等待朝廷批准后再开仓济民，那么被困在各地山冈上的灾民恐怕早已白骨遍野了。江西赈灾一事，既表现了陆游同情人民的一贯态度，也反映了他办事果断、敢作敢为的风度。
陆游虽然被罢了官，但他并不感到遗憾。北归途中，诗人以坦然的心情写道：“素衣已免染京尘，一笑江边整幅巾。”（《萧山》）回到山阴故居后，陆游又赋诗道：“侠气峥嵘盖九州，一身常耻为身谋。……阳狂自是英豪事，村市归来醉跨牛。”（《西村醉归》）这不仅是抒发个人的心志，也是对那些攻讦者的回击。
