1949年前后，共有60多万国民党官兵撤退至台湾，其中50多万为无眷单身官兵，另外10多万有眷军官和士官。由于大部分官兵的家眷还在大陆，因此迫切希望能“收复”大陆，早日回到老家，而对于是否要在台湾安家落户却有着不确定感。到了1950年中期，反攻仍然无望，而近半数的官兵却已进入三四十岁的年龄阶段，有些甚至年逾五旬，被人讥为“胡子兵”。为了维系军队的稳定，维持官兵对蒋介石的忠诚，蒋介石一方面不停地高调宣扬“反攻大陆”、“反攻复国”，另一方面也不得不考虑对退役老兵的安置问题。
此时，美国顾问团也向蒋介石提出了建议，认为应该实施军队汰旧换新的计划，以征兵代替大陆抵台的职业士兵，并且提出美方愿意提供相关的资金援助。然而，这个问题处理起来颇为棘手。由于撤退至台湾的国民党军队，军官比例甚高，以致当时军官加士官的人数超过征集入伍的士兵，大约形成32万对28万的比例。这批军官历经无数烽火，追随蒋氏父子半生戎马，一旦退役孤苦无依，谋生乏术，稍有差错，不仅会影响军心士气，而且将给刚刚安定下来的台湾社会带来动荡。
经过苦思焦虑之后，蒋介石再次决定将此重任交给蒋经国。为此，蒋介石决定成立“国军退除役官兵就业辅导委员会”，隶属于“行政院”。专门负责解决退除役官兵的就业、保健、医疗、职业训练及就业辅导、法令权益及优待、调查、检定、调配、养老救助、生活指定与管理等有关事项。1954年11月1日，“行政院国军退除役官兵就业辅导委员会”正式成立，设正、副主任各一人，主任一职由台湾省主席严家淦兼任，副主任一职由蒋经国兼任。
当蒋经国接手这项工作时，曾有人友好地劝他说：“你何必花这么多时间做这种吃力不讨好的工作？”蒋经国答道：“我们要讨谁的好？今天我们一切工作服务，难道说都是为了讨好？”
其实，那人没有明白蒋介石父子的心思。对于蒋介石父子，退辅会的工作，就是政治工作。蒋经国前往退辅会报到前，蒋介石对他说：“要像照顾自己家人一样地照顾退除役官兵。”蒋经国心中明白，这项任务非常艰巨，事关“社稷”稳定。他说：
退除役官兵离开部队，都是无家可归，在社会上又没有朋友，一离开军队，就无立足之地。……假使不管他们，而他们又是怎么样呢？第一对于军队的影响是很大的。在一般官兵会感觉到他们若是老了、病了、残废了，一旦离开军队到社会上，将来会怎么办？想到这个问题，就会影响他们的心理和情绪。如果我们不把他们安定，就使得社会上不能安定，一个人到了无可奈何的时候，就会做出他们十分不愿做的事情。为了社会安定，为了国家需要，为了使他们继续为国效力，所以政府才做这个工作。
事实上，在当时台湾的官僚体系中，除了他，也确实没有人能顺利执行这一艰巨任务。正因如此，他勇敢地担负起了这个责任，自比“第三兵团”，除了“政治”，且有“良心”和“道义”的责任。他说：“我们同是生长在这苦难的时代里，多难的时代里，多难的国家中，大家休戚与共，息息相关，对‘荣民’是以感情、道义去服务，不是讲恩赐。”他还对部属说：“只要我有饭吃，他们就有饭吃，只要我还有一口饭吃，我就把这口饭先给他们吃。”这话赢得了全体“荣民”的齐声喝彩，赢得了众人的信任和期待。
1957年5月，蒋经国正式出任退辅会主任，他带领退辅会部属更加全力地投入工作。他对全体退辅会工作人员说：“今天不管是老干部、青年人，既然从事这种工作，必须要确定一个观念，我们这个工作的成败，关系到国家的成败，每一位同志，都应当有这种看法，至于如何才能把我们的工作做好，综合共有四点：（一）要使老弱‘荣民’安居乐业。（二）残废‘荣民’有地方休息。（三）有病痛的‘荣民’有地方医疗。（四）有能力的‘荣民’，有地方工作。”
可见，蒋经国的目标是要让“荣民”“壮有所业，病有所医，老有所养，学有所用”。
为了达到上述目标，退辅会采取的办法是：年轻而有志求学的，辅导就学；有工作能力的辅导就业；需要休养的使之休养；病苦的使之就医。辅导会还相应创办了“荣民医院”、“荣民之家”、农场和工厂等。
就业辅导方面，在蒋经国的领导下，政府努力增加就业安置能量，根据退除役官兵的体能与志愿，按照“人尽其才、地尽其利”的原则，尽量安置“荣民”就业。1958年1月，蒋经国指示退辅会工作人员说：“‘荣民公民’教育非常重要，必须加强。关于其他各种技术训练，可于检定后未退前，利用军方本身现有的训练机构，予以训练”，“各单位对‘荣民’之辅导教育，应分为生产单位和就医、就养单位两种。大专毕业之‘荣民’，必须安置工作”。1959年7月，他又指示说：“‘荣民’生产就业之途径，必须作长久之计划。军方各生产机构，如有工人出缺，应请其一律以退除役官兵递补。”之后，蒋经国还亲自托请台湾大学校长钱思亮推荐高校教授，设计一套测验，让退辅会能依据测验的结果，给每一位“荣民”找到合适的工作。退辅会又通过收购或政府拨用之公有荒地、河床地、山坡地、“国有”林班地、水池等设置农场、林场和渔场。先后建立了彰化、嘉义、寿丰、宜兰、池上、桃园、高雄、竹田、鹿野、苗栗、福寿山、兰屿、西宝、清境、武陵、屏东、新竹、金门等农场、森林开发处、海洋渔业开发处。与此同时，退辅会还提供补助费或贷款，协助退除役官兵做小生意，譬如摆设小吃摊，或当三轮车夫。后来，台北市区要取消三轮车时，蒋经国又指示退辅会：“对台北市区从事三轮车之‘荣民’，应特别辅助，劝导专业，并可挑选年轻力壮知识较高者，予以汽车驾驶技术训练。并研究成立一‘荣民’计程车公司。”另外，台湾的一些民营企业也被要求配合政府的安置政策。1962年，蒋经国又会同“考试院”专门设立了退除役军人转任公务人员特种考试，以便为知识水准较高的退除役官兵提供新的就业途径。
就养方面，依据“国军退除役官兵辅导条例”，退辅会计划设置“荣誉国民之家”，安置因战（公）致身心障碍，失去工作能力，或年老无依及生活无着之退除役官兵，使其晚年能获得妥善照顾，有尊严地颐养天年，从而做到“在营良兵，在乡良民”。1958年4月，蒋经国在退辅会业务会议上指示，“凡是年满六十岁以上之‘荣民’，除有特殊情形外，应一律送‘荣家’养老”。为了安置这些“荣民”，退辅会先后在板桥、台北、桃园、新竹、彰化、云林、台南、白河、佳里、冈山、屏东、花莲、马兰、太平等地设立了14所“荣誉国民之家”，安置“荣民”数万人之多。
就医方面，为了使伤病之退除役官兵适时获得适当医疗保健，辅导会组织条例第16条规定，在各必要地区设置“荣民医院”，供“荣民”就医。1958年7月1日，退辅会在台北市设立“荣民总医院”，并于次年11月1日正式营业。“荣民总医院”建立后，蒋经国非常关心医院医护人员的素质，他曾强调：“‘荣民总医院’员工素质，应特别注意，尤应避免引用亲戚朋友或推荐私人”，“一切医务及行政设施等，应以新的精神、新的方法去做，方可赶上时代，一切办法，必须达成科学化、制度化的要求，尤其是医护人员，应彼此协调、合作无间，并彻底消除派系观念，应以人才为主”。1959年1月，蒋经国在主持“荣民总医院”的业务会上说：“今后‘荣总医院’应做到的五个目标是：最新的设备；最优的医师；最高的医德；最美的环境；最好的管理。”后来，“荣民总医院”不仅发展成为大型医疗机构，还以医疗照顾品质、医师专业水平的高超，闻名遐迩。蒋家后来还以“荣总医院”为全家治病的专门医院。由于“荣民医院”能为“荣民”提供免费治疗，因而深受广大“荣民”的欢迎。此后，退辅会又相继在部分县市设立了“荣民医院”，使“荣民”可以就近就医。对“荣民”就医问题，蒋经国在一次讲话中说道：
我们为“荣民”医病，不管怎样花医药费，活着用多少钱，总是以医好病为原则。有一个“荣民”动外科手术，用1300多西西的血，输血费就要26000多元，请最有名的医师，医好一个“荣民”，又花到5万元以上的数目，我觉得在道义上、良心上，都感到尽到了我们的责任。用别的钱，我们可以尽量的节省，但是为了要医好一个“荣民”的病，我们不论花多少钱，是不节省的。我们是以这种精神来做“荣民”的辅导工作。
就学方面，主要是对年轻而有志求学的退除役官兵进行辅导，使其能继续就学读书，甚至安排到世界各国求学。
经过蒋经国的努力，退辅会取得了显著成绩。1959年11月，他在“立法院”作施政报告时声称：退辅会创设50个附属事业机构，新建各种房舍，总面积15万余平方公尺，安置退役军官4300人、士兵85309人，其中5039人已训练成技术人员。1964年3月，蒋经国接任“国防部”副部长，并于7月辞去退辅会主任职务。自退辅会创设至蒋经国逝世的那一年，退辅会所安置的“荣民”总数达到354480余人。其中，安置就业的有208500余人，就医的有284500余人，就养的有106200余人，就学的有5600余人。在所有“荣民之家”就养的“荣民”有73600余人，在14所“荣民医院”住院就医的“荣民”有10100余人。就学的都能各有所长，独立成家。就业的有2500余人毕业于大专院校，出国留学的有300余人，获硕士学位者200余人，获博士学位者20余人。
在退辅会工作期间，蒋经国非常忙碌，除了想办法辅导“荣民”，还得为退辅会的经费发愁。退辅会的经费主要来自于美国的援助。美方特地成立了福莱公司，负责审核退辅会的美援计划，公司的负责人是韦伯上校。韦伯在大陆时期曾任南京“国防部”预算局的顾问，对于国民政府乱用美援的情形非常清楚。因此，为了确保美援不被挪用，对退辅会的经费预算审核非常严格。对此，蒋经国曾多次指示退辅会的工作人员要想办法向美方争取美援。1958年12月20日，他在主持退辅会第七次委员会会议上说：“关于本会美援安置计划问题，应使美方充分明了‘荣民’亦有接受美援的权利。此一事实，请各位委员向美方说明，以利今后美援之申请。”然而，对退辅会提出的经费计划，福莱公司往往会提很多意见，甚至迟迟无法通过。这令蒋经国非常不满，但又无可奈何。为了赶进度，蒋经国有时不得不在美援款尚未拨下来之前，就开始执行计划，经费就向台湾银行透支。台湾银行鉴于蒋经国的身份，也不敢怠慢，只好为退辅会垫资。后来，蒋经国向美方建议，取消福莱公司，直接由美方指派官员担任退辅会顾问。美方最终接受了蒋经国的建议，美援款拨付也就相对顺利多了。
蒋经国对部属也严格要求，退辅会的工作人员随时都准备被蒋经国召见，但他们却没有丝毫的怨言。曾跟随蒋经国在退辅会工作多年的王绍堉先生后来回忆说：“现在回想起当时工作情景，可能因为年轻，又有使命感，只觉得要完成任务，所以并没有什么压力，感觉很轻松。尤其是经国先生担任退辅会主任委员，我们做起事来更显得轻松。”
我们在退辅会和经国先生做事都养成了一个好习惯——守时。经国先生当时开会，时间安排非常紧凑，下午一点半开横贯公路的会议，列席的都是公路局的人；下午两点半开“荣民医院”的会议，来的人都是卫生署与省政府卫生处的人；下午三点半开“荣民农场”的会议；四点半又有另外一场会议要开，一场接一场因此决不能迟到。再加上他开会非常注重效率，一个钟头一个会议的进行，大家都是长话短说，把话讲的很直接清楚。因此跟经国先生做事第一习惯，就是要守时。第二个是养成报告重点的习惯。在退辅会时期，经国先生的办公室在三楼，我的办公室在二楼，我一看见他的车子到大门，立刻就到他办公室报告事情，详细列举要报告的事情，他立刻裁决，过程非常明快，绝不拖泥带水。
蒋经国虽然把退辅会的工作当做是一项政治工作，但他的确是真心实意地为退除役老兵服务。1956年5月4日，蒋经国在对退辅会工作人员的讲话中说：“退除役官兵过了几十年的戎马生涯，打了多少次仗，流了多少次血，现在因为体力上的关系不得不离开军队。他们过去功在‘国家’，而现在无家可归，我们要时时刻刻去抚慰他们，用一切办法去安置他们，使他们在安定生活中随时可以得到精神上的慰藉。”1967年12月19日，他在退辅会第二次扩大业务汇报会上发表讲话，他说：“有六万个退除役官兵，需要我们去安置。这六万个退除役官兵里面，有多少是瘫痪，有多少是盲残，有多少是残废，这种人我始终忘不了。”
他不但说到，而且做到。在退辅会期间，他几乎跑遍了整个台湾。当时患有麻风病的退除役官兵被安置在乐生疗养院，蒋经国到那里视察时，“对那些病患的官兵是又亲又抱，一般人是根本做不到的。我们当时跟在经国先生后面，不能说不去，只好勉为其难跟着进去，经国先生却还要留在那里吃中饭，这种精神根本不是一般人可以学得到”。花莲玉里的精神病院，蒋经国也是常去视察。蒋经国后来听说那里的病人不愿理发，他就特意为病院请来两位女理发师，马上受到病人的热烈欢迎，每天都有许多人排队等着理发了。
尽管蒋经国凭借自己的努力和特殊的身份，为“荣民”做了大量的辅导工作，尤其是让年老贫病、无依无靠的荣民们有了最起码的生存条件，但大部分“荣民”依然生活极其艰辛。对此，蒋经国深有感触。他说：“我们‘荣民’的生活还是很差，尤其是荣家的‘荣民’，每一个月仅有零用金30元，我的内心很难过。‘荣民’的生活，真正讲起来，还是很苦的。”因此，他希望所有的退辅会工作人员能够用“爱”去对待“荣民”，为“荣民”服务。他说：“我们的工作，除了经费预算，房子设备以外，最重要的就是一个‘爱’字！应当以‘爱’为中心。我自己在政府各部门所做的工作当中，认为以替‘荣民’服务，感到最为愉快！”
