李辅国以肃宗的名义，于上元元年（760）7月18日，将兴庆宫中的300匹御马撤得只剩下10匹。李隆基也无可奈何，对高力士说：“吾儿被李辅国所迷惑，不能尽孝至终了。明早你与我一起到北内（大明宫）去。”
高力士次日一早，陪着李隆基来到大明宫。肃宗派人传话：“近几天患疹病，不能亲起拜迎。请太上皇在这里吃早饭。”饭毕，肃宗又传话：“请太上皇先回兴庆宫。”
李隆基高力士一行出了大明宫，没走多远，身后传来急促的马蹄声。回头一看，只见李辅国带着几百名铁甲骑兵，手持白刃，冲过来将他们四面围住。李辅国大声喊道：“皇上觉得兴庆宫地势低下狭窄，让我迎太上皇迁到西内去。”说着上前来抓李隆基的座马。事态突然，差点跌下马来。高力士急忙喝道：“李辅国不得无礼！”
李辅国对高力士骂道：“你这老家伙还不知趣，给我闪开！”说着手起刀落，砍了高力士身边的一个随从。
而高力士毕竟是经历过大场面的人物，他奋不顾身冲上前去，抓住李隆基的马缰绳，大声争执道：“李辅国，你怎么可以如此惊吓太上皇！不管有什么变化，也不能不讲朝廷礼仪。你赶快下马，高力士对李隆基说。”李辅国本是出身低贱的飞龙小儿，在老皇帝和老上司面前，还未曾敢有半点张狂，只好下马行礼。
高力士又转身对骑士们说道：“太上皇让我向大家问好！”骑士们一齐收起刀剑，下马拜伏，高呼“万岁”。
接着，高力士又叫李辅国和他一起为太上皇牵马，来到太极宫。
李辅国走后，李隆基老泪纵横，对高力士说：“今日要是没有你，我就成了刀下鬼啊！”直到天快黑时，才有十几名老宫女带着李隆基的日用起居衣物，其他的随从一见，都哭了。
李隆基当晚，就在甘露殿安歇。他睡不着，叹息了几声，对高力士唠叨：“兴庆宫是我做藩王时住的地方，我几次让皇儿去住，他仁义孝顺，不肯接受。今天虽说是被李辅国逼着离开了，也正合我的本意。力士，你吩咐管膳食的，从明天起，不要再做肉食荤菜，斟酌做些清素饭菜就行。”
高力士第二天起来后，让宫女们打扫殿庭，清除杂草，收拾清洁之后，陪着李隆基谈论佛教与道教的经义，免得他感到太寂寞。高力士想法子找些杂七杂八的话题，希望他能够高兴，不想迁居不愉快的事情。
高力士在几日后，患上疟疾，搬到不远的功臣阁去养息。有天傍晚，门外传来人声，高力士隔门一问，才知是宦官啖庭瑶，声称是皇帝传唤力士。高力士忙问：“你见过太上皇了吗？”啖庭瑶回答说：“刚见过了。”
高力士不敢怠慢，跟着啖庭瑶来到宫门外，等了一会，一名宦官拿出一卷文书递给他。高力士一看，上面写的是应该免职的文字，不等他看完，文书就被要了回去。高力士心中早就有所预料，就求那个宦官传话给肃宗说：“臣早就罪该万死了，只因皇恩浩荡，才活到今天。不过文书上所列罪状，我实在不知道。臣只有一个心愿，就是能亲自向太上皇告别，然后受刑，死而无怨。”
肃宗在第二天，颁下诏书，严词斥责高力士：“私通逆党，暗助凶徒，怀无君无父之心，应处杀头之刑。姑念其长期在宫中侍奉，效有勤劳，且免死罪，削去官爵，流放巫州。”
俭朴忠厚的禁军老将陈玄礼与此同时被迫退休回家。原来在兴庆宫侍奉太上皇的宦官王承恩被流放播州（今贵州遵义），魏悦被流放溱州（今四川綦江），如仙嫒被流放归州（今湖北秭归），玉真公主被令重返道观。
可怜垂暮老弱的李隆基身边，连一个相伴的旧臣也没有留下。随后，肃宗另派了百余名老弱宫女，担任太极宫的洒扫杂役；让两个妹妹（太上皇的女儿）万安公主和咸宜公主，负责照料饮食住行。
李隆基被迁居西内，实际上是被软禁起来。高力士等人被贬逐之后，李隆基的精神也垮了下来，他的心情抑郁，自然积成疾病。在太极宫住了一年又八个月后，李隆基于宝应元年（762）4月5日，病逝于神龙殿，享寿78岁。过了十三天后，4月18日，长期染病的肃宗皇帝也追随其父之后驾崩，享年52岁。两天之后，新皇帝代宗即位。
自上元元年（760）7月28日高力士被除名流放。
从京城长安到巫州（今湖南黔阳境内），行程3100里，一路涉水渡河，爬山越岭。上元二年（761）10月。黔中道巫州。南国的秋色，草木苍郁葱茏，生机盎然。在州城外的一道山坡下，走着几位信步踏游之人。其中一位年迈的老者，步履沉缓，面含沉思。他就是太上皇（李隆基）李隆基在位时的宦官首领高力士。
走在前面的一个随从叫道：“高公，您看，对面像是来了几骑人马。”
高力士举目望去，确有几骑人马踏起尘土奔驰过来。
说话间，来人已到跟前，为首一人大声喊道：“请问高公在此？”
来人原是去年2月贬官流放夷州（属黔中道，今贵州凤冈）的第五琦（字禹谞）。他两年前官居宰相，因为得罪了当朝皇帝（肃宗）的亲信宦官李辅国，被贬流到这荒凉边远之地的。
第五琦勒马下鞍，一边施礼，一边问安：“高公，这一年来身体可还康宁？”
高士力还礼答道：“垂垂老暮，一日不如一日啊。”
两人相见，同是天涯沦落客，不由得引起心中万千感慨，遂与从者来到城边酒店，且饮且聊，消解愁肠。
几杯水酒下肚，高力士对同座众人说道：“小人当道，贤良受谗。以第五公宰相之高位，尚且不能幸免此难，其余官职低下者，就更不必说了。”
第五琦关切地探问道：“高公，近来有京城方面传来的消息吗？”
高力士长叹道：“这巫州之地，蛮荒僻远，交通阻塞，京城消息传递到此，少说也得两月时日。老朽日夜翘首盼望，度日如年！”
“烟熏眼落膜，瘴染面朱虞。老身已是来日苦短，看来真的是要客死于此了。”
第五琦说了许多宽解抚慰的话，观天色不早，这才与高力士相揖而别。
秋去冬来，冬尽春至。山野田间，滋长出一片片嫩绿色彩。一天，高力士偶尔在园中看到长有许多荠菜。
当地居民，尚不知晓这野生植物可以食用。他让随从采来做成粥汤。许久不吃荠菜，其味格外新鲜，高力士乘兴赋诗一首：
两京秤斤卖，
五溪无人采。
夷夏虽有殊，
气味终不改。
诗中文字虽是吟咏荠菜，实则是他的心中慨叹。不论是在京城还是在巫州，他效忠大唐和太上皇（李隆基）李隆基的赤诚之心永不变。
年近八旬的高力士，身衰力弱，老态龙钟。以待罪之身，心怀忧愁，登山远望，临水闲步，消磨时日。远离京城，就远离权利争斗，早已是无职无权之人，何必再为国事忧劳。可高力士，身处静地心中却未安然。回首往事，高力士晚年贬流后处在悲惨苦难的生活之中。
高力士身边从者不过10人，所带衣物粮食只够数月用度。历经两月之久，于9月30日才到达巫山。
高力士在巫州首尾三年时间中，忧惧度日，强打精神，期盼着赦令下达。早在官军收复长安之后，李辅国就已蒙蔽肃宗，专权胡为。凡是被李辅国一伙整治的人，先抄没其家财，不判死刑就被流放。五六年间，先后被流放到黔中道各州的人，上至郡王，下至州县官吏，多达两千余人。等到代宗即位后大赦放还的人，只剩下十分之二三了。古人有言道：一朝天子一朝臣。不信任并排斥前期旧官，是新老皇帝权力交替之际的一种普遍现象。高力士等人就是其中的牺牲者。在巫州期间，与其他被流放的人同病相怜，来往颇多。时过境迁，高力士将亲身经历过的事情，讲给大家。曾经在史馆供职的柳芳，将高力士所谈，编写成《问高力士》。太原人郭浞获赦后，在代宗朝任过大理寺直和户部员外郎，他将高力士叙述的旧事，撰成《高力士外传》一书，流传后世民间。
肃宗在宝应元年（762）3月28日，颁下一道诏令：
所有贬官流放的一律放还。肃宗还在驾崩的前两天，又因改年号（宝应）再次大赦天下。到了6月，皇帝的诏令传到巫州，高力士，惊喜之后，立即起程北归。7月，当他行至朗州（今湖南常德市，距京城2000里）境内时，才得知二圣（李隆基、肃宗）已经相继驾崩。
在流放期间高力士一个重要精神支柱，是有朝一日赦归京城，与他一生忠心侍奉的太上皇李隆基相见。满怀希望和喜悦的高力士，得知李隆基仙逝而去，难以承受的迎头打击。他面向京城，号天哭地，几次哭得气绝昏倒在地。
高力士的唯一心愿，就是早日回归京城，在李隆基的灵前哭祭亡魂。高力士抱病赶路，日夜兼程。他的垂暮之身和哽咽感伤的精神，难以再支持下去了。高力士一行于8月18日宿于朗州开元寺西院，他感觉大限已到，便强打精神对同路的郭浞等人说道：“我今年79岁，已算是长寿了；显达时官至开府仪同三司，也算是贵极人臣了。既显贵又长寿，死去还有什么可遗憾的！唯一的抱憾就是不能亲临二圣灵前号哭祭拜。现在，我要成为这荒远僻地的野鬼游魂，孤独无依，不知要飘泊到何时……”高力士说着老泪长流，呼出了胸中最后一缕气息而病亡。
高力士病死的消息，由当地官府奏报到京城。高力士的灵柩于9月从朗州起运。11月，到达襄州（今湖北襄阳）时，代宗特下的诏书传至：念高力士是先朝的耆宿忠臣，今恢复其生前官职爵位，并追赠扬州大都督；灵柩运回京城，陪葬于李隆基陵墓；朝廷供给支付丧事等费用。
长达七年多的安史之乱终于平定之后。唐代宗在广德元年（763）3月，为他的爷爷李隆基举行了安葬仪式。
李隆基的泰陵在同州奉先县东北20里的金粟山（今陕西蒲城境内），冷清的墓地旁，陪葬着毕生忠诚的“老奴”高力士。
代宗又在大历十二年（777）5月，又命为高力士镌立墓碑，全碑高约4米多，宽约1.4米，碑文共1600余字。碑上铭文最后写道：“惟公之葬，泰陵之下，存殁义同，忠贞无舍，书词刊世，永示来者。”
