李白被高力士進讒言詆譭後，楊貴妃也因此對他心懷怨恨，所以唐玄宗就不再召他進入內殿侍奉。李白見形勢如此，便上疏請求辭官。唐玄宗原本十分喜愛他的才華，下了溫和的詔書勸慰挽留，不准他辭官。於是，李白就更加放縱自已飲酒，以此躲避嫌疑和怨恨。他的酒友除了賀知章，還有汝陽王李璡、左相李適之，以及崔宗之、蘇晉、張旭、焦遂等人，這些人都嗜好飲酒，酒量很大，李白常常和他們來往暢飲。當時，杜甫寫了一首《飲中八仙歌》來描述他們：
賀知章騎馬就像乘船一樣搖搖晃晃，醉眼昏花，不小心掉進井裡，就在水底睡著了。汝陽王李璡要喝了三斗酒才去朝見天子，路上碰到運酒的車子就饞得流口水，恨不得把自已的封地遷到酒泉去。左相李適之每天飲酒花費萬錢，喝酒就像長鯨吸水一樣，豪飲不停，他自稱愛酒如聖，還說為了飲酒可以避開賢位。崔宗之是個瀟灑的美少年，舉杯飲酒時，常常白眼朝天，傲視一切，他的姿態就像玉樹臨風一樣瀟灑。蘇晉雖在佛像前齋戒吃素，卻常常在醉後把佛門清規拋到腦後。李白一斗酒就能作出上百篇詩，常常在長安街市的酒家裡醉倒酣眠；天子召喚他，他都不上船，還自稱是酒中仙。張旭喝了三杯酒，就展現出草聖的風采，在王公貴族面前脫下帽子，露出頭頂，揮筆潑墨，字跡像雲煙一樣飄逸。焦遂喝了五斗酒，才能神采飛揚，高談闊論，他的雄辯之才讓四座都為之驚歎。
李白每天和這幾個酒友飲酒吟詩，不知不覺又在京城度過了不少時光。有一天，他酒後在朝門外偶然遇到安祿山，安祿山欺負他喝醉了，就用言語戲謔他，不免有些冒犯。李白藉著酒勁，把安祿山痛罵了一頓，安祿山十分惱怒，但因為他是唐玄宗看重的人，不便加害，只好忍氣吞聲。李白自已心裡明白，自已被後宮女子和朝中的小人所忌恨，如果不早點引退回家，必定會有後患。他又看到楊國忠、李林甫等人狼狽為奸，結黨營私，玩弄權術，矇蔽君主，朝政日益敗壞，自已又不是諫官，沒辦法直言上疏挽救局勢，留在朝廷裡又有什麼意義呢？於是，他又誠懇地呈上一道辭官歸田的奏疏。唐玄宗看了奏疏，知道他辭官的心意已決，就把他召到御前面談，說：“你一定要捨棄我離開，我也不便強行挽留，准許你暫時迴歸田園。但你起草詔書平定番國，對國家有功勞，怎麼能空手而歸呢？我知道你品行高潔，必定沒有什麼物質需求，你不可或缺的大概就是酒了。我現在賜給你終身的酒資，讓你永遠不缺酒喝。”說完，唐玄宗親自拿起御筆，寫了一道敕書賞賜給他。敕書內容是：
敕賜李白為閒散逍遙學士，所到之處，官府支付酒錢，文武官員、軍民百姓，不得怠慢。如果遇到應當奏報的事情，仍聽任他寫奏疏奏報。
李白拜謝接受了敕命。唐玄宗又賜給他錦袍、金帶、名馬和安車，李白謝恩後辭別朝廷。他在京城本來就沒有家眷，只有一些僕從，當下收拾好行裝，告別了眾位同僚好友，離開京城。在朝廷的官員都在長亭設宴為他餞行，只有楊國忠、高力士、安祿山三人懷恨在心，沒有來送行。賀知章等幾人一直把他送到百里之外，才揮手告別。
李白因為聖旨允許他閒散逍遙，出京之後，沒有馬上回家，而是朝著幽燕一帶那些有名山勝蹟的地方隨意遊玩。真的是每到一個州，官府就支付鈔錢，經過一個縣，就有縣裡給錢。他觸景生情就題詩，隨鄉入俗就飲酒，過得好不自在快活。有一天，他來到幷州地界，當地的官員都來迎接等候。李白一概推辭謝絕，只借了公館安置行李，帶著幾個僕從，騎馬到郊外，想要遊覽當地的山川景色。正走著，只見一群穿著軍牢服飾的人，都拿著刀棍，押著一輛囚車匆匆趕來，看到李學士的馬過來，就閃到一邊讓路。李白看向囚車裡面，囚禁著一個漢子。這漢子長得什麼樣呢？
他腦袋像圓鬥一樣大，鬢髮蓬亂。臉如方盆，目光炯炯有神。身體被束縛著，要是站起來，大概有一丈多高；雙手被拘押著，倘若伸展，大概有一尺多寬。他的容貌十分偉岸，不知道為什麼成了囚徒；相貌非同尋常，可以預料他將來必成大器。
原來，這個人姓郭，名子儀，是華州人氏，相貌雄偉奇特，精通兵法謀略，一直有著建功立業、忠君愛國的志向。怎奈生不逢時，暫時屈就在隴西節度使哥舒翰的麾下，做一個偏將。他奉命去檢視剩餘的兵糧，卻被手下人不小心失火，把糧米給燒了，罪責牽連到他這個主將，按照軍法應當處斬。當時哥舒翰外出巡查，已經到了幷州地界，所以軍政司把他押送到軍前執行死刑。這時李白看到這個人儀表堂堂，就勒住馬詢問他是誰，犯了什麼罪，要被押解到哪裡去。郭子儀在囚車裡大聲訴說，聲音如同洪鐘。李白心裡想：“這個人如此儀表不凡，肯定是個英雄豪傑。如今天下即將多事，有這般品格相貌的人，正是對朝廷有用的人才，怎麼能輕易殺掉呢？”於是吩咐手下眾人說：“你們到了節度使的軍前，先別把他押進去，等我親自去見節度使，替他求情免死。”眾人不敢違抗命令，連連答應。李白掉轉馬頭，挨著囚車一起前行。一邊走，一邊考他學問，問他一些軍事謀略方面的問題，郭子儀對答如流，李白越發敬重喜愛他。
說著話，就到了哥舒翰駐紮的地方。李白讓隨從把自已的名帖傳給門官，說李太白前來求見。門官連忙稟報。哥舒翰也是當時的一員名將，平日裡也敬慕李學士的才華和名聲，如今見他親自前來拜訪，覺得十分榮幸，就開啟門迎接他進去。賓主分賓主落座，互相寒暄了一番，李白就直接說明來意，請求他寬恕郭子儀的罪行。哥舒翰聽了，沉思了一會兒，說：“學士您的指教，我本應當遵從，但是我平時管理部下軍將，賞罰必須分明。如今郭子儀失火燒了軍糧，按照軍法難以饒恕。而且這件事關係重大，理應奏報天子，我不敢擅自做主把他釋放，這可如何是好？”李白說：“既然這樣，我也不敢阻撓軍政事務，只求暫時緩期行刑，節度使您可以寫奏疏奏報朝廷。我原本就奉有敕命，允許遇到事情可以馬上寫奏疏上奏，如今我也另外寫一道小奏疏，代他請求活命，您看怎麼樣？”哥舒翰欣然答應說：“如果這樣，那就情理和法度都兼顧了！”於是傳令把郭子儀收押監禁，等候聖旨裁決，李白告辭離去。於是，哥舒翰一邊寫奏疏上報，李白也馬上撰寫奏疏，極力稱讚郭子儀雄才大略，足以成為保衛國家的棟樑之才。失火燒糧是手下僕人不小心，實在不是郭子儀的罪過，懇請朝廷憐憫保全他，留著他以後為國家效力。把奏疏附上驛站的快馬，飛速上奏。李白自已就暫時留在幷州的館驛裡等候聖旨，每天過得逍遙自在。哥舒翰和當地官員每天都設宴款待他。沒過三五天，聖旨就下來了，批准了學士李白的奏請，只把失火的僕從依法處決，赦免了郭子儀的罪行，允許他立功贖罪。這正是：
若不遇識人學士，險送卻落難英雄。
喜今日幸邀寬典，看他年獨建奇功。
郭子儀感激李白的救命之恩，發誓將來一定要感恩圖報。李白告別了郭子儀和哥舒翰等一眾官員，前往別處遊歷；臨行的時候，還再三叮囑哥舒翰要關照郭子儀。從這以後，郭子儀憑藉軍功逐漸登上高位，這是後話。
在朝中，李白離開後，賀知章也告老還鄉了。左相李適之因為與李林甫有矛盾，被罷去相位，迴歸故里。李林甫又捏造其他罪名誣陷他，逼得他自盡。李林甫憑藉唐玄宗的信任，手握重權，安祿山對他也十分畏懼。楊國忠雖然心裡嫉妒，但形勢所迫，不得不與他互相勾結、互為黨羽。
唐玄宗前些年接連殺掉三個兒子後，李林甫勸說立壽王李瑁為太子。但唐玄宗聽從高力士的建議，立了忠王李璵為太子。李林甫心生疑忌，謀劃著要陷害太子。當時戶曹官楊慎矜依附楊國忠，自認是楊氏同族，又和羅希奭、吉溫等人一起，成為李林甫門下的得力爪牙。李林甫和他們商議，指使楊慎矜上密奏，告發刑部尚書韋堅與節度使皇甫惟明合謀廢黜皇帝，改立太子，還拉楊國忠作為證人。原來，刑部尚書韋堅是太子妃韋氏的兄長，皇甫惟明是邊防節度使，偶然來到京城，曾拜見皇太子，還當面奏請天子，說宰相玩弄權術。李林甫對此懷恨在心，就借這個機會誣陷他們，企圖動搖太子的地位。
唐玄宗看了密奏後大怒。多虧高力士極力辯解，才沒有明確指出二人的罪行，只是貶削了他們的官職。太子得知此事後，驚慌失措，連忙上表請求與韋氏離婚。唐玄宗也因為高力士的勸諫，沒有批准太子的請求。李林甫又秘密上奏，請求讓楊慎矜與羅希奭、吉溫等人審訊此事，還請楊國忠監督審理。唐玄宗降旨，只賜死韋堅、皇甫惟明，不再深究此事，太子這才安心。
過了一段時間，將軍董延光奉召征伐吐蕃，卻沒能立功，就把罪責推給朔方節度使王忠嗣，說他阻撓軍事計劃。李林甫趁機讓楊國忠又誣陷王忠嗣想擁兵擁立太子。唐玄宗於是召王忠嗣入京，命令三司審訊他。太子再次驚慌失措，幸好王忠嗣是哥舒翰推薦的。哥舒翰向來有威望，唐玄宗早就聽聞他的名聲，很看重他的人品，只是一直沒見過他本人。這次因為王忠嗣的事情，特意召哥舒翰入朝覲見，想詢問此事的真假。
哥舒翰接到召見的命令，立刻星夜趕赴京城。他的幕僚都勸他多帶些金銀財寶到京城去打點，哥舒翰說：“我難道會吝惜這些金銀財寶嗎？但如果公道還在，皇上一定不會冤殺大將；要是沒有公道，金銀再多又有什麼用呢？”於是輕裝前往京城。等他到了京城面見皇帝，唐玄宗先問了一些邊防事務，哥舒翰一一回答，唐玄宗非常高興。哥舒翰趁機極力陳述王忠嗣的冤情以及太子被誣陷的情況，言辭十分懇切。唐玄宗有所感悟，說：“你先退下，讓我考慮考慮。”
第二天，唐玄宗召來三司，當面指示說：“我兒子深居宮中，怎麼會和外藩勾結呢？這一定是謠言，不要再追查了。但王忠嗣阻撓軍事計劃，應當貶官削爵以示懲罰。”於是把王忠嗣貶為漢陽太守，將軍董延光也被貶職。哥舒翰返回幷州鎮守。太子在皇上面前伏地跪拜，哭泣著叩首謝恩。唐玄宗好言安慰，從此父子之間相安無事。
可恨的是，李林甫屢次製造大案，因為楊國忠有後宮楊貴妃這層關係，凡是事情稍微涉及到太子的，就指使楊國忠彈劾上奏，或者拉他來作證。幸好太子是高力士勸說立的，高力士常在皇帝面前庇護太子；太子又仁愛孝順、謹慎行事，不敢得罪楊貴妃，所以才平安無事。
誰知道楊氏兄弟姊妹越來越驕奢橫暴，一天比一天過分，總之都是倚仗著楊貴妃的權勢。當時民間流傳著幾句謠言：“生男勿歡喜，生女勿傷悲。男不封侯女作妃，君看女子耀門楣。”
楊國忠、楊銛和秦國夫人、虢國夫人、韓國夫人的宅第都在宜陽裡，府第的豪華程度堪比皇宮。楊國忠和這三個夫人其實並非真正的兄妹。在三個夫人中，虢國夫人尤其淫蕩奢靡，每建造一座堂閣，都要花費巨資；要是看到別家建造的比自已的更好，就立刻拆毀重建，土木工程，從不停歇。她的住宅和楊國忠的宅院離得很近，往來非常方便，於是就和楊國忠通姦。楊國忠入朝時，有時竟然和虢國夫人同坐一輛車出行，看到的人無不暗自嘲笑，可他們二人卻毫不在意，毫無羞恥之心。
安祿山也趁機與虢國夫人私通，往來十分密切。虢國夫人私下送給他一枚自已生平最喜愛的玉連環，安祿山非常高興，一直佩戴在身邊。沒想到在一次宴會換衣服時，被楊國忠看見了。楊國忠因為安祿山對他態度傲慢，心裡本來就很不滿，如今看到這枚玉連環，認出是虢國夫人的東西，知道他們兩人有私情，於是對安祿山恨之入骨。他時常在言語中，隱晦地用安祿山與楊貴妃私通的事情來恐嚇他；又經常悄悄告訴楊貴妃，說安祿山做事不謹慎，外面議論紛紛，萬一被皇上察覺，這可不是小事，後果不堪設想。楊貴妃聽了楊國忠的話，心裡十分害怕。這真是：貴妃不自貴，難為貴者諱。無怪人多言，人言大可畏。
有一天，唐玄宗在昭慶宮閒坐，安祿山陪坐在一旁。唐玄宗見他肚子大得垂到膝蓋，就指著他開玩笑說：“這小子肚子大得像抱著個甕，不知道里面裝著什麼東西？”安祿山拱手回答道：“這裡面沒別的東西，只有一顆赤誠之心罷了！臣願意盡這顆赤心，來報答陛下。”唐玄宗聽了安祿山的話，心裡很高興，對他越發信任。可誰能想到：人藏其心，不可測識。自謂赤心，心黑如墨。
唐玄宗對待安祿山，真的像對待心腹一樣。而安祿山對唐玄宗，卻全是賊心、狼心、狗心，真是忘恩負義、喪盡天良。人們正對他切齒痛恨，恨不得立刻剖開他的胸膛，挖出他的心吃掉，他卻還哄騙別人說自已有一顆赤誠之心。可笑唐玄宗還沒察覺到他的狼子野心，竟然相信他是真心，真是太糊塗了。閒話少說。
且說當天唐玄宗和安祿山閒坐了一會兒，回頭問左右宮人，楊貴妃在哪裡。當時正值暮春，天氣漸漸暖和，楊貴妃正在後宮泡溫泉洗浴。宮人向唐玄宗回報說：“妃子剛剛洗浴完畢。”唐玄宗微微一笑，說：“美人剛洗完澡，就像出水芙蓉一樣。”隨即讓宮人去宣召楊貴妃前來，不必再梳妝打扮。宮人領命而去。不一會兒，楊貴妃來了，你猜她剛洗完澡是什麼樣子？有一曲《黃鶯兒》形容得好：皎皎欲生光，臉如瑩，體愈香，雲鬟慵整偏嬌樣。羅裙厭長，輕衫取涼，臨風小立神駘宕。細端詳，芙蓉出水，不及美人妝。
當時楊貴妃淡妝便服，輕盈地走來，更顯得嬌豔動人。唐玄宗看了，臉上堆滿笑容。恰好有外國進貢來的異香花露，唐玄宗立刻讓人取來賜給楊貴妃，讓她對著鏡子勻面，自已則把座位移到鏡臺旁觀看。楊貴妃勻面結束後，用剩下的花露擦在手掌上，拍打手臂，不經意間酥胸微微袒露，寬大的衣袖滑落，隱約露出了雙乳。唐玄宗見了，開玩笑說：“妙啊！溫軟好似雞頭肉。”安祿山在一旁，忍不住脫口而出：“滑膩還如塞上酥。”話一出口，他就意識到自已唐突了，心裡非常侷促不安。楊貴妃也被他的魯莽嚇到，生怕唐玄宗起疑，緊張得捏了一把汗。那些宮女們聽了這話，也都驚愕失色。可誰知道，唐玄宗卻一點也不在意，反而高興地指著安祿山說：“可笑這胡人也知道酥的滑膩。”說完，哈哈大笑起來。於是楊貴妃也笑了，宮女們也都跟著笑了。哎！若非親手撫摩過，那識如酥滑膩來？只道赤心真滿腹，付之一笑不疑猜。
安祿山因為平日裡和楊貴妃私通，相互戲謔慣了，所以在唐玄宗面前也不小心失口說出那樣的話，幸好唐玄宗沒有起疑。不過楊貴妃被楊國忠那些危言聳聽的話所觸動，生怕真的弄出什麼事來。從那以後，每次見到安祿山，都必定懇切地私下叮囑他，讓他說話謹慎，出入小心。安祿山也知道楊國忠對他不滿，擔心被他算計，又想到：“楊國忠還不足以讓我害怕，那李林甫最能洞察人的隱秘心思，他可不是個好惹的角色。如今楊國忠和李林甫交情正深，倘若他們二人合起夥來算計我一個人，那可太不妙了，倒不如討個外地的官職，出去暫時避一避。”但他又捨不得楊貴妃和虢國夫人，所以一直猶豫不決。
這邊楊國忠心裡琢磨著：“安祿山將來肯定會和我爭權，我必須除掉他。可他正受天子寵幸，又有楊貴妃和虢國夫人等人相助，一時之間難以撼動他的地位。只是不能讓他留在京城，得想個辦法，把他弄到邊疆去，再慢慢算計他。”正在盤算的時候，恰好李林甫上奏了一份奏疏，請求任用番人擔任邊鎮節度使。原來唐朝時期，邊鎮節度使都任用有才能、有威望的文臣，要是立下功績，就可以入朝擔任宰相。如今李林甫獨攬大權，想要斷絕邊臣入朝為相的途徑，便上奏說：“文臣擔任邊鎮統帥，在戰場上膽怯，難以抵禦外敵；不如全部任用番人，他們勇猛善戰，可以為國家守衛邊疆。”唐玄宗批准了他的奏請，於是邊鎮節度使都要改用番人。
楊國忠趁機想要把安祿山派出去，便上疏說：“河東是重要之地，固然需要番人擔任統帥，但也必須任用番人中有才略、有威望的人去鎮守，才能平息邊患，除了安祿山，沒人能擔當此重任。”唐玄宗看了奏疏，覺得很有道理，便召來安祿山當面告知：“你常說對朕一片赤誠之心，我本想把你留在京城，作為我的得力助手。但河東是重鎮，非你不可。現在暫時派你出任邊鎮統帥，仍允許你隨時入朝奏事。”隨後傳旨，任命安祿山為平盧、范陽、河東三鎮節度使，賜爵東平郡王，限期讓他快馬赴任。
安祿山接到任命，倒也正中下懷，於是叩頭謝恩。當天就入宮辭別楊貴妃，兩人依依不捨。楊貴妃把安祿山叫進密室，拉著他的手私下說：“你這次遠行，都是因為我兄長猜忌你。我和你恩愛這麼久，一旦分離，我心裡實在不忍。但你在京城待的時間長了，很容易引起別人懷疑，出任外鎮，未必不是你我的幸運。你只管放心前去，我會派心腹之人時常和你通訊。我也會在天子面前留意照顧你，你只管安心去建功立業，別再顧慮。”安祿山點頭答應。正說著，宮女進來稟報說：“三位夫人都已經入宮了。”楊貴妃急忙出去迎接，行過禮後，安祿山也出來和眾人見面。虢國夫人得知安祿山要遠行，心裡特別不高興，無奈朝廷命令已經下達，也無可奈何。安祿山也不敢在宮中久留，只好告辭出宮。
到了安祿山臨行那天，唐玄宗又在便殿賜宴。安祿山謝恩後，就辭別朝廷前往任地。李林甫等人也設席為他餞行。飲酒時，李林甫舉杯對安祿山說：“安公如今擔任節度使，出鎮大藩，責任重大，凡事都要深思熟慮、審慎謀劃，揣測情理。我雖然在朝中，但各藩鎮的利弊，我日夜操心，訊息都很清楚。如今三大鎮有安公擔任節度使，足以成為朝廷的屏障，希望你好好謀劃。”這番話，明顯是在籠絡和挾制他。安祿山平日裡就懼怕李林甫，如今聽了這話，只能連連答應，還恭恭敬敬地辭謝道：“我安祿山生性愚鈍、才能淺薄，承蒙重任，很擔心不能勝任，怎敢不謹遵您的教誨！要是有什麼做得不到位的地方，還望相公多多關照。”說完，起身拜別出發。
前一天，楊國忠曾設宴為安祿山餞行，安祿山找藉口沒去。這天楊國忠也假意來送行，安祿山心裡怨恨，態度傲慢，不行禮。楊國忠大怒，從此兩人結怨更深。安祿山到了任所，清點軍馬錢糧，訓練士兵，囤積糧草，坐鎮范陽，同時管轄平盧、河東。從永平以北到太原，凡是東北一帶的要害之地，都在他的統轄範圍內，聲勢越來越強盛，也日益驕橫放肆。後人有詩嘆道：番人頓使作強藩，只為奸臣進一言。今日虎狼輕縱逸，會看地覆與天翻。
