去的话，可以现在就告老请求退休。”卢绚很害怕，听从林甫的话，后来贬出京都任华州刺史，不久，任他为太子员外詹事，卢绚由此不被任用。当时有些人因才能或好声誉闻名的，李林甫妒在前，故都会受到天子的冷落或疏远，所以李林甫在位时恩宠无人可比。凡是御府所贡献的远方珍奇美味，均要使者转赐给他，皇帝吃到什么美味，也一定赐给他一些。
曾经诏令百官在尚书省检阅一年来所得之贡物，参观完后，把所有贡物都赐给他，还让车辇将东西送到他家。李林甫随皇帝去华清宫，赐给御马，还有武士一百人、女乐两部。薛王的别墅其胜景秀丽在京师要数第一，也赐给林甫，其他的宅第、田园、水磨等都是最好的、最肥腴的、最便捷的。李林甫的车马衣服极其奢侈靡丽，他尤其喜欢声伎，侍姬满宅，男女各有五十人，以往的规矩，宰相都是有极大功劳、极高品德的人。从不考虑什么权威，出入时的随从都很少，普通士人百姓见了也不需要回避。李林甫自己知道与许多人结了怨仇，深怕突然冒出个刺客。所以他出入时，用很多骑兵卫士，先行一百步，喝道护卫，再有金吾为之赶人清道，即使公卿也要赶快退避让路。住的地方，重重门关，间间有复壁，还有版石机关，一个晚上要搬两次，即使家人也不知他此刻在何处。有时皇帝不上朝，各司的要官都要到他门上来请示，台、省都因之而空。左相陈希烈虽然在省府办公，但无人去见他。
李林甫没什么学问，说起话来俚俗浅薄，听到的人往往在背后耻笑。他看中了苑咸、郭慎微，让他们主管书记。他们精熟文法，所用之人若不是谄附的一律用格令来衡量，所以小小纲目没有乱离谱，而人们都害怕他的威严权势。后来，林甫又兼安西大都护、朔方节度使。
不久又兼任单于副大都护，后因朔方副使李献忠反叛，让还节度之职。
当初，李林甫厚待王钅共，王钅共也为他尽力。后来王钅共出事了，诏令宰相审讯，林甫十分害怕，不敢见钅共，案件审讯结果送上来，也没有为之申辩救援。后来就让杨国忠代为御史大夫，李林甫瞧不起杨国忠，所以无所畏惧，只因贵妃的缘故与杨国忠亲善。及至杨国忠权势日盛，地位之显赫，天下侧目，这才与他合不来且势如仇敌。那时，杨国忠正兼任剑南节度使，而南蛮入侵，李林甫趁机建议要杨国忠到剑南镇守，好让杨国忠离开京都。国忠无奈，入朝向皇帝告辞，皇帝安慰说“：你去那里，待你处置军事完毕，我就召你回京的。”李林甫得知后既忧且恨。这时李林甫已有病在身，加上这事，病日渐沉重。此时皇帝赴温泉，诏令车马载林甫同行，御医诊治，珍膳调养，皇帝不时存问，中官照顾起居，真是无微不至。病危了，巫者看了病后说：“见天子一面将有起色。”皇帝想再见林甫，左右劝阻。于是诏令李林甫走出廷来，皇帝登上降圣阁，手举红巾对林甫挥招。林甫已不能起身了，左右代为拜谢。不久，杨国忠从四川回来，即到林甫家，谒拜床下。林甫流泪托付后事，最后因不能进食而死。他的儿子们将灵柩护送回京发丧，追赠太尉、扬州大都督。
李林甫居宰相位共十九年，邀宠揽权，欺瞒天子的耳目，谏官们都居其位而养其资，没有一个敢主持正义的，补阙杜。。两次上书议论政事，结果被斥为下圭阝县令。李林甫借此事说给其他的人听：“明主在上，我们当臣子的顺着皇帝的心意还来不及，还要议论些什么？你们难道没看见立仗马(在仪仗队里的马)？整天默不做声，能得到三品的饲料；若一声嘶鸣，马上就逐出队伍。以后即使想不叫了，还能有机会吗？”从此，谏争之路断绝。
贞观以来，蕃人而任将职的如阿史那社人小、契必艹何力，都极忠心效力，但总不能当上将，皆由大臣控制，所以上面还有余权可以节制下属。先天、开元年间，大臣中如薛讷、郭元振、张嘉贞、王。。、张说、萧嵩、杜暹、李适之等人，都是从节度使而升为宰相的。李林甫嫉恨儒臣因筹划方略而得靖边的功劳，又得高位，因而想杜绝这一条升官接近皇帝的路，好巩固自己的权势，于是劝说皇帝：“以您陛下的雄才大略，国家富强，而夷狄竟然未能剿灭的原因，都是由文官为将，他们不敢冒矢石而身先士卒。不如任用蕃将，他们出生于雄健的父母，哺养在马背上，成长在行阵中，天性骁勇。假若陛下能感化他们而任用之，他们定能效死，夷狄就不愁不能剿灭了。”皇帝很同意他的说法，因而让安思顺代替李林甫统领节度，提升安禄山、高仙芝、哥舒翰等专为大将。林甫看中了这些人都不是汉人，没有入朝当宰相的资格，因此之故安禄山能专控三个道的劲兵，十四年不迁动。
天子很满意李林甫的策略，安然不疑，终究让安禄山统兵动乱天下，使王室从此衰微。
起先，李林甫曾梦见一个人白白的而有胡须，逼他退位。醒后就到处寻找梦中的人，发现裴宽很像，心中念叨“：裴宽想取代我。”于是借与李适之一党将裴宽赶出京都。后来杨国忠代李林甫为宰相，据说杨国忠的样子极像裴宽。杨国忠一向心里仇视李林甫，李林甫死尚未入葬时，杨国忠就暗示安禄山揭发李林甫，安禄山就要阿布思的降将入朝，告发李林甫曾与阿布思约为父子，准备叛乱。
于是把这事交给有司查核，林甫的女婿杨齐宣害怕连坐，乃胡说什么李林甫祭神诅咒皇帝，杨国忠又检举林甫种种恶行。皇帝怒，下诏说李林甫滥祀餍人，勾结叛虏，图谋危害社稷。着令剥夺他所有官职爵位，斫开棺材，脱去身上的金紫官服，取出口中所含珍珠，改用薄棺，用庶人的规则落葬；他的儿子司储郎中李萫、太常少卿李屿及李岫等人均迁往岭南、黔中，各人给奴婢三人，家产抄没；女婿们如张博济、郑平、杜位、元扌为及亲属子弟在官者李复、李道、李光等人一并贬官。
张博济也是个奸佞自肆的人，曾任户部郎中，户部有考堂，天下一年的会计均在此处。张博济被废为员外郎中听事，别取都水监地为考堂，擅自取用诸州上缴的钱很不少，有司不敢声张。