。
开元初年升任太子中允。源乾曜执政，与姜皎是姻亲，乾曜的儿子源挈为李林甫求官司门郎中，乾曜一向看不起他，说“：郎官应有才干和声望，哥奴哪里是任郎中的材料呢？”哥奴，是李林甫的小名。乃任他为谕德，逐步升到国子司业。
宇文融为御史中丞时，引李林甫与之同列，渐渐历任刑、吏部侍郎。当初，吏部置长都要列名榜示，以定留放，宁王心中有十人希望能入选，李林甫说：“希望能黜一人以表示公正。”于是在一个人名旁注“：恐与王嘱有连，宜放冬集。”
当时武惠妃专宠，儿子寿王、盛王尤得玄宗宠爱。李林甫借中人高力士告知惠妃，愿保护寿王为万岁，于是惠妃对他感恩。侍中裴光庭的夫人，是武三思的女儿，与李林甫有私情，高力士本是出自武三思家的。至裴光庭死，武氏就请高力士推荐李林甫代为相。高力士因相位重大，未敢说话。皇帝此时正因中书令萧嵩的举荐，任用了韩休，正要写诏令，武氏告诉林甫，要他去为韩休请官。韩休任宰相后，很感激林甫而与萧嵩有了疙瘩。于是推荐林甫有宰相之才，惠妃也暗中撺掇，皇帝竟提拔林甫为黄门侍郎，不久又任礼部尚书、同中书门下三品，再进为兵部尚书。
皇太子、鄂王、光王被诬陷，皇帝欲废太子另立，张九龄恳切劝谏，皇帝不高兴，李林甫当面不说什么，退朝后却私下里与中人说：“天子的家事，外人干预个啥。”开元二十四年(736)，皇帝在东都洛阳，想回长安。裴耀卿等人建议：“农民们秋收事还未结束，待到冬天农闲再回最好。”李林甫假装跛着脚，一个人走在最后，皇帝问他脚怎么啦，他说“：我不是腿有病，而是想奏件事。两个都城本来就是帝王的东西宫，车驾要到哪一处去，何需等待什么时机？即使有妨农事，赦免所过地方的租赋不就行了。”皇帝十分高兴，即刻车驾西行。当初，张九龄由于文章写得好而进官，为相时坚守正直持重的作风，而李林甫则是由于会拍马屁得任大官，故而非常嫉恨张九龄，私下里进谗陷害。皇帝想赏朔方节度使牛仙客实封，张九龄对李林甫说：“封赏是为了奖励名臣的大功，边将要第一功的，怎可匆忙决定，我将与你争辩。”李林甫同意在廷前各抒己见，及至进见时，张九龄多方说明不可封，而李林甫则默不发言，退朝后又在背后说东道西。牛仙客第二天来见皇帝，哭着辞谢请不加封，皇帝就更加想赏仙客了。张九龄坚持不可，李林甫对别人说：“天子用人，有什么行不行的。”皇帝听说后，很喜欢李林甫的不坚持己见。由此更加疏远张九龄了。不久，张九龄和裴耀卿都罢了宰相职，而专任用李林甫、牛仙客了。当初，三位宰相就位时，两人弯腰疾趋，而林甫在中间昂首阔步毫无谦让之意，春风得意的样子流溢在眉宇之间，观看的人偷偷议论：“一雕挟两兔。”不久，诏书下来，裴耀卿、张九龄左右丞相被免官，李林甫幸灾乐祸嘲笑说“：你们还当左右丞相吗？”眼里露着阴险而送。其他公卿见了都为之战栗。此时，李林甫进兼中书令。皇帝到底听了李林甫的话，杀了太子瑛、鄂王瑶、光王琚三个亲生儿子，天下人均觉得三人死得冤。大理卿徐峤居然胡说什么“：历来大理狱杀气盛，鸟雀不敢栖息。
如今刑部断狱，死罪的一年才五十八人，乌鹊都在狱户上做窝了，死刑几乎弃置了。”群臣祝贺皇帝，皇帝又说这是大臣的功劳，于是封李林甫晋国公，封牛仙客豳国公。
皇帝将要重立太子了，李林甫探得皇帝的心思，就多次称道寿王。皇帝对此秘而不传，皇帝心中属意忠王，终于，寿王未能立。太子已定，李林甫一则恨自己的谋划未能得逞，再则也从此事悟出自己恐会有祸，于是表面上与韦坚亲善。韦坚，是太子妃的哥哥，让他任要职，准备扳倒他家以动摇东宫的地位。
于是设计使韦坚犯罪入狱，太子上表请求与韦妃离婚以示与韦坚绝无往来。李林甫的计谋未达目的。杜良娣之父杜有邻与女婿柳责力彼此看不惯。柳责力生性疏狂浮躁，想帮助李林甫动摇太子，竟诬告杜有邻妄图有变，将杜有邻逮捕，诏令审讯，最后赐死。为此案牵连到裴敦复、李邕等人，都是李林甫平日嫉恨不喜欢的人，一起株连杀掉。太子亦贬杜有邻的女儿杜良娣为庶人赶出东宫。不久，又唆使济阳别驾魏林，诬告河西节度使王忠嗣密谋兴兵拥立太子。皇帝不相信，但仍将王忠嗣贬谪出京。李林甫告诉皇帝“：太子一定知道他的阴谋。”皇帝说：“我的儿子一向处于深宫，怎会与外人通谋？这一定是有人故意诬陷。”李林甫多次陷害太子，都没有成功。一天故作从容地说“：古代立储君，必先着重贤德，若不是对国家宗稷有极大功劳的，那谁也比不上嫡长子。”皇帝沉吟半天才说“：庆王往年狩猎，脸被豸内伤得厉害。”李林甫答“：破了脸不是比破国强些吗？”皇帝颇受惑，说：“待我慢慢想想。”不过太子一直以谨慎孝顺闻名，内外都没有坏名，所以谣言飞语不能侵害他，皇帝也无理由猜疑他。
李林甫善于刺探皇帝的心意。那时，皇帝年事已高，亲自听事做决断渐渐倦怠，不大耐烦以法规来检校事理，却重视接对大臣，有了李林甫任宰相后，对他十分信任，毫不猜疑。李林甫又善于培养皇帝的个人欲望。从此皇帝安居在深宫，沉溺在歌舞声色之中。君王之德被遗忘了，李林甫每有奏请，一定先贿赂左右，窥视各种动静，设法巩固皇帝的恩宠和信任。即使是厨夫御婢也都得到他的厚赏，所以天子有些微动静林甫全都知晓。他生性阴险，工于心计，杀人残忍，但喜怒均不形于色，脸上总是很柔和地微笑，初看上去和蔼可亲，相处的时间长了，就觉城府深阻，终究掌握不了他的心思。公卿如果不是由他荐举而得官的，一定会获罪遭贬；依附他的，即使是无识小人，也必引荐为重臣。与他同时为宰相的，如张九龄、李适之等人，后来都遭逐斥；甚至杨慎矜、张蠧、卢幼临、柳升等几百人都被牵连，相继被杀。李林甫以王妒、吉温、罗希。。为爪牙，多次制造大案。官吏缙绅均惴惴不安，屏息不敢动。