就这么一个小时候调皮捣蛋、长大后诡诈多智的人物，提起李林甫就闻风丧胆、卧床不起，从内心对李林甫充满敬畏。天宝六年，安禄山进位御史大夫。由于深受皇上、贵妃的特别宠爱，上朝时，见到宰相李林甫也只是哈哈腰，不是十分恭敬。李林甫不动声色，暗中吩咐王■。王■当时位居大夫，安禄山对他有些畏惧。一次，王■和安禄山两人因公事进见李林甫，王■一看见李林甫赶紧上前趋拜，谨甚，不敢仰视。安禄山这才知道面前这位整天笑眯眯的瘦小子不好对付，连忙悚息，腰渐曲。而且，李林甫每次与安禄山谈话前，都预先侦知其内心隐情，早早把安禄山的心腹事点出来，禄山以为神明，从此以后，安禄山亲切地称李林甫为十郎。

有一段时间，安禄山为了解集团公司高层领导人的性格特征，经常派遣自己的手下以总部汇报工作的名义，暗地里打探高层领导人对他的印象。其中，安禄山最关心的人就是十郎李林甫的意见，每次必问：十郎何言？当听到李林甫说他表现好时，就扬扬得意，一旦听说李林甫对自己有微词，数九隆冬也会吓得满身大汗。《资治通鉴·旧唐书》明确记载：（禄山）每见林甫，虽盛冬亦汗洽。

对于安禄山这种缺乏教养、没有正规大学文凭的少数民族，李林甫把他们的矛盾定为人民内部矛盾。他的基本政策是实行又联合又斗争的总政策，一般情况下不会过分难为他们，在政治上实行团结批评团结的方针，利用矛盾，争取多数，孤立少数，各个击破是李林甫最基本的斗争策略，他因此而取得巨大的突破。

李适之既倒，张九龄被黜，看见朝廷如此多的栋梁之才被李林甫折腾得树倒猢狲散、七零八落，太子李亨急得浑身通汗，但束手无策。这时候，立了大功的边关大将皇甫惟明回朝受赏，他忧心国事，深恶李林甫的阴险狡诈，于是和太子李亨以及李亨的妹夫韦坚组成三人团，密谋除掉李林甫。但是谁也想不到韦坚有一个心腹叫杨慎矜，此公沉毅有材干，乃隋炀帝杨广的玄孙，有双重间谍身份，既是李林甫的亲信，也是打入太子集团的内鬼。他对韦坚的位置垂涎三尺，为了尽快把韦坚赶下台，杨慎矜把三人团聚会的时间、地点向李林甫秘密告发。李林甫早就有山雨欲来风满楼的感觉，就添油加醋地把三人团的密谋说成谋反。唐玄宗大为震怒，罢黜韦坚，将皇甫惟明逮捕下狱，给太子李亨以严重警告处分。李林甫心还不甘，准备连太子李亨一起解决，就严刑逼供韦坚，希望把太子李亨也拉下水。可太子李亨绝非等闲之辈，他沉毅勇为，不慌不忙地来个壮士断腕，他以情义不睦为由，请父皇准许他与韦氏离婚，表明自己决不以亲废法，废弃韦氏，洗清自己。李林甫一看，呀，这李亨还挺狡猾，就一不做二不休，瞄上了李亨另外一个爱妃杜氏的父亲，以贪污罪将杜氏的父亲逮捕下狱，但李亨韬光养晦的功夫实在一绝，他又来了个大义灭亲，主动废掉了杜妃，这下李林甫没有办法了，他总不能把唐玄宗的儿媳妇全部休掉，只好长叹一声，暂时罢手。这时候，朝廷的局势已经悄无声息地发生了变化。19年来，李林甫尽管殚精竭虑、一丝不苟地编织自己的天罗地网，但百密难免一疏，杂胡安禄山就是李林甫的漏网之鱼，另外，唐玄宗的小舅子杨国忠也算一条。他们都没有文化，符合李林甫重用的条件，但是，他们都凭借自己机敏的头脑和非凡的胆识，破土而出，据说两人已经开始自学《四书五经》和《论语》，安禄山还特别花重金聘请了家庭教师，杨国忠也不断请晚唐大学的学者为自己策划，他们的积极进取引起唐玄宗的关注。在李林甫的19年宦海生涯中，出于陷害打击异己的需要，李林甫曾蓄意豢养了一批酷吏，其中的精英人物有两个，一个是被唐玄宗评价为一不良人，朕不用也的吉温，另一个就是为吏深刻的罗希■。吉、罗两人审案，和文革中四人帮的打手一样，完全按照政治旨意行事，制造了许多冤假错案。凡是落入吉、罗两人之手的李林甫政敌，没有一个能逃脱厄运，所以时人称之为罗钳吉网。这两个人中，吉温是个识时务的俊杰，看见安禄山深受宠信，就准备反戈一击，他不嫌弃安禄山杂胡的民族身份，拐弯抹角、低三下四地叫安禄山为三哥。有一天，吉温直言不讳地对他三哥安禄山说：李林甫是不会提拔三哥您做丞相的，我整天为他忙前跑后，也得不到提拔。三哥，如果您把我推选给皇上，我和您联手，把李林甫这老浑蛋挤出朝廷，那您不就是丞相吗？《吕氏春秋》云"世易时移，变法宜矣"，嘿嘿嘿，多好啊！