杨国忠在朝中的一系列举动，远在剑南的王源其实都一清二楚。秦国夫人写了好几封信给王源，将杨国忠的所为告知王源，希望王源能劝解杨国忠收敛一些。王源也确实给杨国忠写了信，劝解他不要如此激烈，也不要太过强势，应该心胸开阔，有容人之量。另外应该多想想办法做些功绩出来，这样才可服众，而不是靠权势威逼大臣们依附自己。
然而此时的杨国忠岂能听进入这样的话来，当即给王源回信斥责他不但不给予自己支持，反而在后面说这样的话。信中不但没有悔改之意，反而要求王源在清算李林甫的事情上上奏附议，要王源揭发李林甫在梨花诗会之后如何指使王鉷对王源进行追杀迫害的往事，借以证明李林甫妒贤嫉能凶残霸道的事实。
王源岂会去趟这样的浑水，回信婉言拒绝，表示军务繁忙无暇去管这样的事情。之后杨国忠再回一封信给王源，这回杨国忠大发雷霆，在信中历数自己对王源的眷顾，怪王源不知好歹，言辞之间恨不得指着鼻子骂王源忘恩负义。话语之中威胁王源说，他可以提携王源，也可以毁了王源，希望王源认清形势，不要以为曾经有功于自己便自以为是。
王源接到信之后喟然长叹。王源知道，杨国忠已经走上了不归路，这时候没有任何人能够劝得动他。王源也不想将杨国忠得罪的太狠，倒不是为了要逢迎他，而是剑南军和陇右军的建设需要大量的资源，而杨国忠正是这些资源的供给者。王源
王源写了封信给秦国夫人，将杨国忠的信附在其中。这么做的目的是告诉秦国夫人，自己已经无力劝说杨国忠收敛，而非自己不尽力。另外也告诉秦国夫人，杨国忠对自己已经非常不满了，暗示秦国夫人给予中间做些调和。起码不能让杨国忠一怒之下真的取消了对于剑南军和陇右军的大量物资的供给，那可是王源最不想看到的一幕。虽然这么做有些委曲求全，但王源愿意去委曲求全，因为他知道，现在就是同时间赛跑，每多一天，多一分资源，将来便可多一分保障。为了自己为了家人为了身边的所有人，王源宁愿去忍气吞声。
清算李林甫的事情告一段落，杨国忠达到了目的，朝野上下也对他敬畏胆寒。然而杨国忠并不满足，他知道自己还未能掌控全部的局面，别人不谈，光是那个安禄山便让他恨得牙痒痒。
这个安禄山在自己清算李林甫的过程中虽然一言不发，既没有上表阻止，也没有表示赞成。但杨国忠知道，一旦有机会，安禄山必会对自己进行反扑。而且此人一直受玄宗宠信，玄宗可以听自己的任何话，但唯独自己一提到安禄山，玄宗便皱眉呵斥自己，说自己不能容人，这叫杨国忠实在是生气。
上一次在削减安禄山的军费物资供给的事情上，其实自己也不能算是成功了的。虽然削减了一部分，但玄宗出面护着安禄山，还是没能达到完全削减军费的目的。这让杨国忠意识到，要想陛下对自己言听计从，必须要除了安禄山，否则如果哪一天陛下信了安禄山的话对自己不满，那么自己说拥有的一切便将烟消云散。
鉴于此，七月里，杨国忠开始计划扳倒安禄山的计谋。朝廷中消停了不到半个月，七月初十日，杨国忠指使言官拿出了一份指控，这份指控指责的是死去的李林甫和安禄山之间的一些交往的故事。历数安禄山和李林甫之间的一些交往密事，钱财往来，以及书信的往来。虽然没有具体什么肮脏的交易，但这份指控的用意在于表达已经被定性有谋逆之嫌的李林甫和手握重兵的安禄山之间有着肮脏的勾当，暗示玄宗，如果李林甫是意图谋逆之人，那么安禄山便是他的帮凶。
玄宗对此将信将疑，但不久后，杨国忠提供了确切的证据。查实李林甫的义子之中有一位名叫阿布思的东.突厥叛将。而此人在投降大唐后一度被李林甫调入京城入禁军任职。在李林甫死后，此人逃出京城重新叛唐归于突厥。证据显示，李林甫和这位阿布思之间多有密商，有在长安兴兵谋反之嫌疑。而这位阿布思和李林甫之所以能攀上交情，正是因为安禄山的从中介绍，所以以此推断，安禄山也必然知道这两人的图谋。
这个证据一提供，玄宗终于觉得此事甚是重大，因为若安禄山当真是李林甫意图谋逆的帮凶，那问题可就严重了。但好在玄宗毕竟没有老糊涂，他对此事持慎重态度，并未百分之百的相信。他严厉的命令杨国忠不许将此事扩散出去，他要亲自求证。
玄宗求证的方法很简单，他要召安禄山进京。如果安禄山确有图谋，那么李林甫意图谋逆的企图曝光之后，安禄山应该不敢回长安。若他抗旨不回长安，则说明他心中有鬼，若他敢回长安，则说明他和此事无关。玄宗以这种极为简单的方式来判断安禄山是否忠心于大唐，不得不说这种办法虽然简单，但却往往最为有效。起码玄宗是这么认为的。