战神李玄霸言道：“父皇并赐皇太子及诸王各一部，京官三品以上，欲写者亦听，可见事情发生的不是偶然，我李玄霸深知，这事情一定有蹊跷！”
李渊晚年宠幸的嫔妃很多，生了滕王李元婴等近二十位小皇子，他们的母亲争相交结各位年长的皇子来巩固自己的地位。李建成和李元吉都曲意侍奉各位妃嫔，奉承献媚、贿赂、馈赠，无所不用，以求得皇帝的宠爱。
也有人说他们与张婕妤、尹德妃私通乱伦，宫禁幽深神秘，此事无从证实。当时，太子东宫、各王公、妃主之家以及后宫妃嫔的亲属，在长安横行霸道，为非作歹，而主管部门却不敢追究。
秦李世民住在承乾殿，元吉住在武德殿后院，他们的住处与皇帝寝宫、太子东宫之间日夜通行，不再有所限制。太子与秦、齐二王出入皇帝寝宫，均乘马、携带刀弓杂物，彼此相遇只按家人行礼。
太子所下达的令，秦、齐二王所下达的教和皇帝的诏敕并行，有关部门不知该听哪个的命令，只有按照收到的先后为准。李世民不去讨好诸位妃嫔，所以嫔妃们很生气，争相称赞李建成、李元吉而诋毁李世民。
李世民平定盘踞在洛阳的王世充以后，高祖让贵妃等几人到洛阳挑选隋朝宫女和收取仓库里的珍宝。贵妃等人私下向李世民索要宝物并为自己的亲戚求官。
李世民回答道：“宝物都已经登记在册上报朝廷了，官位应当授予贤德有才能和有功劳的人。”没有答应她们的任何要求，因此妃嫔们更加恨他。李世民因为淮安王李神通有功，拨给他几十顷田地。张婕妤的父亲通过张婕妤向高祖请求要这些田，高祖手写敕令将这些田赐给他，李神通因为秦王的教令在先，不让田。
张婕妤向高祖告状道：“陛下敕赐给我父亲的田地，被秦王夺去了给了李神通。”高祖因此发怒，责备李世民说：“难道我的手敕不如你的教令吗？”
过了些天，高祖对左仆射裴寂说：“这孩子长期在外掌握军队，受书生们教唆，已经不再是原来的那个儿子了。”尹德妃的父亲尹阿鼠骄横跋扈，秦王府的官员杜如晦经过他的门前，尹阿鼠的几名家僮把杜如晦拽下马，揍了他一顿并打断了他一根手指，说道：“你是什么人，胆敢过我的门前不下马！”
尹阿鼠怕世民告诉皇帝，先让尹德妃对皇帝说：“秦王的亲信欺侮我家人。”高祖又生气地责备李世民说：“我的妃嫔家都受你身边的人欺凌，何况是小老百姓！”世民反复为自己辩解，但高祖始终不相信他。
李世民每次在宫中侍奉高祖宴饮，面对诸位妃嫔，想起母亲太穆皇后死得早，没能看到高祖拥有天下，有时不免叹气流泪。
高祖看到后很不高兴。各位妃嫔趁机暗中一同诋毁李世民道：“天下幸好平安无事，陛下年寿已高，只适合娱乐娱乐，而秦王总是一个人流泪，这实际上是憎恨我们，陛下作古后，我们母子必定不为秦王所容，会被杀得一个不留！”
因此相互对着流泪，并且说：“皇太子仁爱孝顺，陛下将我们托付给太子，必然能获得保全。”高祖也为此很伤心。从此高祖打消了改立太子的念头，对世民逐渐疏远，而对李建成、李元吉却日益亲密了。
太子中允王圭、太子洗马魏徵劝说太子道：“秦王功盖天下，内外归心；而殿下不过是因为年长才被立为太子，没有大功可以镇服天下。现在刘黑闼的兵力分散逃亡之后，剩下不足一万人，又缺乏粮食物资，如果用大军进逼，势如摧枯拉朽，殿下应当亲自去攻打以获得功劳名望，趁机结交山东的豪杰，也许就可以保住自己的地位了。”
太子于是向高祖请求带兵出征，高祖答应了。武德五年十一月初七甲申日，高祖下诏命太子李建成带兵讨伐刘黑闼，陕东道大行台及山东道行军元帅、黄河以南、以北各州均受建成处置，他有权随机行事。
齐王李元吉劝说太子李建成趁早除去秦王世民，他说：“我自当替哥哥亲手将他杀掉！”李世民随从高祖前往元吉的府第，元吉命令护军宇文宝埋伏在寝室里，准备刺杀世民。李建成生性颇为仁爱宽厚，连忙制止了他。李元吉恼怒地说：“我这是为哥哥着想，对我自己有什么好处！”