每天，铁纲靖和李世民站在北城楼翘首以盼使者的归来，等到第七日下午，终于等来了使者。
此前来祝贺的官僚齐聚到公廨，指望从李渊口中听到好消息。
李渊打开书信，怔怔不语，良久才发出一声叹息，将书信递给裴寂，让大家传递看看，然后道：“没想到突厥竟然要陷我于不忠，只是我作为人臣，必须尽忠。主忧臣辱，我等举义兵，是要拥戴王室，岂能自署大名，目无君主，那就成了乱臣贼子，不再是为了尊隋而举义了。”
铁纲靖听了直皱眉头，起兵不就是为了当皇帝么，这会儿口是心非，太虚伪了吧？
又听李渊说道：“老夫本来考虑起兵之后，为了防止突厥南侵，所以委屈求全向其求和，以安定其心。没想到突厥的回信，确实逼迫我造反。若不依从突厥的条件，只怕只能与之绝交了。”
书信传到铁纲靖手上，他大致浏览了一下，只见最后写道：“唐公若是依从我所说的，请立即加急回报，我会即刻派遣达官带兵相助。”
现场众官僚见李渊言辞凌厉，面色凛然，没有人敢恣意劝谏，最后众人是怏怏不乐地散去。
铁纲靖本来想说：“你反正是要当皇帝，现在顺了突厥的意岂不是解了后顾之忧。”
只是见众人都不吭声，他张了张嘴，最终还是闭上。他清楚自己的话在李渊等人的眼中没有分量，所以懒得去自讨没趣。
却说扎营在兴国寺的将士们，听闻李渊没有依从突厥的请求，私下纷纷议论道：“唐公若是不依从突厥，我们也不能依从唐公。”
裴寂、刘文静等人听到这些议论，担心军心不稳，赶紧汇报给李渊。
李渊听后，正色道：“你们和我都是隋臣，大家一起共事，你们却以此来劝我，臣节在哪里？”
到底裴寂与李渊交情深厚，不怕被骂，大着胆子劝道：“假使伊尹和吕尚坚持愚忠，效力于夏桀、商纣，则成不了商汤、周武王的贤相、尚父了。我等改志事君，不敢拘于小节。况且如今将士聚集，就等唐公发号施令，若是拖延下去，只怕军心混乱。”
刘文静也道：“士兵已有了，缺乏的唯有战马。突厥士兵并不是我们急需的，但是对战马我们是求之若渴。唐公若是再迟疑不决，只恐；突厥突然反悔，不肯相助，到时失去了良机，后悔也来不及了。”
但李渊态度坚决，道：“做事情不效仿古人，鲜有能成功地，各位宜三思而后行，再做谋划。”
刘文静、裴寂无奈之下，只能各自回去。
别院中的铁纲靖听刘文静把情况一说，也不满道：“大丈夫成大事不拘小节，应当机立断，没想到李渊做事如此畏首畏尾，实在是令人大失所望。”先前对李渊的崇敬在这一刻全部抹杀得一点不剩。
到了六月初，李建成、李元吉等家眷统统从河东赶到晋阳与李渊团聚。当时李渊的原配窦氏已去世，所有家眷在李渊的妾万氏带领下，一同前来拜见李渊，连女婿柴绍也一并随同入见。
一家团圆聚首，相谈甚欢，只是万氏的儿子智云在途中失散，生死未卜，使得欢聚中带了三分悲悼。
李渊问及柴绍如何一同到来，柴绍答道：“小婿本来寄寓长安，备官千牛。只因得到二舅兄的密函，催促小婿到此，小婿所以奉召前来。途中恰巧遇到岳父家的眷属，幸得同行。”
李渊不等他说完，急忙问道：“我那女儿可曾同来？”
听到柴绍说没有，李渊回头对李世民说：“你既召你姐夫，为何你不把你姐姐一同邀回来？”
柴绍从旁代为回答：“岳丈大人，令嫒说不便同行，她告诉我自有妙计脱身，让我们不用担忧。”
李渊又道：“这也就罢了，只是我那小子智云，年仅十余岁，此次走散，不知何时才能知道下落。”