李渊走出寝宫不过几步路，拐角处忽然钻出裴寂，打着哈哈道：“唐公，好巧啊，这么早不在温柔乡多待一会儿，急着去干什么？”
这裴寂其实早已等在寝宫外，里面的动静也听得一清二楚，见李渊要走，才装作碰巧遇见。
李渊心情糟透了，见到裴寂，一把扯住，疾呼裴寂表字，道：“玄真，你干的好事！你莫非是要害死我妈？”
裴寂堆着笑脸道：“唐公，你乃一代豪杰，为什么这般胆小？莫说收纳一两个宫眷这等小事，就是那大隋江山，只要唐公您愿意出手，也是唾手可得。”
又提这一茬，李渊急忙斥道：“你我都是杨氏臣子，为何说出如此大逆不道之言，这不是自惹灭门大祸吗？”
将宫女献给李渊，若是传到杨广耳中，裴寂也是要被灭门，所以他横下心，道：“叛逆之言算什么，昨夜唐公颠鸾倒凤之时可曾想过灭门大祸？”
“你……”李渊一时语塞，竟说不出话来。
裴寂忽然双膝跪地，一把鼻涕一把泪道：“唐公，并非我裴寂要逼你，实在是想为你着想，为你分忧。有道是‘识时务者为俊杰’，今主上失德无道，百姓穷困，各路反王已经开始逐鹿，即便是晋阳城，若非唐公镇守，只怕早已沦为战场。唐公你手握重兵，名声响彻宇内，又有天象预示，而令郎世民也已暗中储备将士、豪杰，何不乘机起义，吊民伐罪，经营帝业呢？”
李渊听后稍作沉思，嗫嚅道：“万万不可，我李家世受国恩，岂可变志？”扭头就走。
裴寂起身追上，要再劝说，忽然一名士兵飞奔入晋阳宫，报道：“突厥兵杀到马邑，两位副留守请留守大人速速回署发兵，截击外寇！”
听到此紧急军情，李渊哪里还顾得上裴寂，匆匆回到衙署，只见副留守王威、高君雅等人已经在那里等候。
王威、高君雅两人是杨广派来的，名为协助李渊，实则是监视其一举一动，因此李渊对自己的一言一行都非常小心，现在被裴寂这么一闹，搞得他有些心慌意乱。
好在他经验老道，沉得住气，回到衙署是面不改色，平静如常。
当下李渊与两名副留守共同商议后，决定派遣高君雅率领一万精兵，前去援助马邑。
李渊特别叮嘱道：“突厥优势在于骑兵和弓箭，机动性强，切记不可出城追击，只需坚守城池即可，你也要把我这话传达给王太守。“
高君雅唯唯诺诺，领命而去。
之后的日子，李渊不再去晋阳宫，裴寂派人来邀请，也是一律拒绝。
可是屋漏偏逢连夜雨，晋阳宫的事情已让他寝食难安，不料数日后，就传来了王仁恭、高君雅出战不利的消息。
之前的马邑之战，李渊主动出击大败突厥，让高君雅认为突厥骑兵不过尔尔，他只要打败突厥骑兵，就可以跟李渊掰掰手腕。加上他是杨广的亲信，到时只需夸赞自己，诋毁李渊，说不定还能代替成为李渊，成为太原留守。
大败的原因很简单，高君雅贪功，怂恿马邑郡守王仁恭一起出城攻击突厥骑兵，结果收获的是一场惨败。