李渊在诛杀王威、高君雅之后，在太原郡招兵买马了两旬，得兵数万，亦完成了造反准备，终于决定扯旗了。
十一月五日，李渊在晋阳城设起义堂（亦称号令堂），将军队分为三军，统称“义士”。裴寂等尊称李渊为“大将军”。
十一日，李渊在晋阳城建大将军府，自称唐公，以长子李建成为陇西公、左领军大都督，统率左军；以次子李世民为敦煌公、右领军大都督，统率右军；以四子李元吉为姑臧公，统率中军。以裴寂为大将军府长史，刘文静为司马，殷开山为掾，刘政会为属，长孙顺德、王长谐、姜宝谊、杨屯、刘弘基、窦琮为左右统军、副统军。
至此，李渊完全打响了造反的号角。
不过李渊听闻黄明远已经率军征讨刘武周的叛乱，心中担忧。他知道留给自己的时间不多，务必要尽快西进关中。
十一月十五日，李渊在晋阳宫城东的乾阳门街军门前竖旗誓师，誓文中历数了隋炀帝杨广的种种罪恶，宣布要“兴甲晋阳，奉尊代邸，扫定咸洛，集宁寓县”。并任命四子李元吉为镇北将军、太原郡守，让其留守晋阳城，并以窦抗第三子窦诞、大将军府属刘政会、镇北将军府长史宇文歆等人留守晋阳。
晋阳城坚，且粮储丰富。李渊留兵两万，并组织青壮万余人守备，就是为了给他南下争取更多的时间。
甚至为了安定军心，他把十三岁的儿子李元吉都留在了晋阳城内。
但这些人都是消耗品，若是能守住晋阳城最好，若是守不住，也没有办法，只能尽可能地争取时间。
十六日，李渊亲率长子李建成、次子李世民及甲士四万人自太原郡挥兵南下，直指关中。
唐军进军迅速，十六日起兵，到了二十一日便攻破了西河郡，郡司法书佐朱知瑾等人投降，唐军生俘西河郡丞高德儒。高德儒不降，被李渊下令诛杀。
二十五日，唐军兵至贾胡堡，距霍邑五十余里。在这里，他们遇到了第一个拦路虎大隋虎牙郎将宋老生。
霍邑是雀鼠谷的南头，地形险要。
宋老生屯兵六千，驻守此地，据险而守。
此时寒冬已至，到了二十八日，终于降下了今年冬天的第一场大雪。寒风呼啸，雪花纷飞。
唐军冒着大雪，沿小路赶到霍邑城下。
唐军叫阵，宋老生也不是傻子，这种情况下，只要守住霍邑，唐军必然会因为严寒而不得不撤退，又何须出战。
因此宋老生命麾下紧守不出。
李渊命刘弘基上前挑战，可还没到城前，便被一群箭雨逼退。刘弘基不得不狼狈退回。不过刘弘基也有办法，他在军中找了十多个嗓门大的，对着霍邑城头叫骂，什么污言秽语都有，把个守军气的七窍生烟。
不过宋老生看出了这是诱敌之计，任凭唐军骂破大天，他也不搭理。
唐军骂了一天，口干舌燥，一无所获。
眼看诱不出对方，李渊乃下令强攻。但是效果出人意料，这么大的雪，城墙上尽皆冰冻，士兵根本无法攀越，攻城数日，却是损失惨重。
造反之事，一鼓作气，再而衰，三而竭。刚开始的时候，大家都斗志昂扬，期盼着造反成功，加官进爵，封妻荫子，但现在进展不顺，不少人激情退去，开始恐惧。