杨广一行终于在突厥人的包围圈合拢之前，进入了长城。
虽然始毕可汗亲自率领大军前来围追堵截杨广，但杨广逃跑的速度实在太快了。过了逃命，杨广一行几乎丢掉了全部的物资，就连杨广本人也抛弃了他心爱的六和城。
隋军几乎是马不停蹄，拼命赶路，光是马匹都不知道跑死了多少。至于沿途掉队的宫女、内侍，甚至是官吏、眷属，更是不知道有多少。
不过杨广的好运也就到此为止了。
杨广一行刚进入恒安镇，突厥的军队也尾随而至。一日三惊的杨广匆匆留下雁门郡太守吕玉镇守恒安镇，阻挡追兵，便继续向南。
沿途杨广又先后在白狼塞（今山西省朔州市山阴县东北）、桑干镇（今山西省山阴县南）、楼烦关（今今山西省宁武县东北阳方口）等地留兵驻守，只为了迟滞突厥人进兵的速度。
不过并没有如杨广所愿。
吕玉虽然是个骁将，但手上并没有太多的兵力。
而且始毕可汗早就有心攻打恒安镇，遂在恒安镇预设了大批的内应。等到突厥人大举攻击，城中的内应便在城中制造混乱，同时攻击守城的隋军。
在内忧外患之下，很快城门告破。突厥人大举入关，吕玉不得已率军突围。
全军且战且退，突厥人穷追不舍，等到吕玉撤退到云内县（今山西省大同市）西南，为突厥军追上。吕玉力战而死，全军覆没。
始毕可汗乃以大将阿史那思摩为先锋，继续向南进击。杨广逃回雁门郡有些出了始毕可汗的预料，接下来容不得他们再出错。
阿史那思摩令突厥士兵换成隋军的俘虏，并和投降的隋军俘虏混在一起，假装恒安镇的溃兵，向白狼塞涌去。
白狼塞守军没有防备，只以为是掉队的隋军，遂打开城门，迎溃兵进城。
这些突厥人入城后暴起发难，占据城门，白狼塞遂下。
阿史那思摩主力继续向南，在桑干镇北遇到了朔州总管王仁恭统帅的朔州军。王仁恭也是个名将，能征善战，在一征高句丽时立得大功。但自黄明远北伐突厥之后，北疆之地，兵备废弛，兵员流失，原本的北地重镇朔州现在只有一万五千余人。
双方猝然相遇，隋军实力不足，王仁恭不敌，遂率部退回马邑郡治善阳县（今山西省朔州市），而桑干镇则被阿史那思摩趁势所取。
至此突厥人的前锋主力一路追着杨广銮驾打，打穿了整个代州、朔州的防线。
等到杨广一众撤入雁门郡治雁门城（今山西省代县），阿史那思摩也率军从小道绕过隋军在西径关一线的正面防御，出现在夏屋山（又名夏壶山、贾屋山、贾母山，在今山西省代县东北草垛山）的背后。
六月十二日，阿史那思摩在杨广逃入雁门城的第二日率军包围雁门城，杨广和整个大隋朝廷落入到突厥人的重重包围之中。
而于此同时，皇太孙杨佶率领后军进入崞县（今山西省原平市崞阳镇）。