杨玄感不管李密的感受，他要开始向洛阳进军了。
杨玄感再是少经战阵，但毕竟跟在杨素身边耳濡目染，又曾主政一方，也知晓他现在的境遇。若是手底下都是黄明远那种丰州铁骑，千里突袭，纵横驰奔，他什么不敢干，靠手底下这群没经历过战阵的部队和一群农夫，还千里突袭，走一百里不散伙就算他运气好，他突袭个屁。
目前的杨玄感还不是李密这种纸上谈兵的人可比的，当然李密天赋更高，通过这场叛乱军事技能很快升级，还侥幸没有死，最终成为一代枭雄，又是后话。
誓师之后，杨玄感几乎集中了全部主力往洛阳进发，至于黎阳，对他来说守不守都没有太大意义。攻不下洛阳，一切都是虚的。
将黎阳交给元务本留守之后，杨玄感率部从水路沿着永济渠进军。
同时杨玄感又令其弟杨玄挺率领本部兵马为偏师，直袭河内郡。杨玄挺率领三千人马，轻车简从，一路直逼河内郡治河内县城（今河南省沁阳市），然后被杨玄感任命的怀州（河内郡）刺史唐祎挡到了城下。
唐祎是杨玄感的好友，也是杨家旧臣，官居河内郡主簿，为押运粮草到的黎阳。杨玄感作乱，也叫上了这位昔日好友。唐祎虽然官职不高，但人却不傻，大家关系好归关系好，可他也不能拿着家族的命运去跟着杨玄感造反啊。
尤其是他怎么看都不觉得杨玄感能够成功。
这唐祎也是个聪明的，至少比游元看起来强的多。唐祎很清楚，如今他落在杨玄感手上，生死全不由己。他若是宁死不从，虽然可能得个重臣的名头，亦只不过途增杨玄感刀下的一条亡魂，但是活着，却能做更多。
唐祎出身不高，年轻时当过县吏，后来又在杨素军中做过小吏，是一路摸爬滚打才走到今天，因此他脑筋也更灵活，胆子也大，什么事都敢想敢干。唐祎决定假意归顺杨玄感，然后趁机逃脱，前往洛阳报信。若是能成功，他这辈子转运之机便指日可待了。
杨玄感把唐祎当兄弟，却不知道唐祎已经把他当做升迁路上的踏脚石了。杨玄感为兄弟两肋插刀，唐祎要插兄弟两刀。
唐祎假意归顺杨玄感之后，便积极献言献策，讨得杨玄感欢心。杨玄感此时也无人可用，眼看唐祎如此忠心，他遂任命唐祎为怀州刺史。
唐祎在一众造反人员中活跃的很，黎阳仓既下，他又自云对河内的情况很是熟悉，因此请命前往怀州，替杨玄感为先驱，攻下怀州，威胁洛阳。
杨玄感大喜，唐祎虽然官不大，但在河内郡为官多年，盘根错节，实力很强。他因此乃给唐祎一千人马，令其西进。
这一千人马，多是黎阳仓的守军出身。除了统帅是杨玄感的心腹，底下的将领不少都算不上杨玄感的人，只是上层官员尽数被杀之后，无奈被裹胁。
杨玄感虽然清理了军中上官政的心腹，但也来不及处置底下的校尉、队正等人。
众人大多并不愿意跟随杨玄感谋反，因此多有出工不出力的。唐祎久在基层，擅长拉拢人心，眼看不少校尉都心思各异，因此积极拉拢这些人，为其所用。
唐祎到了修武县（今河南焦作市修武县）之后，立刻准备反水。
他先是假意请杨玄感派来佐助他的将领吃酒，然后将其灌醉杀害。之后唐祎在军中其他几个不愿附逆的将领的帮助下，夺了全军，宣布反正。