五月二十日，也就是江都兵变之后的第十三日，宇文化及率江都小朝廷撤离江都城。撤离人员包括军队四万多人，以及六万多官吏、眷属、内侍、宫女、僧侣甚至是外族使节。至于物资，则是多不胜数。
为了运送这些人员和物品，宇文化及一共动用包括天子龙舟在内上千条船。这些船只从江都码头向北一字排开，几乎望不到头。
因为时间较急，而朝廷又没有合理地制定离开计划，从撤退开始，整个撤退便陷入一片无序之中。
先是宇文化及带着天子、萧后以及百官登船，这倒也算正常，毕竟要将天子安置在核心位置。
接着宇文化及便命令军队和携带的物资登船。
然后，就没有然后了。
所有的眷属、僧侣、内侍都是自行组织登船，别说安排登船路线，就连个登船顺序也没有。
于是大量的人员抢着登船，很快撤退秩序便开始混乱起来。
大街上、城门处、河道中，尽是争道之人。
人群拥挤，相互推嚷，鬼哭狼嚎，光是踩踏事故和落水事故，就发生了数百起。到处都是争执，到处都是哀嚎。
甚至有一些出不得城的官吏眷属，竟然命令家仆持棍棒开道。
后来，为了夺路和争船，众人就是持刀枪搏命了。
还有城中的无赖子，趁着朝廷大撤退的机会，伺机出来掳掠。这个时候，谁还管身份地位。一些没人护卫的家庭，直接就被抢掠了财货，甚至一些胆大的，连女人、小孩都公然抢夺。就连宫中的侍女，在撤退的途中，都不知道被掳掠了多少。
整个江都城中，几乎成了修罗场。
这场由撤退衍化的逃难，从一大早开始，到了傍晚也没有结束。船只走了一批又一批，可闹剧却像是没完没了一般。
不少人暗暗祈祷，幸好黄维扬没有杀过来，否则就得是大崩溃啊。
当然这些闹剧宇文化及是不知道的。他早在禁军主力护卫下，坐着又大又舒服的龙舟离开了。
当初杨广南下江都，嫌龙舟数量太少，于是又命人再打造三百艘巨大龙船。可惜船成之后，杨广却再也没有离开江都，这些龙舟现在都便宜了宇文化及。
众人向北，一路撤到高邮停歇。
在高邮，宇文智及又派人收拢了驻扎在此地的樊文超、张童儿二部。樊文超二部是杨广留在高邮看守北大门的，虽也是禁军，但跟江都禁军没太大牵扯。
宇文智及建议宇文化及厚封二人，而二人也因为天子已死，没了去处，遂投入宇文化及麾下。
多了两万多军队，宇文化及实力提升了一半，回关中的底气更足了。
收降樊文超和张童儿，高兴了宇文化及兄弟，但有人又不高兴了。
江都之乱，造反的是禁军，获得最大成果的却是宇文兄弟。虽然宇文兄弟掌握了政权，但宇文智及并不敢放松对禁军的警惕。
毕竟禁军可以反天子，也能反宇文家。
于是宇文智及建议兄长明升暗降，分了司马德戡和元礼的兵权。不过这只是治标不治本的手段，军中的兵权依旧掌握在二人部将手中，时刻威胁宇文化及的地位。