隆武六年春，隆武帝被楚军劫持到长沙，随即被秘密送往武昌，乘船顺江东下，前往南京。
与此同时，驻守湖广的文武大员比如章旷、李过、滕双林、袁宗第等人各自抽调精兵强将，赶到长沙迎驾，并且组成了一支超过五万人的大军，由谭啸统一指挥，准备迎头痛击侵入湖广的刘文秀，以及刘芳亮、党守素和贺珍。
刘芳亮和贺珍向南急退，和党守素汇合后，撤到湖南、广西和广东交界的三不管地带观望形势，这一带属于后世的江华瑶*族自治县和连山壮*族自治县，都是少数民族聚居的山区，穷山恶水，道路难行，楚军和西军一时顾不上理会他们，何吾驺和陈子壮等人又协调广东方面，送来了一批虽然数量不多，但是暂解燃眉之急的粮食，暂时安顿下来。
在闯营众将里，刘芳亮、党守素和贺珍都是可以独当一面的大将，心气也是最高，否则当初也不会离开湖广扯旗单干，比如党守素当年就是闯王老八队的元老宿将，大顺时期镇守兰州，在西北一带威名远扬，有他们三个驻扎在此，广东就多了一道稳固的屏障，所以两广总督苏观生得知情况后，又派人送来一批钱粮以示拉拢，暗中却严令自己的部队严守南岭各个关口，不放这些流寇进入广东一步。
何吾驺、陈子壮等隆武朝廷的流亡官员，大部分都在刘芳亮军中，这些往日里位高权重的朝廷要员，此刻却寄人篱下，凄凄惨惨戚戚，其中意志消沉的终日买醉，信念坚定的还想东山再起，陈子壮和何吾驺等人联名给苏观生写了几封亲笔信，请他前来连山共商国事，或者他们去广州也行，但是苏观生一再找借口推诿，今天军务繁忙，明天突染急病，既不肯来连山，也不让何吾驺他们去广州。
除了苏观生，还有万元吉，万元吉这个赣闽总督拥有江西南部和福建西部，比苏观生的地盘只大不小，又是铁杆的帝党大臣，陈子壮和何吾驺都对万元吉寄予厚望，可是他比苏观生还过分，连续几次派人前去赣州求助，只换回一封不疼不痒的回信，万元吉自称正在调兵遣将，只要得知隆武帝的下落，就亲自率军勤王，到时再请元辅和阁老大力襄助云云。
人心散了！
何吾驺和陈子壮既痛心又无奈，隆武帝这面大旗一倒，再没有一个可以服众的领袖，南党和帝党的联盟也到了分裂的边缘，万元吉、苏观生这些封疆大吏各打各的小算盘。何吾驺和陈子壮都是南党领袖，苏观生多少还给几分面子，帝党领袖汤来贺被楚军抓走，万元吉就一兵一卒甚至一个铜板都不给，敷衍的回信毫无诚意，甚至隐隐有挑衅的意味——都到了这个地步，你们还要指手画脚么？我就是瞪着眼睛说瞎话敷衍你们，你们敢翻脸么？
“这帮老狐狸，是在观望形势啊。”何吾驺喟然长叹。
隆武帝被楚军劫走，这个时候立刻竖起勤王讨逆的义旗，与楚军全面开战，才是忠臣孝子的唯一选择，但是楚军过于强大，苏观生和万元吉都不敢以卵击石，所以干脆不和何吾驺、陈子壮等人见面，他们两个家大业大的顾虑太多，何吾驺和陈子壮却已经输掉一切，万一道德绑架让他们和楚军开战，各种大义名分的大帽子扣下来，苏观生和万元吉都是名满天下的气节名臣，到时候又该何以自辨？
现在这个形势，多做多错，不做不错，苏观生和万元吉不敢和楚军开战，只能像鸵鸟一样把脑袋埋进沙堆，期待着奇迹的出现。在他们内心深处，还藏着一个大逆不道的念头，不能告诉任何人——隆武帝如果崩于乱军之中，也找不到太子的下落，他们就可以名正言顺的拥立唐王，哪怕与楚军为敌也在所不惜。
如果，隆武帝真的去了南京，大家该何去何从，谁都不知道。
呆在刘芳亮军中的众多文武官员，有些心思活络的，已经开始暗中打听楚勋集团的内情，打听江南降人的近况。
人总得朝前看，如果一切都无可挽回，那也可以去南京嘛，天子处境险恶，身边更需要忠臣继续和楚勋奸党作斗争。听说钱谦益这个名声狼藉的“三朝老臣”混得不错，可见汪克凡虽然是一时枭雄，却也有枭雄的容人雅量，纵然政治立场不同，大家前去南京为官，想来也不会遭到太过分的刁难。
这些动摇派的论调很有市场，在连山迅速传播，已经有人开始鼓吹和楚军谈和，以至刘芳亮找上门来，对何吾驺、陈子壮提出严重警告，如果这些人继续传播类似言论，扰乱军心民心，就别怪我不客气，该抓的抓，该杀的杀，一个都不放过。
面对杀气腾腾的威胁，动摇派立刻闭上嘴巴，和楚逆死战到底的声音又喧嚣至上，刘芳亮对此颇为不屑，几次对贺珍和党守素吐槽。