黄明远被任命为河北道行台尚书令之后，立刻着手建立行台。实际上黄明远已经有大将军幕府，二者有很大的重合性，
黄明远于是表九原郡太守李子孝为行台尚书左丞兼领吏曹侍郎；
涿郡太守陈远兼领行台尚书右丞；
原幽州总管府司马温彦博为礼曹侍郎；
大将军幕府长史夏安恂兼领行台民曹侍郎；
大将军幕府司马张季珣兼领台兵曹侍郎；
刑部比部郎陈孝意为刑曹侍郎；
宗室杨师道为工曹侍郎。
行台尚书令的两个副手行台尚书左右仆射杨义臣、李景二人皆是在统兵剿匪，行台真正的负责人是尚书左右丞，而以李子孝、陈远分领二职，行台便完全为黄明远掌握。
实际上在尚书左仆射之下，还有正三品的行台诸曹尚书，这才是行台的超规模设置标准。但黄明远以“身领行台，已经万分惶恐，若行台再如尚书省一般设置六曹尚书，则战战兢兢，更不敢领之。”坚决请辞。
杨广也拗不过黄明远，这时裴蕴提议，行台仍设六曹，但不置尚书，只以侍郎领之。如此既不误事，也比尚书省的规格低了一筹。
黄明远这才勉强同意。
黄明远不愿设六曹尚书，树大招风这些影响还是小事，主要是他身边亲信，能担任者太少。若设此职，则六曹势必为朝中重臣分领，则行台将多了一群掣肘之人。黄明远可不愿平乱之前，先费一番功夫去和这群人争权。
现在六曹侍郎，职务低了一重，但权利不减一分。李子孝、夏安恂、张季珣各兼领一曹，再加上温彦博和陈孝意，也只有杨师道算得上天子的一颗钉子。但他身处最末的工曹，对于大事实在是无能为力。
行台既设，六曹分立，下面的属官则从各地抽调，基本上以丰州和辽东、幽州出身的属吏为主。
黄明远又以剿匪的名义，从京中各馆阁中，调出了大批的舆图、律令、图书、民册等。
九月五日，黄明远辞别天子，率行台官吏北上。
此次北上，黄明远的家属依旧是留在洛阳。本来黄明远想带上裴淑宁，这几年夫妻聚少离多，裴淑宁吃了很多苦。但因为身领行台的原因，裴矩等人皆劝黄明远将裴淑宁留下，虽说如此实际意义不大，但毕竟也是对天子、对朝廷的一个态度。
黄明远有些犹豫。
裴淑宁知道后，也坚决表示要留下，她不希望使丈夫为难。而且她和太子妃崔氏的关系很好，与皇后萧氏等人也能说得进去话，虽说帮不了丈夫大忙，但至少也能帮丈夫疏通一下后官关系，勿使得丈夫受到口舌之伤。
黄明远只得同意，都识得大体，就自己喜欢感情用事。现在一家老小都在洛阳，接下来形势不明，着实令人担心。
临别之前，黄明远再三叮嘱裴淑宁，无论如何不要跟着天子南下江都，就老老实实地待在洛阳，哪也不要去。
南下江都，长子维扬、次子维烈二人定然是避免不了，但裴淑宁可以。到时候就是想办法生场大病，也必须留下。虽然裴淑宁不知道丈夫为什么如此郑重其事，但还是点头应下。
洛阳的敌人在外，江都的敌人在内，相比较而言，还是洛阳更安全。而且江都还有一番腥风血雨，若非不得已，黄明远如何愿意两个儿子跟着杨广前去江都。
黄明远离开洛阳的时候，下了一场淅淅沥沥地秋雨。
天气清寒，街道上行人也不多。
因为下雨的关系，杨广不得不取消了欢送黄明远的仪式，黄明远只在宫中拜别了天子，便要离开。
杨广为了表示对黄明远的尊重，又命皇太孙杨佶亲自送黄明远于城外。