在杨玄感阵营乱糟糟的情况下，他还不知道更大的威胁便要降临。平乱总指挥黄明远率领三万骑兵已经从辽东城一路驰奔两千多里，来到黎阳之地。
黄明远心知兵贵神速的道理，因此从东征大军中挑选精骑两万，和万余左武卫骑兵一同为先锋回援，而又令宇文述统领大军与其后。
大军到达临渝关（今河北省抚宁区东榆关镇）之后，黄明远立刻命人逮捕了镇守此地的葛公赵元淑。
赵元淑曾跟随杨素为将，后担任司农卿，第一次东征高句丽时兼任将军，负责宿卫，战后封爵为葛公。
第一次东征高句丽，因为萨水大败，大多数将领都被免职，被封爵的并没有几人，公爵更是只有赵元淑和李景。李景数立大功，得封公爵倒也可以理解，而赵元淑寸功未立，只是因为掌管宿卫，便封了公爵，甚至在杨达、段文振等人之上，众人满是不服。
杨广因为偏爱赵元淑而滥加封赏，也是之后各部将领不尽心作战的一个重要原因。
这一次杨广东征，又留赵元淑在临渝关为他把守后路。
临渝关勾连关内与辽西，乃是东征大军回中原的必经之路。黄明远进入临渝关后，便招来赵元淑问对。
赵元淑毫无防备，又企图巴结黄明远，便屁颠屁颠地来到黄明远军前。黄明远见到赵元淑，直接一声令下，身边亲卫便将其拿下。
黄明远又令人接防了临渝关。
赵元淑被众人制住，挣脱不得，还不知道黄明远为什么拿他。因此他满是不服地大声说道：“卫公这是做什么，我无过也。”
赵元淑虽然受缚，倒是还知道不能激怒黄明远，没敢说什么过分的话。
黄明远看着赵元淑，冷冷地说道：“葛公记性不好，怕是忘了你用小老婆招待的杨玄纵的事了。”
赵元淑闻之大惊，不知道黄明远如何知晓此事，一股凉气从肺腑而生。
杨玄感造反前招自己的弟弟杨玄纵、杨万项二人从辽东逃回，而杨玄纵路经临渝，被赵元淑认出。赵元淑不仅没有将杨玄纵拦截住，反而让小老婆魏氏出来会见杨玄纵，相对饮酒，极尽欢娱。虽说赵元淑没有和杨玄纵合谋造反，但他给杨玄纵很多东西钱财，也算是资助乱匪。
此事赵元淑还自嘴硬，强自辩白道：“卫公误矣，此其中必有误会。”
黄明远根本不想听赵元淑的解释，直接让人将他押了下去。这种货色，杨广竟然还封为公爵，真是不知所谓。
进入临渝关之后，黄明远马上命人将赵元淑的旧部清洗干净。
黄明远心中也是一阵后怕，也是赵元淑这个人想着左右逢源、首鼠两端。否则其占据临渝关，阻挡大军回返，结果实难预料。
杨广自三征高句丽之后仿佛就不会动脑子了一样，用的人就没有用对过，不是杨玄感、赵元淑、李渊、王世充、宇文化及这种逆贼，就是冯孝慈、刘子翊这些能力不足之人。几乎这些敌人都是杨广一手捧起来的，可谓眼瞎。
黄明远将临渝关交给后军之后，便继续赶路。
众人一路疾驰，黄明远沿途来不及修整，更是过幽州而不入，昼夜行军，每日急行军一百多里地。