张文远在晋阳一面胡萝卜，一面大棒，诛杀数百人，安定住整个太原郡。李渊的妹夫王裕最后也被处死，而其妹李氏，则被送往信都。
占领晋阳之后，张文远一面封锁攻占晋阳城的消息，一面准备继续领兵南下。而太原郡太守，则有黄明远的族叔黄沈担任（提前任命）。
黄沈今年五十三岁，原为易县令，黄明远平定河北之后，又担任赵郡郡丞，其女婿便是焦方威。
张文远乃留副总管辛文礼留守太原，帮着黄沈经营太原郡。
太原郡乃是河东第一大郡，辖十五个县，人口最盛时达十八万户。且此地在隋朝之后，直到北宋，都是叛乱兴起之地，于是黄明远听到攻破晋阳的消息之后，下令析太原郡东部七县为乐平郡，治于石艾（今山西省阳泉市平定县），以裴文肃为郡丞领郡事。
裴文肃乃是裴矩的侄子。
张文远和刘云芳则分兵两路南下，张文远率军进击西河郡，而刘云芳则向西进入离石郡。
离石郡原太守是杨广的族叔杨子崇。
杨子崇典卫出身，原来担任右侯卫将军，杨广北巡安北城时，杨子崇屡次劝请杨广早回京师。雁门之围后，恼羞成怒的杨广迁怒与杨子崇，于是以“子崇怯软，妄有陈请，惊动我众心，不可居爪牙之寄。”将他外放离石郡。
离石郡和旁边的延安郡，素来是稽胡的聚居地。
这些稽胡是匈奴别种，又称山胡、步落稽，源于南匈奴。史书记载这个民族贪而忍害，俗好淫秽。
稽胡自东汉时进入河东，已经成了河东、关北祸乱的重要源头。其部两次趁着中原王朝生乱建国，皆被攻灭。北周、北齐之时，更是多次生乱。包括名将韦孝宽、杨忠、豆卢宁、于谨、侯莫陈崇、李弼、宇文盛皆征讨过其部。
其最近的一次作乱是稽胡人参与到杨谅之叛，后被黄明远大肆屠杀。不过因为没有触及其根本，所以这些稽胡屡禁不止。历史上直到唐高宗时期，绥州（今陕西绥德）步落稽白铁余煽动百姓造反，攻占了城平县（今陕西清涧），自称光明圣皇帝，最后为王方翼（王裕之孙）剿灭，稽胡人才逐渐消失于历史之中。
天下生乱之后，先有延安郡的稽胡人刘迦论自称皇王，建元大世，与稽胡刘鹞子义军呼应。后刘迦论为屈突通击杀，屈突通斩杀胡军万余人，并虏老弱数万口，于上郡南山筑京观。而刘鹞子则溃逃入关中。
而在离石郡，刘龙儿自称天子，以其弟刘六儿为永安王，部众达数万，潘长文率兵讨伐，未能获胜。
之后这些稽胡的叛乱更大，新上任的太守杨子崇不得不上表请兵镇遏。杨广于是命杨子崇率兵镇压，杨子崇前后捕斩数千人。
李渊叛乱之后，诸胡之势更盛。杨子崇眼看郡内有稽胡，郡外又有李渊逆兵，难以抵御，便准备以朝集的名义，带着心腹数百人自孟门关（今山西省柳林县城西北孟门古镇）返回洛阳。
此时离石郡各县纷纷投降李渊，杨子崇前路断绝，难以前进，只得又返回郡治离石县，其部也多叛逃。
李渊派遣的大将石州总管张纶率军兵临城下，城中守军皆叛，而杨子崇也为乱兵所杀。
张纶占领离石郡，改离石郡为石州，以王俭为石州刺史，自引兵南下龙泉郡。
龙泉郡都尉李庆阳率部北上抵御，双方在蒲川水（今山西城川河）相持。