最后终究还是樊子盖被张方翼说服了。
张方翼认为朝廷的各路援军都在路上，用不了多久便会赶到洛阳城周围，到时候杨玄感必败无疑。没有必要孤注一掷，置洛阳城于陷阱。
樊子盖遂决定坚守，他命左翊卫将军段达率军守卫北门，张方翼率军守卫南门，而右侯卫将军冯孝慈率军守卫西门，樊子盖自引兵镇守东门。樊子盖虽然是文官出身，但是曾以仪同身份统领乡兵，又担任过循州总管，长期镇守岭南，多赴戎机，因此也很擅长统兵。
樊子盖信不过朝中诸人，因此能用的人并不多。三将之中，段达是天子潜邸时的亲信，冯孝慈是杨广屡屡超擢的将领，张方翼是黄明远的亲姊夫，勉强可用。
此时城外的杨玄感屡屡劝降城中，虽城中有不少人与之私通，但他仍旧无法和平破城。眼看时间紧迫，他因此决定进行强攻。
杨玄感为了扫清洛阳城外围，便分兵五千人占据慈硐道（在今河南洛阳西），又命五千人把守伊阙道（在今河南洛阳南），派开国元勋韩擒虎之子韩世谔率三千人包围荥阳（在今河南荥阳东北），大将顾觉率五千人攻取虎牢（在今河南荥阳西北汜水镇西）。
韩擒虎早死，韩世谔继承爵位，后担任凉州总管。不过杨广讨厌他，因此免了他的职务。大业三年之后，韩世谔连父亲传下来的寿光县公的爵位也丢了，这一次跟随杨玄感造反，正是为了复仇。
连韩世谔这种大隋的官二代都纷纷投奔杨玄感，可见杨广有多么不得人心了。
杨玄感又命其弟杨玄挺继续围攻金墉城，命其弟杨积善率领攻打北门，大将王伯仲率军攻打南门，大将赵怀义攻打西门，而自引兵攻打东门。
杨玄感虽然人多势众，但军中三教九流，老老少少，各种人都有。整个大营之中，乌压压一片，跟菜市场一样，哪里能够打仗。而这些人又都是主动投奔，杨玄感还不能对其苛刻了。
忍了这些人几日，杨玄感实在忍不了了。这是军队，要死人的，不是过家家。杨玄感便命人从众人之中挑选精壮，组建军队，得军五万。
有了这五万兵力，杨玄感实力大增，终于可是发动攻击。
以前的时候，杨玄感也不觉得洛阳城有什么好的，赶紧跟大兴城比差的远了，可是到了今日，是他要攻打这座城池，杨玄感才发现，这城池真高峻啊。
洛阳外围城墙不是砖土或者是夯土，而是真正的条石。黄明远从济北郡、弘农郡等地开凿了无数的巨石，然后通过黄河运到洛阳，再利用塔吊将这些条石一块一块垒成城墙。条石之间也有上好的黄泥封的死死的，坚不可摧。这种城池，除了后世的混凝土，也没有可比的了。而是使用寿命极长，即使以后洛阳城内被焚毁了，也不会影响到外城墙。
以往这种大城的设计是文臣和工匠，虽然壮观大气，但有时候防御功能并不突出。而洛阳城的设计却是黄明远。黄明远很清楚隋末洛阳城数次大战，为了军事防御，更是将洛阳城墙外侧设计成斜面，并在城池四角各建设处圆形碉堡。而且为了加强城门处的防御，还设置了两侧瓮城以及藏兵洞，这些都大大增加了攻打洛阳城的难度。
城中本有军队、衙役等五万余人，樊子盖又命人招募城中精壮守城。洛阳城内有人口近百万，樊子盖得兵数万，全都布置到城墙之上。
此时杨玄感在城池之下望着城头上的隋军，密密麻麻，一个接一个，根本望不到头。他心中惊惧城内守军竟然有如此之多。
隋军在城头上对叛军不断谩骂、挑衅，反倒是士气涨了上来。