杨玄感思虑再三，他决定采用下策。他对李密这样说:你说攻打洛阳是下策，在我看来这个偏偏是上策。隋炀帝此时正在东征，他手下的那些文武百官的家人可都在东都洛阳，一旦咱们拿下洛阳，就可以把这些人全变为人质。那样的话，隋炀帝那边的军心就会动摇。换句话说，如果我们连近在咫尺的东都洛阳都拿不下来的话，那我们还有什么威风可言，谁还会再愿意跟着我们去打别处，所以说我们必须先打洛阳……
计谋一定，杨玄感便把手下的士兵分为两路，就直奔洛阳去了。第一路由他的弟弟杨积善率领，一共是三千人，从偃师沿着洛水向西推进，直逼洛阳。第二路由他的另一个弟弟杨玄挺率领，一共是一千多精兵，从北邙山直奔洛阳，也就是从北向南推进。另外杨玄感本人还亲率三千军马，他就直接跟在杨玄挺的后面，作为杨玄挺的后援军团。
杨玄感这边的兵员不是船夫就是抓来的市民，都没有接受过任何的军事训练，根本就没打过仗。并且他们的装备也不行，每个人就是一片单刀，和一个用柳条做的盾牌，更没有盔甲护体，可以说这支队伍跟土匪强不到哪里去。
隋炀帝东征之前，让他的孙子越王杨侗驻守东都洛阳，那时候越王还只是个十岁的孩子，所以真正在东都洛阳主持工作的是民部尚书樊子盖。他看到杨玄感这边是兵分两路来袭，也便派出了两路大军来迎战了，他首先派河南县令达奚善意率领五千精兵抵挡杨积善，然后再派河南赞治裴弘策，率领八千精兵抵挡杨玄挺。樊子盖他们派出的可全都是正规军，并且他们在人数上也占优势，按道理说这场仗对樊子盖有利。
事实上根本就不是这么回事儿，达奚善意这边儿对付的是杨积善，他这边儿看到杨积善率领的三千精兵来了，而且来的是气势汹汹，达奚善意这边儿居然是不战而逃了，并且是丢盔弃甲、狼狈不堪的逃，武器、铠甲全丢了一地。杨玄感这边儿正缺少装备，所以马上就把它全接收过来，给自己武装上了。
裴弘策那边对付的是杨玄挺，他可是八千精兵，这就不能再跑了，不跑了就把官军的脸面给丢尽了。两军一交战，裴弘策这边竟然也没打赢，并且还复制了达奚如意那边儿的战况，他们这支部队也是丢盔弃甲的逃跑。杨玄挺的部队也是不追，先捡地上的装备，把自己武装起来。就在杨玄挺的士兵捡装备的时候，裴弘策就把他的那些散卒又给收拢到一起，排成了一个战阵。离杨玄挺的士兵大概有三四里地远的地方站稳脚跟，打算来个以逸待劳。杨玄挺率领着刚刚武装起来的士兵追上去了，一看人家那里已经排成战阵。杨玄挺就先让士兵原地休息，坐在那里待着，裴弘策那边就虎视眈眈盯着他们。杨玄挺这边儿休息的时间还挺长。眼看他休息来休息去，裴弘策那边儿盯着这边儿的士兵是越来越疲劳，越来越不耐烦，也就越来越松懈。等他们松懈到一定程度的时候，杨玄挺便大喝一声，带领士兵就往前冲。杨玄挺这边儿一冲过去，裴弘策这边儿是没有任何思想准备，就连连败退，一路就退到了洛阳城东面的城门太阳门那里。裴弘策带着十几个亲信骑兵冲进城了，剩下的七千多士兵就全投降杨玄感这边儿了。
现在回看这两场战争，隋朝这边儿的兵源充足，装备也精良，他怎么就打不过杨玄感呢？其实道理很简单，两边儿的士气不一样，杨玄感这边儿是造反的，他手下的人可都对隋炀帝是满腔怒火，他们造反既是救人也是自救，所以他们都是真敢玩儿命。而官军这边儿其实对隋炀帝的政策也是不满意的，他们内心真实的想法，跟义军也是差不多，所以他们干脆就无心打仗，那这样一来，杨玄感这儿可就是顺意民心了，所以他才能旗开得胜。
杨玄感一包围洛阳，隋朝的好多关陇子弟也就都加入义军队伍了。这可都是拜东都留守主管樊子盖的功劳，因为樊子盖他是庐州人，也就是现在的安徽合肥。因为他曾经参加过平陈战争，是立过战功的，他长期担任凉州刺史，在职期间以清廉著称，个人能力很强，隋炀帝也很喜欢他。大业六年他到江都朝拜隋炀帝，隋炀帝就赐给他米面六千石，让他到老家祭祖，这可是给他莫大的荣耀，所以他对隋炀帝也是感恩戴德。当隋炀帝让他留守洛阳辅佐杨侗，他也是一心一意要为朝廷出力，可是以前东都的那些官员不听他的。他们都认为樊子盖出身很低，又长期在地方上任职，他有什么资格在这些元老面前指手画脚。特别这次打败仗的裴弘策就不愿听他的，因为他俩的官级是平等的，以前上朝的时候都是在同一排站着，他就不愿听樊子盖的调度。再加上这次吃了败仗，他就对杨玄感这次队伍产生了怯意，樊子盖又让他出征继续去打杨玄感，他这次可是说啥都不干了，直接就撂挑子了。
樊子盖这个时候可是负责整个东都洛阳的防守，如果手下人都不听他的命令，那可是不行的。对樊子盖来说这可是急症，对待急症就必须下猛药。所以他就准备杀鸡儆猴，干脆把裴弘策推出去给斩了，他要通过杀人来立威。他杀了和他平级的官员，洛阳城里就没有人敢不听他樊子盖的了。
俗话说:是药三分毒，樊子盖下的猛药副作用可是相当的大。他这样做，可是把洛阳城外的贵族子弟给吓住了，本来他们应该是进入洛阳城和樊子盖一起保卫洛阳。他们看到樊子盖杀人立威，他专挑大官儿下手，他们就想他们也是大官儿的子弟，如果有一天也被樊子盖拉去祭了旗，那可就是自投罗网了，既然城里进不去，那就干脆投奔城外的杨玄感他们了。反正杨玄感也是关陇贵族出身，他们中间的好多人和杨玄感关系可要比樊子盖的关系要好很多。
投奔杨玄感的贵族子弟一共有四十多人，其中有隋朝四大名将韩擒虎的儿子、隋初四大名相杨雄的儿子，还有隋炀帝亲手提拔的宰相裴蕴的儿子，还有隋军大将来护儿的儿子……好多名门子弟都投奔杨玄感了。杨玄感攻打洛阳的初心就是想通过控制那些贵族子弟，来动摇隋炀帝的军心，这样一来他可就非常轻松的达到目的了。随着战国的扩大，不仅这些官僚子弟投降杨玄感了，就连官僚那些本人也前来加盟了。其中最出名的一个是内史舍人韦福嗣，另一个是大将李子雄。韦福嗣出身于京兆韦氏，是京城数一数二的大族，并且和弘农杨氏，也就是杨玄感他们家还是世交。所以看到韦福嗣投降，杨玄感是非常高兴，马上就任命他做机要秘书，凡是重要文稿都由他来起草，有大事儿也跟他商量。李子雄在隋炀帝手下可是一直当到了右武侯大将军，那可是武官中的最高级别了，他是受到隋炀帝的猜忌，才来投降杨玄感的。一来到杨玄感这里，他也就是这支队伍的最高军事专家。
所以以后再要打仗，杨玄感就来找李子雄请教了。手下有了这么两个一文一武两个人，杨玄感顿时感觉自己手下那也是人才济济，眼看着自己这边儿的形势一片大好，杨玄感就感到特别的豪迈。于是他就来到洛阳城的上东门外，对众发表言说了:诸位啊，我为什么要造反啊，我可不是为了贪图富贵，若论贵，我是上柱国一品官，已经没人能比我再贵了。若论富，我们家可是有的是花不完的钱，我还要钱有啥用？那我为什么还要冒着杀头灭门的危险造反呢？我可不是为了个人谋福利，我可是为了救劳苦大众于水火之中……他的这一番演说，可是太鼓舞人心了，听的城下的老百姓们都是热血沸腾，所以他们都是争着献上牛和美酒来犒军。洛阳周边的子弟每天前来参军的就有一千多人。
杨玄感还真不是一般人，别看他此前一直担任的是文职，“将门有将”这句话可不是虚言的，在打仗的时候了真就遗传了他爸爸的优秀基因，打起仗来非常的勇敢。他每次打仗都是身先士卒，每次都是说:弟兄们跟我来，而不是说弟兄们给我上。这样将士们当然就愿意跟着主帅往前冲。不打仗的时候，杨玄感对士兵们也很好，所以士兵们都乐意给他卖命，所以他起仗来，胜的比败的多。