这场战争虽然是统一战争，实际上也是一场为杨家打天下的战争，所以隋文帝便把自己的两个儿子放在了核心位置。杨素此时能和隋文帝的两个儿子并肩而立，是因为他是位赫赫有名的大将。杨素出身于弘农杨氏，长得是高大威猛，美髯飘飘，是个长得有英雄气的人物。同时他的文采还非常好，写的一手好文章。他还擅于书法，并且还通一些占卜术，是一个很难得的文武双全型人物。
他在北周的时候就崭露头角，有一次北周武帝让他起草诏书，他一挥儿就，写的是文采斐然，妙笔生花。北周武帝看过后，很是欣赏，便夸奖他说:小伙子好好干，以后会有一套富贵等着你。杨素当时回了一句:我不想要富贵，我就怕富贵来逼我。这口气未免也太大了，皇帝夸奖你，至少也应该稍微谦虚一下儿。他这个人还风流倜傥，不拘小节。这样的才干，再加上这样锋芒毕露的性格，注定他是个能办大事儿的人，同时也是个容易栽跟头的人。
果然就在开皇四年他就狠狠栽了一个大跟头，杨素一生没怕过谁，可以说他连皇帝都不怕。可是他就怕自己的夫人郑氏，因为他的夫人郑氏是个很有名的悍妇。有一次杨素被他家的母老虎欺负的实在受不了了，他就随口冒出了这样的一句话:我要是当了皇帝，也一定不会封你当皇后。这可是公然挑衅夫人的权威，这郑氏哪能饶得了他。她当即就到皇帝那里进行举报:我们家杨素说他想要当皇帝，他可是亲口这么跟我说的，我们家的奴仆可以为我作证。相当皇帝那可是谋反罪，那可是要杀头的。其实隋文帝也知道她家那点破事儿，也就没有真的那么严厉的处罚杨素，只是把他免官了。
杨素赋闲在家没事儿干的时候，他就整天琢磨着如何平定陈朝，他曾数次给皇帝上平陈策。并且每封册子写的都是环环相扣、入情入理。隋文帝也知道杨素是个难得的人才，让他一直就这样废在家里确实可惜。所以隋文帝在正式实施平陈战争的时候，就又重新启用他担任信州总管，也就是今天的奉节地区，让他经营长江上游。
杨素上任之后，马上就开始积极备战，他一边组织修建大船、一边加急训练水军。他还给这些大船取了个响亮的名字——五牙船，每条船的长度达一百多米，船上可以起五层楼，并且还在船头和船尾都设置了六个投掷石头的拍杆。杨素在上游造船的时候，把声势搞的特别大。他还故意把造船剩下的碎木头扔到江里，顺游而下，这可是吸引足了陈朝的眼球。杨素的这些举动完全符合隋文帝的战略部署，隋文帝看他如此聪明的举动，便对他非常看好。虽然他不是隋文帝的儿子，在战争正式打响的时候，还是给他了个集团军首领的待遇。
隋文帝确实是好眼光，平陈战争的第一仗，也是关键的一仗，正是杨素打响的。开皇八年十二月秦王杨俊率领十万大军，进驻汉口，做出一副要从武昌进军的样子。陈朝一看隋军要渡江了，就赶紧调动驻扎在三峡口的数万军队去救援武昌。这样一来三峡地区就兵力空虚了，杨素赶紧趁这个空挡，率领自己的第三集团军下水了，浩浩荡荡地顺流而下。
一开始什么问题也没有，当到达虎头滩时，也就是今天湖北宜昌西北这个地方时，杨素的船队就有些走不下去了。因为虎头滩前面是狼尾滩，这里当时驻扎着陈朝的一员将领，他带领着几千精兵挡住了去路。而且这个狼尾滩正处于长江的江心，这地方水流湍急、地形险峻，杨素的五牙大船在这种地方是发挥不了作用的。
面对眼前的形势，杨素还是十分清醒的，他知道如果当下和陈朝硬拼水军是有风险的。毕竟对方是主场作战，且水战是他们的强项，于是杨素便决定采取了水陆并进的夜间突袭战。
虽然陈朝的水军擅于水战，但是依据当时的条件，他们的水军到了晚上还是要住在岸上的。只要等到他们一回到陆地，隋朝的军队就有优势了。就在当天夜里，杨素趁着月黑风高，便率军神不知鬼不觉地出发了。他把军队分成了三个部分，中间一路有他亲自率领，乘船突袭狼尾滩。其余的人马兵分两路，趁着夜色摸到长江的南北两岸，分头去袭击陈朝驻扎在南北两岸军士的大营。
当时主场应战的陈朝军队是有骄傲情绪的，所以他们就根本没有认真去备战。隋军都打到门口了，他们在夜间居然是该睡觉照样睡觉，连一点儿防备都没做。
就在他们睡得正香的时候，隋军忽然出现了，一下子打的他们是措手不及。好多陈军是还在睡梦中，就稀里糊涂地成了隋朝的俘虏。就这样，狼尾滩水战，隋军首站告捷。狼尾滩战役的胜利对于隋朝平陈战役意义重大，因为历年来北方的军队遇到水战就怵头，对渡江作战可谓是信心不足。
这次狼尾滩战役一打赢，马上就给隋朝的军队打了一济强心针，隋军的士气也就一下子高昂起来了。事实上狼尾滩一战，隋朝起发挥作用的还是他们的陆军，但是他们宣传的时候则说，是隋朝的水军打败了陈朝的几千大军。过了狼尾滩，杨素的军队就和杨俊的第二集团军回合在了一起，这样他们这支联军就牢牢的牵制住了陈朝在长江中上游地区布置的十几万大军，顺利地完成了他们的战略任务。
这时候就该下游的军队放心大胆的发挥作用了，当时杨广才只有二十多岁，还是个毛头小伙子。隋文帝让老宰相高炯做他的长帅长使，全面协调工作，实际上杨广只是取用他王子的身份。上游打的很顺，没想到下游比上游还顺。
因为在这关键时刻，他们的对手陈后主亲自给他们送了一个千载难逢的大礼包。当时后梁宗室带着十万人马投奔了陈朝，陈朝对这些降人降将一直是不放心的。所以陈后主总想找机会震慑他们一下儿，让他们亲眼目睹一下儿实力强大的陈朝。当时正值岁末年初，陈后主就想趁大年初一大朝会之时搞个大阅兵。让他们看看陈朝兵有多强，马有多壮，让他们感觉自己的选择没有错，既然投诚了就要在我的地盘儿老老实实呆着。
陈后主考虑到仅仅靠建康附近的卫戍部队来搞这个阅兵，声势不够大，反映不出千军万马的盛大局面。于是他就想了一个办法，他让江州也就今天九江以东的水军全部回撤到首都建康来，一起参加这个阅兵活动。九江以东是长江下游的位置，如果九江以东的水军回撤，那可就是说整个长江下游就一艘巡逻艇都没有了。
面对如此危险的局面，那些清醒的将领就马上给陈后主提意见了:此时隋朝大军压境，恐怕他们来者不善，我们一定还要扎扎实实地进行重点地区的重点防护。陈后主不但不听，反而自欺欺人地说道:我们这里是王气所钟爱的地方，是天命保佑的地方。以前北齐的部队曾来过三次，北周的部队也来过两次，他们不都是灰溜溜的回去了吗。所以此次隋朝军队过来，还得是和从前一样，灰溜溜地回去。既然天命都在此，我们还加强防守干什么啊！我们如果加强防守不等于是在给隋朝示弱吗，那多没面子啊！
这时候，他身边的一个狎客孔范也过来附和陈后主:长江天堑是上天降下来分割南北的，所以北边的军队是不可能度过来的，难道他们会飞过来吗？现在之所以有些人把这些说的很严重，那是他们想贪功。想让陛下重视他们，从而让陛下给他们拨兵，拨粮、拨钱，所以他们的话绝对不能信。其实我还巴不得隋军打过来，那时我必定立功，到时候陛下可不要忘了封我做太尉公哦！
就这样，眼看着隋朝大军压境，陈朝的军队却是异常的松弛，防守可谓是形同虚设。面对陈后主的一番神操作，高炯和杨广的军队就想趁着陈朝大阅兵，长江防守最松弛的绝佳时机进攻陈朝。于是就在开皇九年大年初一来开始行动，当天天降大雾，具史书记载这场雾是既酸又辣还呛鼻子。陈后主搞完朝会后，多吸了几口江雾，再加上多喝了几口酒，所以就烂醉如泥，一直大睡到下午才醒。就在他正在做着美梦的时候，杨广的军队已经在大雾的掩盖之下，实施渡江作战了。
这时候有个意想不到的情况出现了，由于贺若弼和韩擒虎这两支先头部队推进的特别快，远远超过了他们的预期。他们是按计划分别从东西两头往建康城中间打，在他们推进的过程中，一直就不见到有人进行抵抗，这其实又是陈后主君臣决策的失误。虽然隋朝的军队已经打到陈朝家里了，可每当有武将们向他请战的时候，陈后主还是犹犹豫豫，畏首畏尾，就是不肯真的给武将们权利。这可是在给贺若弼两位将军帮忙，可把他们高兴坏了，既然前面没人阻挡，那就扩大战果吧，于是他们一路势如破竹，大举向建康方向挺进。