辛兴宗也知道现在形势困难，命杨可世和赵明分路指挥人马还击，王禀约束后面的步军布阵，谁想到对方利用贯穿的战术，将杨可世、赵明两军隔开，赵明的四千步军转眼就溃不成军，刘虞荆和桓万悉死死地顶住辛兴宗的帅旗，指挥着辽军像两条蛟龙一样，肆意地步步紧逼。
而杨可世被孤岳释盯住，虽然双方骑兵纵横，杨可世的骑兵人数还超过了辽军，但是双方战斗力的差距是显而易见的，混战在一处宋军并不占优势；孤岳释一口气连杀杨可世身边二十三名亲兵，直接杀到杨可世的身边，大笑着说：“前天我出手，岳飞和一个不知道名字的傻小子都与我拼了一招，过瘾啊，杨将军，你只要接下一招，我就让回去。”
杨可世也不废话，正在急速向前的战马突然改变了方向，骤然加速，一招举火燎天，虎头枪就本孤岳释全力而去，孤岳释借助战马腾空而起，身躯在空中转向，一刀正拍在虎头枪的枪头上。杨可世身体一震，战马倒退了数步才站稳，孤岳释稳稳地收刀落到坐骑上，一声高喝：“杨可世快死了，全军出击，杀了杨可世有赏。”
杨可世已经身受重伤，亏得杨可世身边都是生死与共的袍泽，硬是冲上去，用血肉之躯抵挡着孤岳释和辽国骑兵，死战不退；辛兴宗的帅旗终于开始后退了，虽然还有五千胜捷军的精锐骑兵，但是辛兴宗还是选择了撤退，王禀指挥的步军跟着崩盘，两万宋军被六千辽军杀得大败，一直到看见杨惟忠和种师道派种师中部将赵德引一千骑来援，萧干才下令退军。
赵明的五千人聚拢到一起，不足七百人；杨可世的精兵接连两站损失过半，王禀、辛兴宗两军各伤亡一千多人，总共损失了近九千将士和两千匹战马。种师道已经过河，正在营寨里等着，问清楚情况便知道胜捷军没有死战的勇气，否则与对方骑兵相当，还有上万的步军怎么会输的这么干脆利落。
杨可世虽然看上去浑身是伤，但是外伤都是皮肉伤，没有伤筋动骨，只是孤岳释的那一击，让杨可世下马后根本无法站稳，被抬进大帐。种师道让人去沧浪营调神医安道全来给杨可世看病，跟着安慰辛兴宗：“胜败乃兵家常事，暂时据守此寨，与我在白沟河南呼应。”
辛兴宗拒绝了种师道坚守河北小寨的建议，在他心里，种师道这是要自己来承担后果，隔河守着这样一个寨子，一旦粮草断绝，军队就是不战而溃的结局。辛兴宗自认为自己不是失街亭的马谡，摇着头说：“坚持自己全军后撤到南岸，西路军战斗力太差，我要回雄州向太尉汇报，为安全起见，大军南撤渡河，不能在这里坐以待毙。”
王禀、赵明等人埋头不语；种师道摇了摇头，回头对赵德说：“杨志马上就到，现在开始，你归杨志指挥，我会和杨志说，坚守此寨，就算大军全部撤走，你们就是断后的。至于最后突围还是等待我们打过河，看信号为主。”
辛兴宗一言不发，好像种师道的话和他一点关系也没有；杨惟忠听了，不好意思地说：“种将军，不是我忍心看着袍泽承担风险，实在是这河北地方上的军队太乱了。我将韩世忠两百骑留给赵将军，都是跟随我从西北来的老兵，算是尽点力。”
在青溪县，方腊兵败逃入帮源洞据守，韩世忠率部渡险进洞擒住方腊，却被辛兴宗夺去功劳，杨惟忠还朝到汴梁，找兵部尚书方琼说明此事，朝廷升韩世忠为承节郎，调入杨惟忠军中。种师道笑道：“惟忠不必在意，如果有两百老兵，也算是将沧浪营的人数补齐，杨志或许会给我们一个惊喜。”
王禀眉毛一挑，他可是久经沙场的宿将，一直在西路军中，种师道的这个调整，将杨志手下的骑兵扩展到近四千人，这不可不是打防守战的做法；大宋军队的防守战是步军为主，利用神臂弓和火箭抵挡对方的骑兵。沧浪营这个旧寨选的位置是不错，但是视野开阔，虽然有壕沟、鹿角这些障碍物，但是对于辽军来说，未必能起作用。
种师道会不会另有计划，王禀不确定；只是王禀清楚，辛兴宗现在就是一门心思要撤军，说什么都没有用。辛兴宗果然对种师道的退让十分满意，认为那个惊喜只不过是种师道的奢望，立即下令撤军，辛兴宗命赵明带领杨可世的部下与自己一起离开，甚至拒绝了用饭以后再走的想法，吩咐下面过河后连夜赶路。
白沟河上的石桥是撤军的一条通道，还有种师道原先运送物资的小船，骑兵干脆从几个浅水的地方涉水而过；辛兴宗洋洋得意地对赵明说：“上面有花钱买回幽燕的打算，我们不能让和诜等人吃现成的，坐在那里等着奖赏。”
赵明等人连连点头，到了南岸，王坪迎上来问：“是否大军回营？”
辛兴宗摇头说：“王禀、杨惟忠回原先营房，我和赵明带着增援的人马回雄州，杨可世暂时留在你这里养伤，那个什么神医安道全应该很快到了。”
王坪彻底无语，你就不能等着安道全到后把杨可世一起带走，至于这么火急火燎吗？只是这种无所谓的争辩没用，王坪让人找个安静的地方安置杨可世；桥头、路上挤满了准备撤退的士兵，就是将领吼叫也没有人让路，好在安道全遇上了种师道，和种师道一起被摆渡的小船送过来。种师道得知辛兴宗已经带着七千骑兵走了，忍不住露出一丝苦涩的笑容，王坪小心地问：“北面如何？”
种师道无奈地说：“杨志已经顺利地接管了指挥权，就看杨志的了，你立即整顿人马，在勘察出来的浅水处埋伏，准备好弓弩，以防不测。”