六月十七，李康一行人抵达了东都附近，但是由于东都周围贼兵遍布，使得李康也没带着人冲进去。
过了几日，李康得到消息，留守大兴城的刑部尚书卫玄带着四万兵马出了潼关，准备讨伐杨玄感，于是李康便掉头先去投到卫玄军中。
其后，李康在卫玄军中领了一个校尉。
卫玄到了华阴，派人挖掘杨素的坟墓，焚烧了杨素的骸骨，向士卒们表明自己必死的决心，然后卫玄率军击鼓进军，出崤谷、渑池，直奔东都城北。
杨玄感迎击卫文升，卫玄军队几次交战都未能获胜，率军且战且走，后在金谷驻扎军队。
同时，杨广已经得到消息，派遣虎贲郎将陈棱去黎阳进攻元务本，又派遣左翊卫大将军宇文述、右候卫将军屈突通乘驿站的传车发兵讨伐杨玄感。
东都内的兵少，只能防守，于是杨玄感便率军全力与卫玄交战。
卫玄用步兵骑兵二万，渡过鏶、涧水来挑战，玄感假装失败，卫玄命令军队追赶他，这时玄感的伏兵冲了出来，卫玄的前军全被消灭。
李康就在前军，此次也险些战死，幸好冲了出来，狼狈的逃了回去。
几天后，卫玄又与玄感交战，两军刚交战，杨玄感使了一招诡计，让人大呼道：“官军已经捉住了杨玄感了！”
听说杨玄感被抓住了，卫玄手下士兵们顿时稍稍松懈下来，阵列松散开，打的时候也没有那么勇猛了，杨玄感带着几千骑兵乘机进攻，卫玄的士兵大意之下如何能挡住，于是大败，只带了八千人逃走。
混在败军里面的李康，看着丢盔弃甲的军队，实在无奈极了，这卫玄怎么连战连败，也太倒霉了，这样下去的话别说建功立业，时候朝廷不责罚主将就算不错的了。
这次打败之后，卫玄的军队是无力再战。
杨玄感屡次击败卫玄，每次作战杨玄感都身先士卒，所向披靡，很振奋士气。
杨玄感部众愈来愈多，达十万人。
卫玄手下士卒损失太大，寡不敌众，部下死伤大半，军力将近耗竭，境况很危急，他率军进驻邙山的南面，与杨玄感决战。
一天之内双方交锋十余次，恰巧杨玄挺被流箭射死，杨玄感的军队才稍稍退却，李康连番大战，也中了两支箭簇，幸好有铠甲保护，只是受了些轻伤，他带来的亲信士卒，也是了四个人。
不过，这次之后，杨玄感已经没有精力在继续攻打卫玄部。
征讨高句丽的军队开始回师，同时，在东莱的来护儿也力排众议，发兵西进，攻打杨玄感。
杨玄感造反，出了朝廷有人支持他，民间也有人乘势起兵响应他。
杨玄感围困东都时，梁郡人韩相国举兵响应。杨玄感任命他为河南道元帅，一月之内韩相国就招集部众十余万人，他率兵攻掠郡县。
八月十一日，余杭人刘元进也起兵响应杨玄感。
刘元进手长一尺有余，手臂垂下来超过膝盖，他自认为自己相貌非同寻常，暗中另有图谋。
正逢杨广再次征发三吴之兵去征伐高丽，三吴之兵都互相说：“往年国家处于全盛时期，我们父兄中出征高丽的人还大半没有回来，如今国家已经疲惫，又要被征召去打仗，我们的这辈人就要灭绝了！”因此很多人都逃亡。
郡县官吏捕捉逃亡的人非常急迫，逃亡的人闻知刘元进起兵，都聚集到他的麾下，一个月内，刘元进部众达几万人。
话说起兵后，李子雄曾劝杨玄感赶快称帝，称帝是一件大事，杨玄感也拿不定主意，于是就找李密商量过。
杨玄感征求李密的意见，李密说：“从前陈胜打算自己称王，张耳规劝却被排斥在外，魏武帝曹操打算谋求加赐九锡，荀劝他却被诛杀。
如今我打算直言规劝，却恐怕落得张耳、荀二人的下场。但是阿谀奉承迎逢上意，又不是我的本意。
为什么呢？自从我们起兵以来，虽然屡次取胜，但郡县一级的官员却无人响应。东都的防卫力量还很强大，全国各地的援军到的越来越多，您应当挺身奋力作战，早早平定关中，可您却急于称帝，为什么让人看到您那么狭隘呢？”杨玄感听后笑了，称帝之事就作罢。
不过，李密这些日子，已经逐渐失去了杨玄感的器重，这次后，杨玄感对于李康便有些疏远。
东都耗时月余还未拿下，使得杨玄感开始被动起来。
与此同时，隋军也对叛军发动反扑。
武贲郎将陈棱在黎阳进攻元务本，武卫将军屈突通驻扎在河阳，左翊卫大将军宇文述发兵继进，右骁卫大将军来护儿又来增援。
杨玄感请计于前民部尚书李子雄，子雄说：“屈突通晓习军事，如一渡过黄河，那么就胜败难定了，不如分兵拒守黄河，屈突通过不了黄河，那么，樊子盖、卫玄就失去了援兵。”玄感以为然，将分兵赴黄河拒防屈突通。
但是此时东都内的樊子盖就成了一根刺，见杨玄感如此用兵，立马知道了他的计谋，几次进攻他的军营，使得杨玄感不能分兵。
掩护屈突通渡过黄河，在破陵驻军。
如此一来，杨玄感就收到了两面夹击的险境，不得已杨玄感将兵马分为两支人马，西面抵抗卫玄的侵扰，东面抵抗屈突通大军，分兵以后，杨玄感的军力顿时不足了，虽然有十余万人，可真正善战的兵马却不到万人，其余都是新招募的百姓，和官兵打起来，根本就挡不住。
樊子盖趁机又出兵，多次战场对垒，杨玄感军频频败北。
面对困境，杨玄感又请计于李子雄，子雄说：“东都的援军到了，我军屡败，不可久留，不如直入关中，打开永丰仓，以赈济穷人，三辅可指挥而平定。
占据粮仓，再向东争夺天下，这也是霸主之业。”
恰在此时，华阴的各位杨姓派人来说请求当向导，帮他进军大兴城，杨玄感于是放了洛阳，西取关中，扬言说：“我已破了东都，要夺取关西去了。”
宇文述等部队跟在后面追击。