霍去病英勇善战，不惧强敌，几年的光景，战功就超越了他的舅舅大将军卫青。朝廷增设了大司马的职位，大将军和骠骑将军都获得了大司马头衔，并明确规定，骠骑将军的军阶和俸禄同大将军相等，从此大将军卫青的地位日益衰落，骠骑将军霍去病日益显贵。
骠骑将军为人寡言少语，性格内向，作战果敢而有气魄，汉武帝非常喜欢，门庭日益显贵。不少大将军的老友和门客，改换门庭，投到骠骑将军门下。也有很多人获得了官职与爵位，只有任安不肯这样做，而赢得美誉。
汉武帝曾经想让骠骑将军学习孙子和吴起的兵法。霍去病说：打仗只看方针策略怎样就行了，没有必要学习古代的兵法。多数战役都是随机应变的，没有固定的模式。
汉武帝要为骠骑将军建造府邸，让骠骑将军去看看，他却说：匈奴还没有消灭，无心考虑自己的事情。
由此汉武帝更加宠信重用霍去病。
霍去病少年时代，就在皇帝身边侍候，富贵惯了，不知道体恤士卒。他外出打仗时，皇帝给他派去太官，携带几十车的军需品。等到回来时，很多没吃完的食品都放坏了，而他的士兵还有挨饿的。
在塞外打仗时，士兵们缺粮，有的都饿的站不起来了，而他还在画场地踢球，诸如此类的事情很多。而大将军卫青为人非常仁厚善良，谦和忍让，以宽和顺从获得皇帝喜爱。
骠骑将军从元狩四年开始出击匈奴，三年后，到元狩六年就去世了。汉武帝因失去了一员勇将而非常悲伤，调集了边境五郡的铁甲军，列队从长安一直排到茂陵，仿照祁连山的样子为他修建坟墓。因他英勇威武，开疆拓土，赐封谥号景桓侯。
他的儿子霍嬗接替了爵位，霍嬗，字子侯，年纪尚小，皇帝很是宠爱，希望等他长大后任命为将军。没想到六年后，即元封元年，霍嬗去世，皇帝赐封谥号为哀侯。哀侯没有儿子，断了子嗣，封国被废除。
当年大将军卫青与骠骑将军霍去病出塞讨伐匈奴时，边塞上的官员统计，官府与私人马匹共十四万匹，当他们胜利凯旋归来时，所剩马匹不足三万。
两位大将军大规模的进攻匈奴单于，不但战马损失十多万匹，虽然杀死俘虏了十几万匈奴军士，汉军也损失好几万士兵。战争的结局是两败俱伤，匈奴被打怕了，远遁大漠以北。汉朝也因马匹匮乏，无力再次发动大规模的攻击匈奴的战争，匈奴单于采用赵信的计谋，派使者去汉朝请求和亲。
汉武帝把匈奴请求和亲的事，交给群臣商议，有人主张和亲，有人主张趁机让匈奴臣服于汉。长史任敞说道：匈奴刚被打败，处境困难，应当叫他们做外臣，每年春秋两季到边境上来朝拜皇帝。
汉武帝派长史任敞出使匈奴，向匈奴单于提出了自己的主张。匈奴单于大怒，把任敞扣留在匈奴，不许回去。早年汉朝也招降过匈奴的使者，单于也扣留汉朝使者做为抵偿。汉武帝不能容忍匈奴单于扣留汉朝使臣，便重新征召兵马，再一次讨伐匈奴。没想到骠骑将军霍去病去世，汉武帝不得不放弃再次北伐匈奴。
几年后，伊稚斜单于统治匈奴十三年后去世，他的儿子乌维继位当了单于，这年是汉武帝元鼎三年。乌维单于继位，汉武帝开始巡视各郡县，这段的时间，汉武帝忙于向南讨伐南越和东越，没有讨代匈奴，匈奴也没有进入汉朝边境。
乌维单于继位三年的时候，汉朝已经把南越灭掉了，派遣原大仆公孙贺率一万五千骑兵，从九原出塞两千多里，直到浮苴井才返回，没有看到一个匈奴人。汉朝又派原来的从骠侯赵破奴率一万骑兵，从令居关出兵几千里，直达匈奴的河流才返回，也没有见到一个匈奴人。
天子巡视边境，到达朔方郡，亲率十八万骑兵以显示军威。又派郭吉出使匈奴，向单于传话。郭吉到了匈奴，匈奴主客询问他出使的意图。郭吉礼貌谦卑，善言温语地说：我见了单于在亲口对他说。
单于接见了郭吉，郭吉说：南越王的人头，已经悬挂在汉朝京城的北宫门上。如今单于若是敢和汉军交战，天子亲自率兵在边境上等着，单于若不敢与汉军交战，就应赶快向汉朝称臣。何必远远的逃跑，躲藏在沙漠以北，又冷又艰苦又缺少水草的地方呢，这样能有什么作为呢？
单于听完郭吉的话大怒，立刻杀了允许郭吉进见的那位主客，扣留了郭吉，不放他回去，把他放逐到北海一带。但单于始终不敢到边境侵扰夺抢，只是休养士卒和马匹，练习射箭与打猎的技术，多次派使者到汉朝，好言好语地请求和亲。
汉朝知道匈奴已经衰落，没有力量敢与大汉抗衡，但仍不放心，便王乌为使臣去窥探匈奴的情况。匈奴有法令规定，汉使要不放下旄节，用墨在脸上涂抹，就不能进入毡帐。王乌是北地人，熟悉匈奴风俗，便放下旄节，用墨在脸上涂抹，才得以进入毡帐。单于很喜欢他，假说马上就派遣太子到汉朝做人质，以此要求同汉朝和亲。
匈奴的谋臣赵信去世了，汉朝的官员以为匈奴已经衰弱，可以让他臣服于汉了，就派杨信出使。杨信为人刚正倔强，因为他不是显贵的大臣，单于也不重视他。单于本想召他进帐，但杨信不肯放下旄节，单于只好坐到毡帐外面接见杨信。杨信说道：如果单于真想和亲，就要派太子到汉朝去做人质。
单于答道：这不是以前的盟约，按从前的约定，汉朝派遣公主，供给一定等级的绸绢、丝绵、食物等，而匈奴也不再去边境骚扰了。如今你们却想违背以前的约定，让我的太子去做人质，这样做和亲就没有希望了。
匈奴与汉朝使者往来不断，汉若扣留匈奴使者，匈奴也扣留汉朝使者，一定要对等，才肯罢休。