卫子夫得宠，卫家人自然都很高兴。可是，皇宫中有人不高兴了。当时皇后陈阿娇尚无子嗣，见卫子夫先于自己怀上龙种，如何不动怒，由妒生恨，却下不得手，只得向她的母亲馆陶公主、景帝之姊、堂邑侯陈午之妻诉苦。馆陶公主听了，大骂刘彻是负心人，说若非她们娘儿俩，如何能登上皇帝宝座。这倒是实情，不过时过境迁，对他也只能过过嘴瘾了。
馆陶公主又说，皇帝动不得，卫子夫动不得，但卫子夫的弟弟还是可以动一动的。于是在某一个风高月黑的晚上，办完差事后的卫青突然被人打了一闷棍，接着一伙人捆了他就走。所幸有同僚发现，并认得那些人出自馆陶公主府，便急忙去找骑郎公孙敖商议。公孙敖乃卫青的好友，听说他危在旦夕，二话不说，领了一批壮士，纵马去追，硬是从那伙人手上将卫青抢了回来，才使其免于被害。卫青自是感激不尽。
武帝得知此事后，大为愤怒，但也不能对馆陶公主怎样，为使卫青免受威胁，决定提升他的身份，便升迁其为建章监（掌建章宫守卫）、侍中（秦汉时加官，侍从皇帝左右，出入宫廷。）。数日之内，又连续赏赐他，累计多达千金。
卫家的其他人，也纷纷显贵。卫长君为侍中，卫君孺嫁予太仆公孙贺为妻，卫少儿嫁给了陈平之曾孙、詹事陈掌。公孙敖因救卫青有功，此后也开始显贵。
不久，卫子夫被封为夫人。卫青则升迁为太中大夫（掌议论，属郎中令（光禄勋）。）。难能可贵的是，两人虽从社会底层突然跃升至身份显赫之辈，但都不志得意满，飞扬跋扈，仍然谨慎从事。
有一天，卫青特意去了一趟甘泉宫，他是去感谢那位相面人的，并恭敬地双手奉上皇帝的赦令——这是他求来的。相面人看着卫青，又是感激又是感叹……
自建元三年（公元前138年）到元光六年（公元前129年），近十年间，卫青追随武帝左右，一起听闻朝政，见识与才干与日俱增。武帝看在眼里，喜在心头。元光六年的秋天，武帝终于下了决心，再次攻打匈奴。车骑将军卫青、轻车将军公孙贺、太中大夫骑将军公孙敖、卫尉骁骑将军李广等四将分别率领一万骑兵出塞，相约于关市附近攻打匈奴。军臣单于得知，早做好了相应的准备。
四将之中，李广名气最大，是以所部一出雁门，就为匈奴大军所围困。汉军左冲右突，却是寡不敌众，连主帅李广都因伤被匈奴人所活捉。后来李广佯装伤重不治，乘敌不备，寻了一个间隙，夺马夺弓，射杀追骑，摆脱敌人，南归至汉。公孙贺部出云中后，没有遇到敌人，一无所获，不胜不败。公孙敖部出代郡之后，为匈奴人所击败，损失了七千余人。初次领军的卫青则出手不凡，领军出上谷后，直扑龙城，一路冲杀，杀死和俘虏敌人近七百余人。
四将回朝之后，卫青得赏，被赐爵为关内侯。公孙贺无功无过，不赏不罚。公孙敖、李广按律皆当斩，后两人各交纳了一定数量的赎金，因而改作皆废为庶人。
匈奴人头次为卫青所击败，吃了大亏，自是不服。这年冬天，匈奴数次入侵汉朝的边地，渔阳郡受害最重。武帝令韩安国率军紧急前往渔阳防守。
元朔元年（公元前128年）秋，匈奴两万骑兵入侵汉境，杀死了辽西太守，掠走二千余人。匈奴人又攻打渔阳郡，击败渔阳太守手下的一千余守军，继而围困了韩安国部，眼看着他所率领的一千余骑兵也即将被全歼，形势正危急时，恰巧燕王的救兵及时赶到，匈奴人这才退去。其时雁门郡也遭到了匈奴人的袭击，被害和被俘者达一千余人。
损失如此巨大，武帝岂能甘心，急令卫青率三万骑出雁门，李息部出代郡，袭击匈奴。此一役，卫青部斩杀和俘虏敌军达数千人。
元朔二年，卫青部沿着云中郡的西部，到达陇西，出塞后，攻打匈奴位于黄河河套南岸地区的楼烦、白羊这两个部落，得胡首虏数千，牛羊百余万。于是汉军顺势夺取了河南地。苏武之父、将军苏建依令领人修筑朔方城（今内蒙古乌拉特前旗东南），又修缮了秦时蒙恬所修建的关塞，凭借着黄河天险，修建了一条坚固的防线。与此同时，汉廷放弃了上谷郡的与匈奴地界交错而曲折偏僻的县，如造阳一带，都给予了匈奴。迁出来的居民，则补入新置的县，以加强防卫力量。
回朝后，武帝封卫青为长平侯，食邑三千八百户；苏建为平陵侯，张次公为岸头侯。
这年冬天，匈奴军臣单于逝世。军臣单于的弟弟左谷蠡王伊稚斜自立为单于。太子於单自是不服，率部与之对抗，却处于下风，逃无可逃，只得投降汉廷。来者不拒，武帝热烈欢迎，封於单为涉安侯。然而，走到这一步，得到这个结果，并不是於单想要的，当然心不甘情不愿，却又无可奈何，是以终日郁郁寡欢，数月不到，便生病去世了。武帝惋惜一番，厚葬了他。
元朔三年（公元前126年）的夏天。伊稚斜单于的地位已经稳固了，便挥军南下。匈奴数万骑攻入代郡，袭杀太守共友，抢掠一千余人。这年秋天，匈奴人又侵袭雁门郡，杀略千余人。
