在巩固了政权后，好大喜功的刘彻盯上了汉朝的仇人匈奴，可以说当年的太祖皇帝的白登山之围那是汉朝莫大的耻辱，可以说每个汉朝皇帝都想要将这耻辱洗刷的，而到了刘彻时期因为府库充裕征伐匈奴变的可能。
经文景之治的休养生息等一系列的发展经济与民生政策之后，西汉王朝的国力已蒸蒸日上。汉武帝在承袭这些政策同时，积极准备军事力量的发展。
而卫青就进入了刘彻的视野，卫青的母亲被称为卫媪（卫媪是否为其夫家姓存在争议）。与其夫生有一男三女：长子（卫长君）即卫长子，长女卫孺（《汉书》作卫君孺，《史记》作卫孺）、次女卫少儿、三女卫子夫。后卫媪与来平阳侯家中做事的县吏郑季私通，生了卫青。因生活艰苦，卫青被送到亲生父亲郑季的家里。但郑季却让卫青放羊，郑家的儿子也没把卫青看成兄弟，当成奴仆畜生一样虐待。卫青稍大一点后，不愿再受郑家的奴役，便回到母亲身边，做了平阳公主的骑奴。
有一次，卫青跟随别人来到甘泉宫，一位囚徒看到他的相貌后说：“这是贵人的面相啊，官至封侯。”卫青笑道：“我身为人奴之子，只求免遭笞骂，已是万幸，哪里谈得上立功封侯呢？”[4]
公元前前139年春，卫青的三姐卫子夫被灞上扫墓做客平阳府的汉武帝看中。
公元前138年，入宫后被冷落了一年多的卫子夫再次获幸有了身孕，引起了陈皇后的嫉妒。其母馆陶公主派人捉了正在建章（后为建章宫）当差的卫青，意图杀害。同僚公孙敖听到消息后率人赶去救下卫青。
刘彻得知此事，大为愤怒，立刻任命卫青为建章监、侍中，封卫子夫为夫人，卫长君为侍中。数日间连续赏赐卫青，多达千金。卫孺嫁给了太仆公孙贺，卫少儿嫁给了陈平的后人詹事陈掌。公孙敖也因此显贵。卫青后又被任命为太中大夫，俸禄千石，掌管朝政议论。
公元前138年到前129年近十年间，卫青作为建章监和侍中，跟随皇帝左右，和他一起听闻朝政，后又成为太中大夫，足见其才干深得武帝信任，为后来七征匈奴，甚至任大司马大将军为内朝参决政事、秉掌枢机打下良好基础。
而这卫子夫也不是省油的灯，卫子夫出生于汉景帝年间，身世寒微，其家号卫氏，河东平阳人。父不详，母亲卫媪曾为平阳侯家僮，一说侯妾。卫子夫年少时或被送往平阳侯家教习歌舞，遂为平阳侯府讴者（歌女）。
卫子夫上有一兄二姐，长兄卫长君，长姐卫君孺（卫孺），次姐卫少儿，少儿有子霍去病。卫子夫又有同母弟三人，即卫青、卫步、卫广。
公元前139年春三月，上巳日。十八岁的少年天子刘彻去霸上祭祀先祖，祈福除灾。回宫时顺路去平阳侯在京府邸看望当时嫁给平阳侯曹时（曹寿）的大姐平阳公主。与陈皇后结婚已有数年，却依然没有子嗣。[8]平阳公主便效仿姑姑馆陶公主（窦太主），择良家女子欲以进献天子[10]。