汉武帝刘彻在世时先后有过两任皇后，一个是陈阿娇，一个是卫子夫。刘彻迎娶陈阿娇不过是因为陈阿娇是大长公主刘嫖之女，而刘彻得以被立为太子，在汉景帝离世后称帝，刘嫖在其中立有大功，也因此在刘彻刚登基那会，刘嫖无止境的向汉武帝索取财物，让汉武帝心生厌恶，连带着认为陈阿娇骄横。

在建元二年，汉武帝的姐姐平阳公主进献貌美的歌女卫子夫，卫子夫从而宠冠六宫，很快被临幸。公元前122年，卫子夫之子刘据被立为了皇太子；陈阿娇则一直未能生育。

又随着刘彻的皇位稳固下来，公元前130年，陈阿娇因“惑于巫祝”而被废黜，退居到长门宫。第二年，卫子夫之弟卫青在龙城之战中击败匈奴，是四支汉军中唯一获胜的军队，因此受封关内侯。

公元前128年，卫子夫被立为了皇后，其姐卫少儿的私生子霍去病也进入了汉宫，成了汉武帝的近臣侍中。另外在公元前124年，平阳公主再婚，嫁给了卫青。

第二年，年仅17岁的霍去病就被汉武帝委以抗击匈奴的重任，至元狩二年（前121年），霍去病已是风光无限，因此去见了自己的亲生父亲，把同父异母的弟弟霍光带到了长安。

可卫子夫难道不象是第二个陈阿娇？卫子夫的另一个姐姐卫君孺则是嫁给了丞相公孙贺，这其中盘根错节的关系，让汉武帝感到了不安，公元前92年，巫蛊之祸降临在了卫子夫等人的身上，公孙贺、公孙敬声父子俩首先死在了狱中。

同年秋，汉武帝身边的宠臣江充在太子东宫挖到了桐木人偶，刘据百口莫辩，卫子夫则同意刘据调用皇后的中厩车架，取武库兵器，调长乐宫卫队，江充因此被杀。

据《资治通鉴》载：“上曰：‘太子必惧，又忿充等，故有此变。’乃使使召太子。使者不敢进，归报云：‘太子反已成，欲斩臣，臣逃归。’上大怒。”意思是说，在这个时候，汉武帝认为刘据是受到了江充等人的陷害才这样，因此派使者去长安探查，然而使者却不敢进城，回去就对汉武帝说太子要造反，汉武帝听后怒不可遏，便派重兵镇压。

刘据和卫子夫最终是自杀身亡，不过汉朝皇室时刻都体现出了语言的魅力，当年汉武帝的母亲王夫人与刘嫖联手对付汉景帝的栗姬和她的儿子刘荣，王夫人就趁着汉景帝对栗姬的怒气未消之时，暗中催促大臣奏请栗姬为皇后，结果是栗姬非但没有被立为，其子刘荣的太子位还被废除了。

对于巫蛊之祸，所留下的争议不少，有人说刘据是冤枉的，有人说桐木人偶确实存在，但汉武帝对刘据动了杀心是不可否认的，而巫蛊之祸牵连甚广，但侍奉在汉武帝左右的霍光却相安无事。据《汉书》载：“入侍左右，出入禁闼二十余年，小心谨慎，未尝有过，甚见亲信。”

刘据死后，汉武帝便决定立宠妃钩弋夫人的儿子刘弗陵为太子，让霍光辅政，但刘弗陵毕竟年幼，汉武帝的心里面多少是有些担忧的。不过霍光在汉武帝的身边侍奉了20多年，汉武帝对他也是有所了解的，又派人对霍光进行调查，发现霍光保持一习惯长达20年。

霍光每次朝觐，进出时都会留有停顿的时间，行走的距离每一次也都差不多，汉武帝便完全确信霍光是十分谨慎的人，而这类人往往难以做出扰乱朝纲的事情，因此刘彻将《周公辅成王朝诸侯图》赏赐给了霍光，暗示霍光准备辅政。

此外又因前车之鉴，汉武帝既然想要册立刘弗陵为储君，那么其母钩弋夫人肯定是不能留的，因此钩弋夫人最后被秘密处死了。