在汉朝的兵威下，闽越再次不战自退。汉帝国的果断行动，不但让闽越暂时收敛，更令南越感到自危，事情结束后，赵胡本打算入朝朝见汉武帝，但深感汉武帝统一中国南方雄心的南越大臣们竭力反对，最终只是派其子赵婴齐入长安为人质。

    在汉武帝早期，除了对匈奴采取备战政策外，对中国南方大地的统一政策，也在有条不紊地进行着。汉帝国一改之前几代帝王“无为而治”的策略，对南方诸国分化瓦解，采取冒头就打的政策，特别是两次对闽越的征伐，以及东瓯内迁，都极大提高了中央政府在南方的威望，登基之初的汉武帝，意图保持各南方诸侯国势力均衡的局面，以便为之后统一南方，各个击破奠定基础。

    此时的南越政权，恰如“王小二过年，一年不如一年”。比起开创基业的赵佗来，赵胡还算是个守城之主，他在任时期，统治尚且稳定。但此时的赵胡，已经对汉帝国有了戒心，他开始大量修筑从汉地进入南越的关卡，增派军队，同时多次以各种理由拒绝入长安朝见汉武帝。特别是对以前是“敌国”的闽越，他也转为通好，与闽越王余善相互串通，互为唇齿。公元前130年，番阳令唐蒙上奏，请求通夜郎，即从云南地区的夜郎国借道，以便将来能借此地进兵，平定南越政权。汉武帝刘彻准奏，次年唐蒙入西南，说服夜郎国归汉，在当地设立郡县。从此汉帝国对割据南方的南越政权，形成了夹击之势。

    南越命运的转折，发生在赵胡去世后，按照南越的规矩，迎回了留在长安做人质的赵婴齐回国继承王位。这时对西汉“利好”的消息是，赵婴齐在长安娶当地女子樛氏为妻，并生下儿子赵兴，在汉王朝的压力下，赵婴齐立赵兴为世子，这样下一代南越接班人身上，就有了汉朝的烙印。但赵兴毕竟是幼子，如此舍长立幼，自然也引起了南越国大臣的不满，后来南越的动乱，也正源于此。

    南越国的衰弱，从赵婴齐开始。此人性格残暴，回国即位之后，开始大肆排斥异己，诛杀先王的大臣，导致了南越国朝局的动荡。而且他本人贪图享乐，喜怒无常，喜欢随意杀人，引得国内民怨沸腾。对西汉帝国，赵婴齐同样没有放松警惕，这时期正是汉武帝大力打压诸侯的时期，赵婴齐多次称病，拒绝入京朝见汉武帝。比他父亲更过分的是，赵婴齐只是派了他的一个小儿子赵次公入汉。对西汉帝国不断到来的高压，这时期的南越、闽越诸国，基本是能躲就躲，能推就推，不给汉帝国任何动兵以及渗透的借口。

    西汉帝国对南方各诸侯国，由高压政策转为统一战争，拐点是公元前119年。即位早期的汉武帝，其对外政策的核心是打匈奴，早期对闽越的两次动兵，除了扩大中央政府的威权外，更为即将参加对匈奴战争的汉军练了兵。而后随着匈奴实力的日益萎缩，汉朝的持续胜利，汉武帝关注的重点，也逐渐从长城以北变成了长江以南，广袤的南方大地，是汉帝国的下一个作战目标。

    统一南越的契机，在公元前115年发生了，源于一个女人的不贞。这个女人，就是赵婴齐当年在长安迎娶的女子——樛氏。

    这一年，南越国王赵婴齐病故，其子赵兴即位，这时候的赵兴只有12岁，幼主当政，国家大权多把握在宰相吕嘉之手。樛氏虽然贵为皇太后，是南越的“国母”，但她这个“国母”在南越并无威信，一则她是赵婴齐在长安迎娶的，属于外来人，并不被南越臣民所接受，二则樛氏年轻的时候，是个行为不检点的女子，她在嫁给赵婴齐之前，在长安曾有一个叫安国少季的情人，这事偏偏保密工作没做好，在南越几乎“地球人都知道”。有这样的前科，樛氏太后的一举一动都遭到臣民们的猜忌，甚至经常传出关于她的流言蜚语。南越君臣不和的情况，很快传到了汉武帝的耳朵里。谁都知道，这是统一南越的最好良机，但关键是，怎么办？