古代的男人有个三妻四妾是很正常的事情，更何况齐桓公作为一个齐国的君王，他的妻妾也不在少数。史书上记载：四十三年。初，齐桓公之夫人三：曰王姬、徐姬、蔡姬，皆无子。桓公好内，多内宠，如夫人者六人，长卫姬，生无诡；少卫姬，生惠公元；郑姬，生孝公昭；葛赢，生昭公潘；密姬，生懿公商人；宋华子，生公子雍。
上面这段史书记详细载了齐桓公娶妻生子的情况，在这众多的女人当中，有三位最为出名她们分别是王姬、徐姬和蔡姬，而这三位夫人都没有能够为齐桓公生下一个儿子。他的宠妾们倒是为他生了还几个儿子，随着齐桓公的去世，他的儿子们又上演齐桓公和公子纠曾上演过的戏码 ，为了王位而自相残杀，更具有悲剧色彩的是齐桓公有这么多个儿子，当他凄凉地饿死在行宫，驱虫满身的时候，竟没有一个儿子出面为他收尸，要是齐桓公泉下有知，心里不知道有多悲哀。
在这众多的妻妾里面，蔡姬应该是一个比较有趣的人，至少她很有童心。《韩非子·外储说左上》上记载了蔡姬的事情，蔡姬与齐桓公一同泛舟，中途一时兴起竟然站起身，猛然摇晃着船身，大概这个蔡姬还比较年轻，玩心比较重，调皮地晃荡着小舟。蔡姬不怕水，不代表齐桓公不怕水，桓公吓得脸都变青了，并呵斥蔡姬让她不要这样做，蔡姬以为齐桓公是在开玩笑，继续晃动小船，最后齐桓公以休妻结束了这场蔡姬的恶作剧，齐桓公把蔡姬送回了娘家，让蔡国觉得很没有面子。
后来，齐桓公觉得自己做得太过火了，打算把蔡姬给重新迎接回来，却发现蔡姬早已经被蔡国嫁出去了，齐桓公就带领一大批军队，气势汹汹地攻打蔡国，蔡国的国力根本比不上齐国，很快就被打败了，齐桓公打了蔡国之后气还没消，顺带把楚国也给打了，因为蔡姬的一时任性，导致蔡国和楚国两个国家遭殃，实在是令人无语。这以后蔡姬在没有消息，关于齐桓公夫人的相关的信息则就此打住。
桓公的三个夫人没有为他生下儿子，他的小妾们倒是很卖力，给齐桓公生下了好几个儿子，六个夫人都为齐桓公生下了儿子，在所有的儿子当中武孟是最大的儿子，按照当时嫡长子的顺序来讲，怎么着都该立武孟为太子，但是齐桓公偏偏将郑姬的儿子昭为太子，武孟的母亲卫共姬着急了，向齐桓公请求立自己的儿子为太子，齐桓公也答应了，这就引起了“五公子各树党争立”，这几个公子都得到了齐桓公的允诺，并且纷纷树立党派与其他兄弟争夺王位。这下齐国的内政全乱了，公子们为了自己的王位，相互斗争，把整个齐国搞得一团乱，齐桓公此时已是垂垂暮已，即使是有心管教也没有那个精力，因而党争越来越厉害。
在齐桓公被小人陷害的时候，他的四个儿子也参与了这个计划，这四个儿子见证了自己的父亲被活活饿死的过程，却不施以援手，“期年，四子作难，围公一室不得出。”这“四子”是指除了公子昭和公子武孟之外的桓公其他四个儿子。后来，武孟成为了王位继承人，但是武孟的王位没坐多久，就被公子昭给取代了，公子昭被立为齐国的国君，即齐孝公。公子昭的即位也并没有让这场王位争夺战争消停下来，反而愈演愈烈，后来的齐桓公的四个儿子，接连取代了自己的兄弟，互相残杀，齐国在几十年的时间里，不断更换君主，导致齐国的国力急剧下滑，齐国国运衰败，风光不再。