人前往出美女的“三吴”地区选购十五六岁的秀女。先后购买吴伶美女四十余人，朝夕歌舞。《长恨歌》说，唐明皇后宫有“佳丽三千”，三桂虽不能与唐明皇相比，其后宫之选，也不下千人！每当宴会之际，三桂吹笛，宫人美女们伴以和唱。歌罢，三桂命人取钱给赏，立刻珠玉金帛堆满堂前，宫人美女们嘻嘻笑笑，一拥上前争抢。三桂看到她们娇滴滴争抢的样子，十分开心，大笑不止。《清朝野史大观》，“清人逸事”，卷5，33页。
府苑中，花木清幽。内有一座“列翠轩”，里面有大厅五间并列，宽敞明亮。窗外空地数丈，都栽上绿油油的小草，如一块翠绿的地毯。这块空地的尽头，层峦叠嶂，高插天际。每到春秋两季，乘风和日丽，三桂携笔墨到轩内写大字。他本不善写字，却喜欢“临池”挥毫。当他挥笔写字时，有侍姬数人，环列在他的周围，“鬓影钗光”，与翠绿的山光之色互相辉映，三桂置身其中，真如蓬莱仙境！［民国］张维翰：《昆明市志》，322页。
三桂日夜生活在这成百上千的美女之间，穷奢极欲。像平南王尚可喜、靖南王耿精忠各在自己的藩地无所不为，抢男霸女之事时有发生。他们的妻妾成群，极尽声色之乐。如平南王尚可喜先后共有24个妻子，一半是到了广东后续娶的。妻妾多，子女也多。他有32个儿子、24个女儿，见《尚氏宗谱》世系表。儿子娶妻，女儿出嫁，在广东形成了一个庞大的尚氏家族。
三桂妻妾虽多，子女却很少。他因叛清而遭灭族之灾，没有家谱传世，很难确知他的家庭人口。不过，从已知的史书中所记，三桂只有一个儿子吴应熊。应熊在北京成家，有子四人，三桂的女儿大约有六个，无事迹可考，只知她们丈夫的名字。在云南的有四个，即胡国柱、夏国相、郭壮图、卫朴，他们既是三桂的女婿，又都是他的心腹之将。《平吴录》、《庭闻录》，卷6，4页。另两个，一居广陵（扬州），丈夫姓什么叫什么，皆失考。一居苏州拙政园，她的丈夫，就是王永宁。三桂还有一个侄儿，名叫吴应期；一个从弟，叫吴三枚。再加上他的妻妾，构成了他的家庭基本成员。他的哥哥吴三凤自留守中后所祖坟，便音讯皆无。
三桂的家庭，倒没什么大矛盾，问题还是出自后宫。他的王妃张氏，为人强悍，好嫉妒，见有貌美的受到三桂宠爱，想方设法陷害，甚至不惜弄死，使很多新召进王府中的年轻女子死于非命。圆圆受三桂的宠爱，张氏自然妒火中烧。圆圆为避祸，便事事顺从她，处处尊重她，不让她抓住自己的纰漏。同时，她还避免同张氏争风斗艳，谢绝过分的豪华，独居另一院落。张氏为正妃，至贵至尊，圆圆位低而宠，她却不愿跟张氏相倾轧，想法保持着亲如姒娣的关系。八面观音、四面观音、莲儿等人，因为被三桂格外宠爱，张氏不敢加害，无可奈何。可怜那些从外地新买进来、出身又卑贱的小姑娘，都成了张氏嫉妒的牺牲品！