他位至王爵，回忆往事时，也绝不谈其祖父、父亲的早年身世。因为在吴襄中举前，他的家实在没有可向人们夸耀的东西。这就是说，吴氏家族跻身于官僚阶层，并以此为发达之阶，实始自吴襄。随着父亲官位的不断提高，其家庭地位和经济状况也稳步上升。
吴氏发迹的另一个因素是，他与辽西望族祖氏联姻，靠着跟祖氏的广泛的社会关系，迅速地发展起来。
祖氏世居辽东，是宁远卫世将，到祖大寿时，已历五世，皆以军功发家。大寿于泰昌元年（1620年）为官，授职靖东营游击；天启元年（1621年）为广宁（辽宁北镇）巡抚王化贞部属，任中军游击。后与袁崇焕同守宁远，获“宁锦大捷”，立下大功，至崇祯元年（1628年），擢为前锋总兵，挂征辽前锋将军印。《清史列传·贰臣传》，“祖大寿传”，参见《清史稿·祖大寿传》，卷234。随着祖大寿地位的迅速上升，祖氏满门皆官。他的兄弟祖大乐、大成、大弼，子侄有祖泽远、泽沛、泽盛、泽法、泽润、可法等，都是上自总兵、下至副将、参将、游击的各级军官，分驻宁远、大凌河（辽宁锦县）、锦州诸城。祖氏是辽西首屈一指的巨族，他们都在当地为官，更助长了这个大地主大官僚军阀的权势。为表彰祖氏世代镇辽的功勋，至崇祯即位后，特命于宁远城内敕建祖氏四世镇辽的功德牌坊。至今，这座牌坊仍矗立在兴城内中心大街。
吴氏以祖氏家族为后援，得到他的庇护和扶持。两家结成关系，大约也是从吴襄投效祖氏门下开始的，进而招为祖氏的门婿，大寿的妹妹嫁给了他。于是，从部属关系进一步发展成血缘的裙带关系。吴襄在祖大寿手下任参将，累官至都指挥使，留镇宁远。崇祯四年（1631年），已是锦州总兵官。总兵一职，在明代是一地区的最高军职，拥兵万人乃至数万的高级将领。六年（1633年），以军功授为都督同知，荫一子锦衣百户世职。《庭闻录》，卷1。吴三桂因此得到提拔，此是后话。
借助祖氏的力量，吴襄官运亨通，不仅如此，而且吴氏的人能当官的纷纷登上仕宦之途。三桂的哥哥吴三凤也是祖大寿的部将，驻守大凌河。姨夫裴国珍同为大凌河的军官，都在祖大寿的指挥之下。崇祯四年（后金天聪五年），大凌河城被围，他们都投降了后金。《清太宗实录》，卷60，10页，载：裴国珍降清后，在给吴三桂的劝降信中，称吴为“贤甥”，故知裴为吴的姨夫。除此，他书皆失载。通过这种血缘关系，使祖吴两家结成一个独霸辽西的声势煊赫的望族。他们执掌兵权，握有数万军队，又有数千家丁的私人武装。因而这又是一个以祖氏为首的军阀集团。旁及有关亲戚、部属、心腹等等都紧紧地依附于这个集团，他们分布辽西地区各城镇，占据一切要津，把持着这一地区生杀予夺大权。实际上，这一地区已成为祖吴两家的天下。就连朝廷大员，直至皇帝也不敢轻易触动他们当中任何一个人，即使犯了大罪，也不得不采取宽容的态度。
后金天聪三年（崇祯二年，1629年），皇太极率八旗兵第一次突袭入关征明，设反间计，诱使崇祯皇帝将入援的袁崇焕逮捕。祖大寿是袁的部将，他见主将被逮，惊恐万状，竟置勤王于不顾，率部逃离北京，掠山海关，返回宁远。他敢于离京出关，就是仰仗他在辽西的势力以图保全自己。按律，临阵脱逃，形同叛逆，必处以极刑。令人意外的是，崇祯并没有怪罪，也不予处罚，还发下诏旨，极力安慰他。《明史·袁崇焕传》，卷259，参见《清史稿·祖大寿传》，卷234。天聪五年，皇太极发动了大凌河之役，将该城围困起来。祖大寿守城，因援绝食尽被迫投降。他以回锦州取家属、智取该城之计脱身。回锦州后，还与皇太极秘密书信往来。他投降的事，很快被辽东巡抚丘禾嘉侦知，密奏朝廷。崇祯却按下此事不提，装做不知道，竟然容忍下来。《明史·丘禾嘉传》，卷261，6772页。
清崇德七年（1642年），明与清在松山（辽宁锦县松山）决战，明军惨败，祖大寿率部献锦州城投降。按明律，他们的亲属都要受到牵连，但吴襄父子却是个例外，没受到任何责难。参加此役的吴三桂，战斗刚开始，就同总兵王朴等率部逃跑，以致明军全军覆没。事后，崇祯下令将王朴处死，仅给三桂降级处分。《明史·曹变蛟传》，卷272，6979页。
这些事例最好不过地说明了祖、吴两族在辽西势力雄厚，盘根错节，朝廷不敢触动毫毛，惟恐惩治一人，将激成大乱，会逼使他们拱手把辽西送给清政权。了解内情的降清汉官石廷柱等看得很清楚，他指出：“第明国京都，倚祖大寿为保障。”《清太宗实录》，卷56，23页。连皇太极也说：“以其（祖大寿）族党甚强，且据锦州故”，明朝是不敢对祖氏集团轻举妄动的。《清太宗实录》，卷60，6页。
吴氏是继祖氏之后发展起来的大地主。就辽西而言，他们的富有恐怕任何官僚地主也望尘莫及。吴氏家究竟有多少财产，迄今我们还没有得到这方面的详细材料。的确，当时没有留下记载，仅有吴襄、三桂父子在个别场合无意中透露