后来逐渐恢复，工厂办得有起色。但是足足为上海银行干了四年多，就是说这四年多赚的钱都被银行拿走了。一直到“七·七”事变后，正明厂才搬离沙市去西安宝鸡。胜利后又回到沙市，二哥俨然是个资本家，在沙市商会中是个人物了。这其中同沙市各方面发生过许多纠纷，我一点不知道。另一件就是大二哥他们两人闹矛盾，大哥佘燕昌管机械，是辛苦的，但他管不了厂。厂里大小事务由二哥管，银钱帐目在他手中，厂内事务大到招股东，厂外同地方上商界来往，应酬、打官司、处理纠纷，小到收麦子、仓库用人、花钱等都由二哥经手负责，他渐渐比较专断，处理事件把大哥甩开。大二嫂都来沙市后，自然是两个家，二嫂能干也厉害，事事占强，她们两人的矛盾也引起了大二哥间的矛盾。我后来去苏州读书，每年只在假期回沙市，常常听到大嫂的诉苦，后来她死了，大哥居然在苏州乡下买了两个女孩子说是当丫头，而且搬到荆州城里去住了，后来同其中一个女孩结婚，弄得名声很不好。他们之间究竟闹了多少纠纷，我一点不知道，也丝毫不去过问。记得在叨年代初，我已在大学读书，一年寒假我回到沙市，恰巧父母也在，大二哥在父母房里吵了几夜，我根本不去听，也不打听，后来据说在父母面前分了家，他们两人占的份额我不知道，当然二哥占的要多。四川巫溪县那一摊，主要是田地似乎也分了，我们家在巫溪有多少田地、房产我不知道，听说虽然分了，但交给我三哥佘贻栋管理，因为只有他一人在四川。二哥会经营，他除搞面粉厂外，自己另外做生意，赚了不少钱。大哥就靠在厂里的一份，除管机器外，搞新玩意如无线电、收音机等，他的境遇就不及二哥。我仍在读书上学，由二哥负责上学费用，好像我分得一份家当由他保管。这些都是后来听说的，当时我一点也不想去打听。
还有一件事，是母亲同我谈的。她老人家很自歉似地对我说，她给我订的一门亲事，就是她娘家的侄女，生病医不好死了。她问我有什么打算，是不是再自己找一个，“你这样大了，又在读洋学堂，该你自己找了”。她老人家很担心我的婚事。我说：“妈，自己不能自立，没有本事就不能成家，你看大二嫂她们是怎样过的，我还能有一个媳妇在这个家里受气吗？”妈听了很同情，只叹气，流眼泪。这是我妈最后一次同我谈话，我永远都记得。
抗日战争胜利后，大二哥及其全家又回到沙市，厂又开工，生意又做起来。二哥想在政治上找靠山，没有参加国民党却参加了青年党。大哥依然过他的逍遥舒适生活。解放战争，大二哥并未站在国民党一边，因为那时他们已知道我是共产党，他们的上大学的子女都反对国民党，同情共产党，有的已参加党的地下工作，在学校里活动，他们都知道我（叫我四爸）在共产党、解放军区域内工作。据他们后来对我说，好像共产党有股磁力把他们吸引住了。这样在沙市解放战争中他们站在解放军一边。解放初期，党的政策是发展工商业，正明厂仍然存在，大半做的是政府加工订货生意，但还是有钱可赚。记得在1950年大西南解放后，外交部派我去重庆在西南局领导下负责外事工作，我带了几个干部去重庆组建西南外事处。那时是由武汉乘轮船去四川，船到沙市停泊一夜，当时还不能夜航，我上岸去二哥家看望，受到了他们全家大小的欢迎，非留我吃饭不可，饭后二哥陪我上船，在沙市大街上走走，各大商店去看看，他很高兴、殷勤地向我介绍各大商店情况。虽然是夜间匆匆一过，我觉得沙市比我当时读书时要繁华多了。这是我同二哥最后一次会面。后来我去西藏工作了，同沙市方面断绝了往来。在50年代，大约是1955年前后，我来北京开外事会议，居然在我大哥女儿佘名华（她在《中国青年》杂志社工作）家遇见了二嫂颜姐，才知道二哥在公私合营后，受不了职工们的轻视，他投江自杀死了。也可能还有其他原因，比如要他交待与青年党的关系等。他是个个性很强、顶要面子的民族资本家，有能力，会经营，但自信自尊心太强，最后走向绝路。因为他的事影响了他的小女儿入党问题。大女儿和儿子早在解放战争时期的学校里，参军时已入了党。直到80年代他的问题才平了反，结论他不是反革命分子而是爱国的民族资本家。二嫂活到九十来岁才去世。
1950年我去重庆乘船过万县，在万县停泊一夜。大哥佘燕昌正在万县为正明厂收购麦、棉（好像他们又在合伙经营纱厂），我上岸去看了他。他自然高兴得很，他还带一个摩登女郎同住，只介绍她的名字没有说什么关系，马上包了一桌酒席，请了他在万县生意的朋友，为我大摆欢迎宴会，我对这套很反感。1962年后，我调回北京外交部工作，他忽然来信说他在各地旅游，要来北京看我。我那时还住在外交部招待所，我爱人生病在天津疗养，身边只有小瑜在芳草地小学读书。我同意他来，于是在1963年秋天他来北京同我见过一面。这时弟兄见面，共同语言不多，他简单地告诉我在上海住家，没有讲他的生活情形，实际他是在当二房东，后来公私合营，房子归公，他大概拿点补贴过活。住了几天走了，后来听说他被判为坏分子，