解，认为霍英东自己就是靠一个人白手兴家的，没理由反对子女从商创业。其实，正是由于他自小在商界打滚，见惯商界的风风浪浪，深知商界险恶，故而不希望子女像自己那样去冒险。他有一个心愿：多一些子女成为律师、医生、工程师、会计师之类的专业人士，更直接地为社会、为公众服务。事实上，就有子女如霍英东所愿，从国外学成归来后，不靠父荫，靠个人本事打天下，成为专业人士，其中有一个儿子还是政府属下的玛丽医院的高级医务人员。
在10多个子女当中，只有“震”字派的三兄弟在霍氏集团，协助霍英东处理家族庞大的生意。霍英东做出这样的安排，当然是基于把家族生意发展光大的考虑。
霍英东在家族中实行的是传统的家长制度，而子女们也对这位威严的慈父言听计从，一
切服从父亲的安排，故霍英东对子女们的表现算是甚为满意，从来不太操心；唯一让他时常紧皱眉头的，就是那个名义上是他儿子的霍文芳。
霍文芳喜欢在外头做自己的生意，霍英东对此大加反对。我曾听说这样一件事，有一年，霍英东在香港接到内地东北地区某省政府的来电，对方称：令公子文芳不久前和我们商谈合作拆烂船生意，我们已决定与他合作，并且会大力支持，尽力配合。对方原认为霍英东会表示感谢，谁知霍英东当即在电话里说：文芳与你们谈的生意，我一无所知，也与我无关，希望你们慎重考虑，放弃与他合作。结果，这宗生意最后还是不了了之。据说，在此前后，霍英东曾多次责骂霍文芳，叫霍文芳绝对不能打他的招牌与别人谈生意。
令霍英东最为恼火和难堪的是，1991年底，霍文芳涉嫌非法贩卖军火，在美国纽约被捕。霍英东听闻此事，极度震惊，愤怒非常，对着冯坚妮，口口声声大骂霍文芳为“衰仔”。
此事搞得霍英东面目无光，但爱子心切，他还是强忍愤怒之火，四出斡旋。
霍文芳一案公开于世后，霍英东当即透过发言人发表声明，称霍文芳有自己的生意，并很少与自己来往。但有些不了解内情的人，还是猜测此案与霍英东有关。其实，霍文芳涉嫌贩卖的15000支AK47自动步枪，利润只有240万美元，折合港币约1800万元，且还是与合伙人共得。这点钱相对家财上百亿的霍英东而言，是一个微不足道的小数目。在这之前的10年间，不包括投资部分，霍英东捐给内地的款项就超过10亿港元。试想，家财雄厚的霍英东，难道会贪图这点小利润而不惜牺牲自己的声誉，拿儿子的前途、生命去赌博?
据说，后来霍英东花了几十万美元担保霍文芳回港。霍英东一见到他，就劈头大骂，并
声称对他在外头惹是生非不再理睬，果然，从此两父子在家庭聚会时，霍文芳虽也偶有出席，但霍英东每次见到他出现，心里总是涌上一股怒火，虽然不再骂他，却不再与他说一句话，形同陌路人，且每次都不会给他好脸色看。
后来，洪国华因丈夫涉嫌贩卖军火一事，亲自向霍英东提出与霍文芳离婚的要求，霍英东体谅、明白媳妇的心情，当即表示支持。洪国华带着与霍文芳生的儿子单独生活后，曾于1995年年中接受《明报周刊》记者采访，谈及此事：“我提出离婚要求，多谢老爷(霍英东)与奶奶(冯坚妮)都支持我的想法、做法，他们更在生活上照顾我们。得到他们的同意，我终于可以过回自由的生活。”