他熬练成为一位钢筋铁骨、勤劳俭朴的好庄稼人。因而家道也慢慢地好起来。尽管老人家读书甚少、文化很低，但胡耀邦还是非常尊重父亲的意见。他们的儿子有了三岁，尚喊着乳名，一直等到家乡解放与家人通讯时，才在书信中请求祖父给孙子取名字。
老人家到了川北之后，尽管满可以含饴弄孙，乐享天年，但他并未失去劳动人民那勤劳俭朴的本色。家门前的道路上长着野草，老人家却时常要去亲手铲除；给他买了一双皮凉鞋，一天他提出要孙子去为他买桐油来搽，他说搽了桐油要经穿得多。遗憾的是老人家享受晚景的岁月不长，从川北去北京之后，只有一年多就辞世了。
胡耀邦的母亲刘老夫人，性格温厚，慈祥可亲，待人接物，贤良慷慨。年逾古稀，尚耳聪目明。一家人都很尊敬她，许多家务事都要征询她老人家的意见。他老人家是在十年浩劫之中，精神上受到产重的冲击后，悻然离开人世的。
胡耀邦有同胞兄弟姐妹多人，其中成年的五人，他的年纪最小。他的三姐菊华，嫁给曾家，生育子女三人，丈夫病故后，由于儿女小，家庭生活异常困难，便于1947年改嫁。1950年第二个丈夫又去世了。胡耀邦刚去北京的那年冬天，便接三姐到京团聚，并自那时起，每年负担三姐大部分的生活费，直到浩劫之年他们自身难保时才中断。lg7l年三姐病重弥留之际，尽管他们自家尚在苦难之中，还给三姐寄来七十元医药费。三姐逝世后，又寄款来帮助料理后事。
他的哥哥耀福，是三十年代土地大革命时期的老赤卫队员。在白色恐怖的血腥岁月里，他却做过不少白面红心的事，曾巧妙地营救了几位革命同志的生命；国民党封锁苏区时，他设法购买过八百斤粮食去接济苏区。1949年家乡解放前夕，又积极参加中共地下党组织，投入了既是轰轰烈烈，又是无声无息的迎解工作，做出了较大的贡献。他现在是浏阳县政协委员，长沙市人大代表。
他的另一位姐姐建忠，也在三十年代参加革命，共青团员，做过苏区妇女工作，立过不少功劳。她曾经辛勤地从事浏阳著名土特产编炮制作的手工劳动，并以其微薄的工资收人，尽量资助胡耀邦读书。但不幸早已病逝。
爱唱歌的胡耀邦说：否定流行歌曲是一种愚昧。
“爸爸，还记得那一年在北戴河你和我们一起唱歌吗？”女儿问道。
“嗯，快20年了……”
那年夏天，中央在北戴河开会。会议闲暇期间，胡耀邦常常抓紧点滴时间博览群书，锻炼身体，并第一次同子女们一起学唱歌曲。茶余饭后，他常常拿着歌本招呼：“大家来唱歌呀，唱歌喽！”随后，便自哼自唱地坐到藤椅上。孩子们当然踊跃响应，围住他学唱。歌本里有革命历史歌曲，也有当时流行的电影插曲；有他会唱的，也有他不会唱的。他呢，有时当先生，有时当学生。当先生的时候，他一丝不苟，哪个地方符点音符没唱对，哪个地方
唱拖了拍，他都马上停下来，—一纠正。而当学生的时候，他却总是虚心听孩子们指教，反训复练习。他学得很快，一首没听过的比较复杂的歌，他往往学上几遍就会了。
有个描写我国跳水运动员刻苦训练的电影，叫《女跳水队员》，其中有支插曲——
《女跳水队员之歌》，是胡耀邦喜爱的歌曲之一。胡耀邦听到孩子们唱这支歌时，就立即请他们教他。他还问孩子们能不能做到歌中唱的那样“风里锻炼，雨里考验，我们是一群展翅高飞的海燕……样样本领过得硬，要求从严不从宽，千难万难都不怕，下苦功在少年……”后来，不管风浪多大，天气有多冷，胡耀邦总是和孩子们一起唱着这支歌，风雨无阻地下海游泳。他身上那种大无畏的革命气质潜移默化地影响着孩子们，使他们立志作个坚强的人，不怕前进中的磨难……
胡耀邦还经常唱《黄水谣》和《抗日军政大学校歌》。他一遍又一遍地耐心教孩子们学唱。这是多么好的歌曲啊！在战争年代里，它鼓舞了千千万万的人为民族的独立和人民的解放前赴后继。胡耀邦在抗大工作时，常常在集会上指挥大家唱抗大校歌。这首歌如今一直留在他的记忆里。
胡耀邦十分重视音乐在人民中间所起的巨大作用，他时常用歌曲激励大家的革命热情和斗志。他到胜利油田视察工作，在干部大会上讲话时又一次唱起了《抗日军政大学校歌》：
“黄河之滨，集合着一群中华民族优秀的子孙，人类解放救国的责任，全靠我们自己来担承……”
胡耀邦唱得那样的高亢，那样的富有感染力，使到会的一千多名石油战线的干部都情不自禁地热烈地鼓起掌来。
胡耀邦接着说：“你们这里不也叫黄河之滨吗？……现在我就把歌词换几个字。‘人类解放’换几个字，叫‘四化希望’；‘救国的责任’也可以改两个字，叫‘能源的责任’；‘全靠我们来担承’，我看也可以改成‘全靠我们打头阵！’歌词就改成了这么几句话：
“黄河之滨，集体着一群中华民族优秀的子孙，四化希望，能源的责任，