后来高野贞吉的长子高野让在北海道从事开拓事业时，其主持的农场因一场大火化为灰烬，高野引咎自责，不得已拿出全部家产赔偿。虽然事情得到圆满处理，但高野家的生活却因此更加贫困。高野五十六的五哥、年仅14岁的高野季八只读完小学就离家自谋生路去了，高野五十六一生十分尊重的其大哥的女儿高野京子，也为处于困境的高野家作出了牺牲，中断学业去东京帝国大学医院当了护士。在这样一个贫困的旧士族家庭里，高野五十六幼年时代的生活是很艰难的。夏天他要照看菜园，冬天要清除积雪，整年要去捕鱼，唯一使他快乐的是他的姐姐带他去看祭祀神社的舞蹈。每次看罢，回家照例自己要模仿一番，手拿两只盘子，上下左右来回旋转，名曰“盆舞”。每当家里有客人时，他的父亲会让他给客人表演，以博得客人的高兴和喜欢。这样的家庭生活环境，造成了高野五十六沉默寡言的性格，同时也受到了武士道精神的熏陶。高野五十六小时候，他的父亲告诉他关于那些长得像猴子一样的“野蛮人”的故事：他们驾驶着黑色的船，撞开日本的大门，威逼天皇，破坏日本的风俗习惯，给日本带来了灾难。他母亲给他讲述的长冈之战的故事，也在这个武士之后幼小的心灵中留下了深刻的烙印——
①版，指版图，即土地；籍，指户籍，即人民。江户时代实行分封制，诸侯大名割据一方。明治维新时，为加强中央集权，削弱封建落主的势力，明治政府于1869年下令各藩将土地和人民“奉还”天皇。一作者
②明治维新时，日本政府为取消武士俸禄而发行的货币公债。——作者
189O年3月，高野五十六入阪上小学，开始了学校生活。据其老师后来回忆说，五十六是一个很聪明的孩子，老实听话而寡言。艰难困苦的生活使他一心扑在学习上而无心他顾，因此学习成绩一直很好，在同级生中经常是数一数二的，每年都能得到学校的奖励。在他小学毕业那年，得到学校的优等奖，并获得教育奖励会樱花银质奖牌一枚。
1896年4月，高野五十六小学毕业，升入长冈中学。长冈中学的前身是长冈洋学校，1872年（明治5年）11月由几名旧长冈藩士倡议成立的。关于它的成立，还有一段对长冈中学影响深远的故事。戊辰战争时，长冈藩作为保幕派参加了对明治新政府的战争，结果一败涂地。激烈的长冈之战，使长冈城毁于战火，长冈藩士和居民的一切财产也因之被烧个净光，藩主河井继之助及山本带刀以下全藩武士死伤过半。戊辰战争结束后，又因长冈藩是叛逆之藩被政府削藩减地，俸禄由原来的7.4万石减至2.2万石。长冈藩士真正陷于了食无物、居无所的困境。与长冈藩的凋蔽形成鲜明对照的是，经过明治维新，整个日本获得了新生，由明治政府发起的资产阶级改革运动正轰轰烈烈地在全国范围内展开。在这种情况下，一些有远见的武士认为，要改变长冈藩的屈辱地位，振兴长冈，唯一的办法是兴办教育，培养人材。于是，他们在“正因为吃不上饭所以办教育”的宗旨指导下，依靠峰冈藩给长冈的救济米，加上柏崎县大参事南部广矛的赞助，建立了长冈洋学校。特别高薪聘请了福泽谕吉①的高足、长冈藩出身的藤野善藏为校长兼英语老师，工资破天荒地高达125日元。可见他们对兴办教育的决心有多大，对教育的期望有多高——
①日本近代著名启蒙思想家。幕府末期曾三次赴欧美学习近代西方文化，后从事教育、著述，著有《劝学篇》、《文明论概略》等。——作者
1873年5月，柏崎县废，与新渴县合并。新渴县政府根据学校统一管理的方针，将各地学校统统划为新渴分校，尽管长冈洋学校要求独立，但未获批准。11月，长冈洋学校正式成为新渴学校第一分校。后来由于学校经费发生困难，几乎达到无法维持的地步，一些教师以不取报酬为条件，要求恢复长冈学校的校名。于是县政府关闭了高田、柏崎、新发田三校，而仅保留了长冈学校。187O年8月，长冈中学改为郡立，在高野五十六毕业的前一年，又改为新渴县立。
建立长冈中学有着特殊的背景，在校内任教的老师大部分都是旧长冈藩的武士，学生也大都是士族之后，落塾色彩十分浓厚。在这样一所充斥武士的学校里，高野五十六所受的武士道教育有多么深厚就可想而知了。
当时，长冈藩武士为了培养可造就的“人材”，还于1875年创建了一个育英事业团体——长冈社，专门用来资助那些有希望进一步升学，可造就为天下有用之材，而经济条件困乏者。在高野五十六以优异成绩小学毕业后，长冈社便决定对他进行资助，资助的经费是1个月1日元。虽然高野家并没有穷到非要借钱供五十六上学的地步，但高野贞吉还是答应了长冈社的要求。这样，五十六便依靠长冈社的资助上了中学。虽然长冈社资助的金额并不多，1年12日元，5年合计不过60日元，但这种形式对高野五十六却是一种刺激。据说他在上中学的几年中一直非常节约，大部分教科书都是由他自己抄写的。5年的时间内，他只穿了一套校服，回到家马上脱下，穿上