他前夫的表兄弟也是弗吉尼亚军校的同学乔治·休·史密斯结婚。他的先辈中有许多显赫的教士和律师。他对4个继子视如已出，最大的孩子乔治·威廉·巴顿为了纪念生父和继父，按照合法的程序把自己的名字改为乔治·史密斯·大巴顿。
巴顿将军的父亲在莱克辛顿进了弗吉尼亚军校。1927年巴顿将军40多岁时在署名为《我所了解的父亲及记忆中和传说中的父亲》一文中写道：
和各州都有权指定西点军校学员一样，弗吉尼亚州有权指定有资格进入弗吉尼亚军校学习的学员，其中有一些名额是留给那些在内战中死去的联盟军官的子嗣们的，因而爸爸得到了一个名额……他和他的叔叔约翰·莫西·巴顿生活在一起……约翰曾经在整个内战期间统率过一个团。他所参加过的战斗远比其他8个巴氏兄弟多，曾有6次子弹擦过他的衣服，还有一次他座下的马被射中，他却一次也没有受过伤……
爸爸说尽管他学过拉丁文，但直到他要动身去莱克辛顿的前一天他才知道“凯撒”是拼成“caesar”，而不是“ceasar”。这件事对我是一种安慰，因为我的拼写也很糟糕。
爸爸去弗吉尼亚军校报到时，他订做了制服。裁缝温斯菲尔德先生拿出了记录过去尺寸的本子，把祖父的尺寸指给爸爸看，那尺寸和爸爸的一模一样。1930年我去弗吉尼亚军校学习的时候，温斯菲尔德先生仍然是裁缝，他先给我看了那两套尺寸，后来再给我量的时候发现我的尺寸和祖父、爸爸的一样，所以我的第一套衣服是按照祖父和爸爸的尺寸订做的。一次爸爸穿着灰色的军装出去骑马时，一位联邦将军问他是不是叫乔治·巴顿。当我想去西点军校学习的时候，少校李——一位曾经在内战期间在南方联邦炮兵部队中作战的军官、一位忠诚的共和党问爸爸他有没有什么亲戚曾经去过葛底斯堡。
他的叔叔死在那儿。
在写我的祖先们的光辉的历史时，我详实地记录了我父亲所告诉我的一切，可能有时事情和人不太对号，但这些事情是我的先辈们做的，这是不容置疑的事实，正是这些事迹大大地鼓舞了我。我真诚地希望我的子孙们在读了这些笔记以后也能和我一样，同样地受到鼓舞，并忠实于这个家庭的光荣传统。
1877年巴顿将军的父亲从弗吉尼亚军校毕业后，在校担任法律教师一年。……
后来，爸爸在他的舅舅格拉西尔那儿学习法律，又在他的律师事务所工作。1884年12月28日，我的父亲娶了我的母亲露丝·威尔逊。一开始他们住在温雅湖。我就是在那儿出生的……
后来又到洛杉矶。我们住在山上，山下是法院，我的妹妹妮塔出生在这里。记事的时候，我就看到卫兵在法院下边那座监狱的墙外走来走去地巡逻。后来由于爸爸身体不好，他不得不离开律师事务所，永远地回到了温雅湖。在那儿，我渡过了我的童年时光。
巴顿崇拜他的父亲和他的祖先，但可能他自己一直都不清楚自己像母亲家里的人像到了什么程度，尤其是外祖父本杰明·戴维斯·威尔逊，巴顿在相貌和个性上都像极了他。
乔治利巴顿小的时候和父亲、母亲和妹妹妮塔还有几个佣人住在一起。
1927年巴顿写道：我记得最清楚，一次我和妮塔在米申峡谷口玩的时候，看到爸爸骑着安妮姨妈的那匹叫做贝塔的栗色马驹出门。我想和他一起去，但他让我玩修建城堡的游戏，还下马来用岩石手把手地教我。当他又骑上马穿过峡谷的时候，我们的保姆玛丽说：“你该为是这样英俊潇洒的西部百万富翁的儿子而骄傲。”当我问她什么是“百万富翁”时，她说“就是农场主”。
1927年乔治·史密斯·巴顿《我的父亲》。
在我小的时候，每次跟爸爸妈妈说晚安的时候，通常会亲爸爸许多次却只亲妈妈一次，这显得很幼稚。爸爸过去常告诉我，为了让家里的日子富裕一点，他操心得要死。我说我也想操心。他问我为什么，我说我怕他会卖掉布洛克——他的一匹纯种马。
我和妮塔一人有一件钉有铜扣子的蓝色水手服，妮塔常说她是上校，而我却自称是上等兵，因为那时我觉得上等兵级别要高一点儿。每天早晨，爸爸骑着马要走的时候，他总是向我们敬礼，问候“上校”和“上等兵”。
有时候我和妮塔互相换穿衣服去吃饭。一次我正穿着妮塔的衣服，爸爸讲起了罗伯特·李的故事。我听得兴奋极了，但爸爸说因为我穿得像个女孩子，极有可能是不好斗的，我就放声大哭起来……
1892年妈妈要带着安妮姨妈去东部做手术。她们走后，爸爸就给我和妮塔朗读《伊利亚特》和《奥德赛》。在客厅靠近壁炉的地方有一把很大的椅子。我和妮塔一个坐在他的腿上，一个就坐在旁边的椅子上。
那时爸爸总是穿着一件棕色白色相间的格子便衣。妈妈说爸爸总留着这件衣服是因为上面有我的味道。我小的时候常把吃的东西吐在上面。
在我还很小的时候，爸爸给我买到一支22式步枪。一次爸爸、妈妈