在稍知西汉历史人们的心目中，霍光一人十分关键。他以霍去病异母弟弟的身份入侍宫中，受武帝临终托孤，自后辅政20年。不少时人及历史学家视之为伊尹。伊尹为商朝重臣，受先王嘱托辅佐几朝后王。太甲当政时荒淫无道，伊尹将太甲放逐出京，待到3年后太甲悔过，才接回复位，伊尹是一个敢于逾越常规但骨子里忠心耿耿的人物。偶尔也有人指责霍光过分揽权，逾越礼制，为乱臣贼子无疑。一褒一贬，针锋相对，不能不在霍光身上笼罩一层疑云。
按照史籍记载，霍光为人沉静详审，资性端正，连长相也潇洒至极。他身长1.68米，按当时男子的标准不算太高，但是脸面白净，眉目疏朗，更有一部好胡子，一看就知道是一个正派、谨慎的君子。他为奉车都尉（管理御车），一直跟随侍奉皇帝，出入禁宫20余年，未尝有误，每次出入殿门，脚步都落在相同之处，人们在旁偷看，发现每次竟然不差分毫。武帝也正是默察霍光心性，认为可以嘱托大事，遂在死前托孤，杀母立子。昭帝8岁即位，政事全决于霍光。
霍光辅佐昭帝13年，“百姓充实，四夷宾服。”昭帝死时，无子，由霍光选武帝之孙、昌邑王之子刘贺为帝。刘贺即位27日，即由霍光作主，由皇太后出面废黜。这是中国历史上极为少见的废帝而不改宗庙之事。《汉书·霍光传》中有一长文，历数刘贺的种种悖乱之事，证明霍光等人的赤胆忠心和决断手段。事后霍光又立宣帝，6年后霍光病死，皇帝亲临其丧，下诏曰“功比萧相国”。
但是史籍中确实也透露出有关霍光的种种疑点。比如一般认为，武帝临终时向霍光等3人托孤，可是当时的右将军王莽（不是后来篡位的那个）之子王忽在宫中当侍卫，却到处宣扬说：“武帝病死时，我常在左右，何来遗诏向此3人托孤之事？不过是这帮小子相互抬轿造假罢了。”霍光听说后，将王莽找来切实痛责，王莽随后将儿子用毒药药杀。又说昭帝刚即位时，一夜殿中闹鬼，群臣相惊，霍光召来掌玉玺的官员，要代管玉玺。此人不肯给予，霍光便欲强夺，此人按剑曰：“臣头可得，玺不可得也。”更为可疑的是，霍光废刘贺时，将皇帝带来的200余人一道诛杀，这帮人在临死前大叫：“当断不断，反受其乱。”刘贺即位时已有十六七岁，又当过诸侯王，手下有一批谋臣死士，可能想摆脱霍光专政的局面。霍光也正是看到这一点，才先发制人，所以有人便直指霍光为野心家和阴谋家，只不过是掩饰得较好罢了。
今日距西汉昭宣已2100余年，评论霍光如果只求之于史籍，确实难明。实际上，就是东汉班固作《汉书》时，所依据的材料也有可能被前人篡改过，班固只能根据说法不同的各种材料，折衷实录。后人对霍光各执一词，也都有其根据，并无确凿的铁证一定支持某方。
不过我们既然谈了这个题目，即使史料多阙，也不妨先撇开霍光而从别的角度借以观察。众所周知，文景时期主要信奉黄老无为之学，自从武帝即位，则马上褒扬儒家思想，以皇帝为天下至尊，刘彻一生便为建立专制统治一事费尽心力。我们前面说到无爵丞相和董仲舒等人时多有涉及，此处也不必详说。总而言之，经过武帝的努力，时人对中央强权已经习以为常，而以武帝办事的气魄和手段，比如杀母立子一事，也足以让人深深叹服而无从生出二心。昭帝一朝，承接武帝遗制，又遵循武帝晚年撙节爱民的政策，一时化解了诸多社会矛盾，人心翕然从之，中央权威的稳固则可以想见。在这样的背景下，任何一个重臣，都不可能撇开中央权威而另搞一套。相反，只有在中央政权的旗帜下，自己的想法才有可能推行。如此说来，极端地看，即使霍光真是一个野心家，也不可能做出太过分的举动，他甚至不可能产生太过分的念头，因为任何思想也不过是现实条件的产物。只有当中央政权威信丧尽、掌权者又无德无能时，乱臣贼子才会应运而生。所以曹操一生不管如何克己，由于汉献帝的无能和东汉中央权威的丧失，便不能不产生过分的念头。《三国演义》对曹操的丑化，是广大读者一种自然的下意识的反应。如此，反过来看，霍光本人即使真有野心，也不得不采取谨慎恭敬的姿态，而终生保持谨慎恭敬，自然也就遏制了他产生太非分的念头。所以，霍光只能是霍光，而不是篡位的王莽。历史人物的行为常常并不完全出于自己的决定。