十二月汉嘉太守黄元就反了（次年三月被剿）。而据《三国志·诸葛亮传》，刘备去世后，南中地区各郡居然全都反了（南中诸郡，并皆叛乱）。可以这么说，刘备建国，基础不牢；夷陵战败，地动山摇。
这无疑是让刘备深感忧虑的事情，而为他可以分忧的只有诸葛亮。这是刘备要“托孤于丞相亮”的原因。那么，为什么又要以李严为副呢？因为另外两股力量也不能不考虑。也就是说，所谓“旧人”当中，也应该有代表人物，而李严是最合适的。据《三国志·李严传》，李严原本是荆州人（南阳），曾经在刘表手下做事，因为能干而名扬一时（以才干称）。曹操南下，刘琮投降，李严却西行投奔了刘璋。刘备入蜀，李严又率众投降了刘备。所以，刘备选中李严，除清代何焯《义门读书记》提出的“蜀土故臣，宜加奖慰”；“荆土归操，严独西归”；“理民治戎，干略亦优”三个原因外，恐怕还因为他在所谓“旧人”中，和刘备的“荆州集团”关系最好，也最密切。
当然，更重要的还是他的代表性。前面讲过，蜀汉政权是由三股政治势力组成的，而这三股政治力量在刘备心中的分量是不一样的。从当时政权的结构不难看出，荆州集团是政权主体，东州集团是团结对象，益州集团是防范对象。这并不奇怪，因为以刘备为首的荆州集团是一股新的外来势力。他们要在益州站稳脚跟，不能不团结依靠比他们来得早一些的外来势力。这就是东州集团。东州集团半新半旧，亦客亦主，正好可以起到一种沟通新旧双方的作用。这样一来，属于东州集团又亲近荆州集团的李严，便成了刘备寄予厚望的人选。
实际上刘备的这一安排的用心极深。首先，它体现了处理新旧关系的基本原则。这个原则虽无明文记载，却不难从蜀汉政权的官员任命中看出，那就是“后来居上，不容颠倒；以我为主，兼容三方”。因为要“以我为主”，所以诸葛亮为正；因为要“兼容三方”，所以李严为副。也就是说，刘备的托孤，是用人事安排的方式留下了自己的政治遗嘱。这也是后来诸葛亮能够废掉另一位顾命大臣的政治底气——此人挑衅了“后来居上”的原则。
但这只是“首先”，还有“其次”。其次就是刘备的“帝王心思”了。据《三国志》之《李严传》、《先主传》和《诸葛亮传》，刘备将李严召到永安，拜为尚书令，是在章武二年（公元222年），月份当在十月。召诸葛亮到永安则是在第二年，即章武三年（公元223年）的二月。从两个人到达永安的时间和“严与诸葛亮并受遗诏”这句话看，刘备对诸葛亮说“如其不才，君可自取”时，李严很可能是在场的，至少也是知情的。这就很有意思了。有什么意思呢？一方面，刘备是在告诉李严：诸葛亮是朕最信任的人，信任到可以让他“自取”的程度，你不要挑衅他的地位！因为李严作为“旧人”的代表，既可能维系新旧关系，也可能促成旧人异动。这是一把双刃剑，不能不防患于未然。因此田余庆先生认为，诸葛亮的角色是打鬼的钟馗，而且“这个鬼就是李严”。
不过，依我“小人之见”，事情恐怕没有那么简单。或者说，李严未必这么理解。李严很可能认为，刘备是在“用为君的两手对付为臣的两手”，否则为什么安排他留镇永安？无非是在暗示，如果诸葛亮当真取刘禅而代之，他李严就可以从永安出兵勤王。这是李严敢于和诸葛亮抗衡的政治底气。正因为这样，他才要求开府，要求当巴州刺史，才写信要诸葛亮接受九锡，晋爵称王，也就是看看诸葛亮是不是有“不臣之心”。他认为这是在执行刘备的政治遗嘱，所以理直气壮。
当然，这些都是猜测。我们还是愿意善意地相信，刘备的愿望，只不过是新人旧人和衷共济，荆州、东州、益州三个集团同心同德。
现在看来，刘备虽然用心良苦，但他的愿望还是多少有些落空。一方面，诸葛亮的手太紧，只肯让名，不肯让权。另方面，李严的表现也让人失望。第一，自视甚高，难以共事。当时的民谚有“难可狎，李鳞甲”的说法，意思是李严的身上有鳞甲，轻易碰不得（乡党以为不可近）。这一点，《太平御览》引《江表传》和《三国志·陈震传》都有记载。第二，朝秦暮楚，挑拨离间。据《三国志·陈震传》，诸葛亮曾写信给蒋琬和董允，说我原本以为李严只是不好合作，不惹他就是（吾以为鳞甲者但不当犯之耳），没想到他还会有“苏张之事”。所谓“苏张之事”，也就是像苏秦、张仪那样搞“穿梭外交”。这在政权内部就是破坏安定团结了。第三，拥兵自重，分庭抗礼。比如他要当巴州刺史，在诸葛亮看来就是要搞独立王国。他要求开府，在诸葛亮看来就更是对抗中央。
这就让诸葛亮为难。诸葛亮深知，作为丞相，他要做的工作，是巩固新人地位，稳定旧人情绪，协调新旧关系，消除新旧界线。这是他对李严一让再让的原因。但是，团结不能是无原则的。李严既然挑衅了“以我为主，后来居上”的原则，那就只能假借理由废了他，哪怕这口实“难于置信”（田余庆先生语）。
现在可以得出结论：诸葛亮废黜