革军制，建立府兵制度。
大统三年（537），宇文泰开始整军。先是，东魏连年入侵，永熙三年（524）八月，高欢帅师攻克潼关，进逼华阴（今陕西华阴西南）；大统元年（525）春正月，东魏大行台尚书司马子如率军再攻潼关，见宇文泰已有准备，遂挥师攻华州（治华山，今陕西华县），赖著刺史王罴的拚力死战，才打退了东魏进攻；大统二年三月，高欢又亲率万骑袭取夏州，徙五千户而归。不久，又袭取灵州，徙五千户而归；大统三年正月，高欢又领军屯蒲阪（今山西永济县蒲州镇），于黄河上架设浮桥，准备渡河攻潼关。高欢恃戎马之强，年年进攻西魏，虽然未曾得手，但宇文泰知道，长此下去，实力处于劣势的西魏必然难以支持，当务之急，是要提高士气，增强战斗力，开拓兵源，扩充军队。
大统三年七月，宇文泰集诸军于咸阳，八月，率之于潼关整军，宣布军法军规，不得贪财轻敌，不得作威于百姓，与敌作战，用命则赏之，逃脱皆戮之。通过这次整顿，西魏军队的战斗力大大提高，不久，高欢率二十万大军入侵，西魏以少胜多，在沙苑（今陕西华阴县境内）大败高欢，俘敌八万余人。
随著军队素质的提高，宇文泰又进一步扩充军队，壮大军事力量。初，宇文泰在接受贺拔岳的以武川兵户为骨干的军团时，这一军团人数不过数千人，击败侯莫陈悦后，其大将李弼拥众万人来归，以后，跟随孝武帝元修入关的由鲜卑族人组成的北魏宿卫禁旅也有近万人，合起来，宇文泰掌握的军队约有近三万人，分别由十二个将军率领。沙苑之役后，又通过收编降军等不断补充，人数渐渐增多，到大统八年（542）三月，正式建立六军，时已有兵约十万人。
大统九年（543）二月，高欢将兵十万，渡过黄河，据邙山（今河南洛阳西北）列阵，宇文泰领军击之，战于邙山，大败，士卒损失六万余人，经过数年经营建立起来的一支军队损失大半。而当时关陇地区的鲜卑族人数有限，不可能再大量补充军队，因此，邙山之战后，宇文泰开始从汉族中间吸收兵员，三月，宣布征募关陇地区的豪强地主武装。在北魏末年的关陇起义中，豪强地主为了维护自己的利益，组织乡兵，东西魏分立后，这些地主武装并没有解散，仍然控制在豪强手中。宇文泰通过广募豪强以充军旅这一措施，把这些分散的乡兵武装变成中央军队的一部分，由政府选择关陇地区有名望的人物来统领，从而，既加强了中央对军队的控制，削弱了魏末以来的地方势力，又促进了武川军人集团与关陇地主的联合。此后，到大统十六年（550），又进一步把征兵对象扩大为所有的均田户，这样，西魏军队中汉族士兵的比重进一步增加。
同时，宇文泰又对军队统辖系统进行改革，形式上采取鲜卑旧日的八部之制，立八柱国。除宇文泰自己在大统三年（537）由西魏文帝任命为柱国大将军、都督中外诸军事，为西魏军队的实际统帅外，又在大统十四年（548）任命西魏宗室广陵王元欣为柱国大将军，但仅挂虚名，并无实权，另任命赵贵、李虎、李弼、于谨、独孤信、侯莫陈崇六人为柱国大将军，实际统率六军。每个柱国大将军下有两个大将军，共十二大将军；每个大将军下有两个开府，共二十四开府；每个开府下有两个仪同，共四十八仪同；一个仪同领兵约千人，一个开府领兵两千，一个大将军领兵四千，一个柱国大将军领兵八千，六柱国合计有兵四万八千人左右，这支军队，就是历史上所说的府兵。
宇文泰借用氏族部落的血缘纽带来组织府兵，使官兵之间蒙上了一层宗族的亲密色彩，以搞好将领和士兵间的结合，提高府兵的战斗力。事实上，府兵的组成，并没有也不可能真正倒退到氏族关系中去，但由于这种兵制多少带有一些过去部落兵制的色彩，因此从那些曾经沦落为兵户的六镇鲜卑来看，身份提高了，地位改善了，从而使府兵的战斗力也增强了。
大统七年（541）九月，宇文泰颁行了由苏绰起草的六条诏书，“先治心，敦教化，尽地利，擢贤良，恤狱讼，均赋役”。十一月，又颁布了十二条新制，和大统元年（535）三月颁布的二十四条新制合在一起，共三十六条。六条诏书和这些新制的内容十分广泛，包括政治、经济、思想、文化各个方面，并据此而采取了一系列措施。
在政治上宇文泰奉行以德治教化为主，法治为辅的统治原则。要求各级官吏用儒家学说修身，躬行仁义、孝悌、忠信、礼让、廉平、俭约等，恪守这些儒家道德规范。同时又向人民灌输孝悌、仁顺、礼义，用这些儒家伦理纲常观念束缚人们思想，以心和志静，邪僻之念不生，稳定统治秩序。
在用人上奉行唯贤是举，不限资荫，只要德才兼备，那怕出身微贱，亦可身居卿相。宇文泰的这一选官思想体现了打破门阀传统的新精神，保证了西魏吏治较为清明，也为大批汉族士人进入西魏政权开辟了道路。
在这一选人思想的指导下，宇文泰将来自不同方面的人聚拢在自己周围，如李弼原是侯莫陈悦帐下大都督，且互为姻亲，后倒戈归附，宇文泰毫