尔朱荣在其鼎盛时期有一次忽然问左右：“哪天我死了，谁能够做军中统帅呢？”周围人都回答：“尔朱兆。”尔朱荣不以为然。他说：“尔朱兆虽然勇猛善斗，但能统领的人马不过是三千左右，军马多些他就乱了阵法。能代我统军的，只有贺六浑（高欢）。”虽然英雄识英雄，惶惶相惜又相戒。对高欢产生疑戒心后，他一方面指醒尔朱兆要暗加提防，一方面把高欢远调为晋州刺史。不久，尔朱荣为魏庄帝诛杀，尔朱家族纷纷乘兵反叛朝廷，身为一方之将的高欢审时度势，又打上了尔朱氏领下降兵的主意。
六镇造反的降兵大多是鲜卑人，还有不少汉人、匈奴人、高车人、氐人、羌人。他们被迁置于河北后，不断受到尔朱氏契胡兵士的凌暴，屡屡造反，大小二十六次，被杀过半，仍造反不已。刚刚缢死魏庄帝、掌握魏国朝政的尔朱兆（尔朱荣侄子）对此感到头痛，向高欢咨询意见。高欢回答：“六镇降兵反叛不休，又不能全部杀掉，大王您应选心腹之人去统领他们。再有反叛，就归罪其将领，不能每次都杀掉大批的兵士。”尔朱兆觉得建议很好，就问谁能去当统领。一席饮酒的贺拨允在建议，让高欢去统领六镇降兵。高欢佯装大怒，起身一拳打得贺拨允满嘴冒血，门牙落地，骂道：“太原王（尔朱荣）活着的时候，说怎么样就怎么样，现在太原王死了，天下事都听尔朱兆王爷的，你是什么东西，王爷没发话能轮到你说三道四！”尔朱兆很感动，觉得高欢忠心耿耿，就趁酒劲宣布高欢为六镇降兵的统军。高欢心中大喜过望。一直以来在尔朱氏手下混事，缺的就是自己能直接指挥的军队，天假其便，出了贺拨允这个大傻冒给自己提名，尔朱兆又喝酒过量，发出这么一个命令。恐怕尔朱兆酒醒后后悔，高欢出大营后马上宣令：“我受命统管镇兵，都到汾东受我号令。”立刻驰奔阳曲川，建立统军大营。六镇降兵一向厌恶尔朱氏和他手下的契胡兵士，极短时间内就奔赴高欢处集合完毕。
不久，高欢上书尔朱兆，表说山西霜旱灾多，兵士没有粮食，请求移师山东，解决军粮问题。高欢本意是远离尔朱兆，摆脱他的威胁和控制。尔朱兆长史慕容绍宗见书立即劝道：“不可！现在四方乱起，人怀异望。高公雄才盖世，又握兵于外，正如借蛟龙以云雨，再也不能控制他了。”尔朱兆勇而无谋，说自己和高欢是拜过把子的兄弟。慕荣绍宗说：“亲兄弟尚不可信，何况是把兄弟！”尔朱兆大怒，把慕容绍宗关进牢房，下令高欢移军山东。高欢率军自晋阳出发，中途遇见尔朱荣的老婆带着大车小车的财物从洛阳返山西，又有好马三百匹，就派兵把马匹全都抢为已有。尔朱兆听婶子哭诉后大怒，忙把慕容绍宗放出来问计。慕容绍宗说：“高欢现在还跑不掉。”于是尔朱兆自己亲率军队追赶。追至襄垣，恰值漳水暴涨，高欢隔河拜谢：“我借公主马（尔朱荣的老婆获封为北乡长公主，不是魏朝宗室女）是为了用来抵御山东盗贼。如果您相信公主的谗言，我就过河受死，只怕您把我杀了，我属下这些人马上就叛亡而去。”尔朱兆胆大无脑，策马渡水，与高欢在营帐间坐定，抽出佩刀给高欢，伸出脖子让高欢砍。高欢大哭，诉说尔朱家族对自己的恩惠和自己的忠心。于是两个人欢饮极醉，又杀白马盟誓。夜间，高欢属下尉景埋伏壮士要杀掉尔朱兆，高欢马上阻止：“现在杀了尔朱兆，他的党羽一定奔归聚结报仇，我们马少兵饥，不能相敌，如果有英雄趁机而起，将成大祸。尔朱兆凶悍无谋，还是放了他好。”转天早晨，尔朱兆归营，又下令让高欢渡水过到他的大营。高欢也想壮着英雄胆过去，被部将孙滕劝止。尔朱兆隔河破口大骂，无奈河水奔涌大军又过不去，只得驰还晋阳。高欢回营，到了军中统管兵士家属的念贤那里假意寒暄。念贤是尔朱兆安插在高欢营中的心腹，用以监视高欢。高欢坐下后就夸念贤腰中宝刀漂亮，取来观看。念贤不知是计，递刀与高欢。高欢随手一刀，消除了尔朱氏在军中最后一个钉子。
高欢到山东后，严肃军纪，秋毫无犯，每过麦地，自己下马拉住缰绳，当地人民非常欢喜，受到拥戴（这和《三国演义》中曹操的表演同出一辙）。高欢尚不知自己属下对尔朱氏控制的魏朝有多么忠心，他还不敢明挑和尔朱氏决裂。为了让属下军人无路可退，和他一道起兵，他想出一计——他派手下人伪造尔朱兆的军令，下令高欢所率六镇降兵全部要回山西，作为契胡军人的部曲去攻打稽胡。本来六镇降兵就一直饱受尔朱氏契胡兵的欺凌，现在要被征发去当契胡人的奴兵，都有生不如死的感觉。高欢假装军命严急，从军中简选万余兵士，马上催促出发。部将孙滕和尉景也假装为士兵请命，宽缓五日。士兵又忧又惧，高欢接着又假意再宽缓五日行期。待到六镇军士的惊恐酝酿得差不多，火候正好，高欢作为统帅，与这支万余人的先遣军举行告别式，他自己也泪落如雨，作出一副万般无奈的样子。即将踏上去山西之路的士兵一片嚎哭之声，悲从中来，惊天动地。高欢叹息一声，说：“我和你们都是镇户出身，一家人呵。现在西去打仗，肯定得死！迟误军期，到目的地后也得死；发配给契胡人当部曲，还得死！总之，都是死路一条