爾朱榮死後,高歡內心就已萌發了和爾朱氏家族分庭抗禮的打算,對於爾朱兆的命令也是愛搭不理。但彼時高歡的實力還有限,想要全面對付爾朱氏家族也不現實。對高歡來說擴充實力是當務之急,而他將目標鎖定在了六鎮之亂的降兵們身上。
葛榮兵敗後,他那二十多萬的部眾被流放到了并州、肆州等地,等待他們的依舊是苦不堪言的壓迫。爾朱榮和他的契胡軍士們一直殘酷地凌虐、剝削這些人,於是這些人在忍無可忍之下再度進行反抗,叛亂次數前後大大小小共計。即便爾朱榮派兵鎮壓,屠殺了他們一半多人,反抗依舊沒有停歇。等到爾朱榮被元子攸殺了之後,這些人的反抗也越發激烈。
能力遠不及爾朱榮的爾朱兆對此自然是一籌莫展,頭疼不已的他趕忙找來高歡詢問對策。高歡對此似乎早有對策,他對爾朱兆說道:“這些反叛的六鎮之民全部殺掉是不可能的,也不能任由他們一直反叛。為今之計只能選派一位您的心腹之人去統領六鎮軍民,如再有反叛者,則懲處您指派的首領,如此一來受到處罰的人也就少了,叛亂也就會消停了。”爾朱兆本就是有勇無謀之輩,加之此時又已喝得醉醺醺,便立馬拍手叫好說:“好主意!但派誰去合適呢?”
這時同樣在場的賀拔允立馬向爾朱兆推薦高歡最適合這個位置。誰知高歡立馬發怒,直接揮拳朝賀拔允的嘴打了過去,剎那間賀拔允滿嘴鮮血直流,一顆牙齒也被高歡打落。但高歡似乎還不解氣,又大聲怒罵賀拔允:“天柱大將軍(爾朱榮)在世的時候,我高歡受其調遣如鷹犬一般不在話下。如今天下之事全由大王(爾朱兆)說了算,大王都沒發話哪輪得到你賀拔允大膽妄言”說罷高歡請求爾朱兆處死賀拔允。
作為賀拔岳、賀拔勝的哥哥,賀拔允自然也不簡單,事實上他和高歡關係還非同一般。如今他倆在爾朱兆面前拳腳相向,很大概率是一出苦肉計,但頭腦簡單的爾朱兆在酒精加持下哪會想到這些。他只覺得高歡對自己很忠誠,於是便將六鎮軍民交與高歡統領。高歡得令之後自然是欣喜若狂,擔心爾朱兆酒醒之後又反悔,高歡便趕快走出營帳,對將士們宣布這一命令,並讓所有人到汾河東岸集合。之後高歡在陽曲川建立了幕府,安置所部,恨透了爾朱氏和契胡軍士的六鎮將士對此自然是十分高興,極短時間內就奔赴高歡處集合完畢。
此時的高歡雖然開始有了本錢,但畢竟還是在爾朱氏勢力的眼皮子底下。於是沒過多長時間,高歡以并州、肆州連年霜旱,兵士沒有糧食為由,派劉貴向爾朱兆請示讓自己率領手下到太行山以東去乞食。爾朱兆毫不猶豫的批准了這一建議,長史慕容紹宗趕忙出來勸諫爾朱兆不可讓高歡離開,結果反被爾朱兆囚禁。
原本事情到這高歡已經成功大半,可他在從晉陽出滏口的中途遇上了從洛陽回來的爾朱榮妻子北鄉長公主,見北鄉長公主帶有三百匹好馬,高歡便將這些好馬全部截奪下來,另用差馬與其調換。北鄉長公主回到晉陽向爾朱兆哭訴了這事,爾朱兆聞言勃然大怒立刻放出慕容紹宗詢問計策,隨後親自率軍追趕高歡。
好在高歡運氣不錯,爾朱兆追至襄垣縣時,正值漳河暴漲,橋樑被沖壞了,雙方隔河相對。高歡隨即又施展了巧舌如簧的本領,將搶馬一事說成了是為防備山東的盜賊罷了。結果爾朱兆還真信了,甚至還投刀於地,自己過河與高歡殺白馬而盟,誓為兄弟,並在高歡帳內留宿夜飲。期間高歡手下尉景想埋伏壯士捕殺,但高歡考慮到此刻己方兵飢馬瘦,還無法對抗其餘爾朱氏家族的成員,於是極力阻止。次日爾朱兆渡河回營,又下令請高歡到自己營帳一敘,結果在孫騰勸阻下沒有前往。爾朱兆對此竟然也沒有發作,只是隔河責罵高歡,隨後便率軍馳還晉陽。
就這樣高歡猶如蛟龍入海脫離了爾朱氏的控制,有人有地盤讓他實力迅速壯大,此時他所要做的就是等待時機,恰好在此期間爾朱氏家族內部也開始出現嫌隙。