1929年6月,徐向前受上級委派,來到鄂東北工作,擔任31師副師長。當時31師雖然號稱下轄四個團,但其實只是四個大隊,總兵力僅有300多人。而且還有一些戰士沒有槍,只能用大刀和長矛作戰。更艱難的是,在徐向前到來之前,31師師長吳光浩已經在戰鬥中犧牲了。吳光浩是湖北黃陂縣人,畢業於黃埔第四期,參加領導過鄂南武裝起義和黃麻起義,擔任過工農革命軍第七軍和工農紅軍第十一軍的軍長,是鄂豫邊紅軍的創建人之一。
當時在鄂豫邊一帶,吳光浩有著很高的威望。為了不使部隊和群眾的情緒受到影響,上級決定暫時保密他犧牲的消息。因此徐向前雖然是31師的副師長,但實際乾的卻是師長的活。由於他是初來乍到,人們對他並不了解,一些人對他的軍事指揮能力還抱有懷疑態度。要想贏得大家的信任,只能不斷打勝仗。但這難不倒徐向前,他在黃埔軍校受過系統的軍事訓練,又在海陸豐一帶打過仗,積累了一定的游擊戰經驗。
因此徐向前上任後,很快就帶領部隊接連粉碎了「羅李會剿」、「鄂豫會剿」和「徐夏會剿」,三戰三捷,部隊迅速擴大到了800多人。1930年4月,紅31師編入紅一軍,並改稱第一師。許繼慎任軍長,徐向前任副軍長兼一師師長,全軍2100餘人。紅一軍成立之後,在許繼慎和徐向前的指揮下,短短一個月三戰三捷,累計殲敵7000多人,自身發展到5000餘人,其中徐向前兼任師長的紅一師實力最強,兵力達到了3000多人,還有一個機炮混成團。徐向前的威名,在當地軍民當中迅速傳播開來。
1931年1月,紅一軍再次打敗了敵人的圍攻,實力進一步增強。不久後紅一軍和紅15軍合編為紅4軍,全軍12000多人,並在鄂豫皖開闢了根據地。不久後張國燾以中央全權代表的身份趕到了鄂豫皖,先後成立了中共中央鄂豫皖分局、鄂豫皖省委和鄂豫皖軍事委員會。張國燾任分局書記兼軍委主席,沈澤民兼省委書記,曾中生和曠繼勛為軍委副主席,張國燾由此在鄂豫皖大權獨攬。
上任不久,張國燾就對紅4軍的領導幹部做出了調整。曠繼勛任紅4軍軍長,曾中生任政委,徐向前為第13師師長。1930年5月,中原大戰爆發,老蔣暫時放鬆了對鄂豫皖革命根據地的進攻。曠繼勛、曾中生和徐向前等人商議之後,決定主力部隊乘機南下向外發展。此時張國燾錯誤地估計了形勢,盲目地提出要攻佔大城市,並命令紅四軍攻英山,出潛山、太湖,進攻安慶,威震南京,而且限期一個月內完成。
張國燾的資歷雖然很老,但他從事的一直都是學生運動和工人運動,沒有指揮過一場戰鬥,軍事才能也非常一般。在當時的情況下,紅4軍雖然有一萬多人,但重武器極為缺乏,根本不具備攻佔大城市的條件。事實上,在整個紅軍時期,成功攻佔過大城市的戰鬥僅有一例,那就是彭德懷攻佔長沙。但張國燾不顧實際情況,強令部隊作南下英山,進攻安慶的準備。
7月中旬,紅四軍領導再次改組,曠繼勛由軍長降為紅13師師長,徐向前出任軍長,曾中生仍為政委。不久後徐向前帶領紅四軍主力南下,僅用兩個小時就攻佔了英山,殲敵1800多人。在英山,徐向前和曾中生等人商議之後,認為張國燾進攻安慶的命令實在是下下策。英山距安慶400餘公里,途中都是敵占區,而且安慶還是敵人重兵設防的戰略要地。
在遠離蘇區和缺少重武器的情況下,長途奔襲400餘公里去進攻敵人堅固設防的安慶,其中的困難和危險性可想而知,搞不好就會全軍覆沒。最終曾中生和徐向前決定不執行張國燾進攻安慶的命令,而是留十二師守英山,以十師和十一師四個團的兵力向蘄春、廣濟和黃梅等地進發,打擊盤踞在這一帶的敵人。之後曾中生親自給張國燾寫了一封信,詳細闡述了這麼做的理由。
在徐向前和曾中生的指揮下,紅十師和紅十一師接連在蘄春和廣濟等地取得勝利,殲敵1600餘人,繳槍1200餘支,並在不少鄉鎮建立了革命政權。部隊打了大勝仗,張國燾卻很生氣,因為徐向前和曾中生沒有按照他的命令去打安慶,張國燾認為自己的權威沒有得到尊重,立即去信對徐向前和曾中生嚴厲斥責,並上升到了「路線問題」的高度。隨後他又命令徐向前和曾中生帶領部隊「立即北返,不得絲毫停留。」
之後張國燾為了維護自己的絕對權威,撤銷了曾中生軍政委的職務,改由陳昌浩接任。9月底,徐向前帶領部隊到達白雀園,張國燾親自趕到紅四軍主持「肅反」,曾中生、許繼慎和周維炯等許多紅四軍能征善戰的高級將領紛紛遭到逮捕和關押。據有關資料統計,張國燾在白雀園殺害的排以上幹部和戰鬥骨幹多達2500餘人。徐向前對此十分痛心,表達了自己的一些不同意見。
張國燾這次大「肅反」目的就是為了樹立自己的絕對權威,此時他見徐向前對自己有不同意見,就打算連他一起整。但徐向前在紅4軍中的威望很高,為人又十分正直,在沒有足夠的理由之前,張國燾也不敢冒然對徐向前下手。為了整徐向前的「材料」,張國燾趁著他在前線指揮作戰的機會,命令鄂豫皖蘇區保衛局長周純全派人把徐向前21歲的妻子程訓宣給抓了起來。
之後保衛局的人對程訓宣進行了嚴刑拷打,妄圖以此來讓她誣陷徐向前。但程訓宣始終沒有說徐向前一句壞話,不久後就遭到了殺害。紅四長徵到達陝北後,徐向前曾經問過周純全:「為什麼把我老婆抓去殺了,她究竟有什麼罪?」周純全此時只好說老實話:「她沒有什麼罪。當時抓她,就是為了要搞你的材料。」
徐向前是紅四的靈魂人物,為紅四的發展壯大做出過不可磨滅的貢獻,張國燾為了樹立自己的絕對權威,竟然連徐向前都要整,並為此不惜將他21歲的妻子冤殺,可見其內心之陰暗。張國燾晚年的時候,在加拿大一家養老院中凍死,可謂善惡有報。程訓宣犧牲後,徐向前怕岳母傷心,隱瞞了她40多年。每當岳母提出要見女兒的時候,徐向前總說她在外地工作或學習,一時趕不回來。
後來岳母提出來要坐車去看望女兒,徐向前沒有辦法,只好編了一個謊話,說程訓宣已經被調到蘇聯工作了。為了安慰岳母,不讓她起疑心,徐向前每隔一段時間都會以程訓宣的名義和口氣給她寫信,並寄送錢物。岳母臨終前,拉著徐向前的手說:「向前啊,你是個好人,訓宣跟著你,我就算死也放心了」徐向前攥著岳母的手,淚流滿面。