三國演義》中張郃第一次登場還是很拉風的，作為袁紹手下的河北名將，在官渡之戰中與張遼大戰大戰四五十回合不分勝負，曹操暗暗稱奇，許褚助戰，高覽接住，四將大戰無結果。後來曹操火燒袁紹在烏巢的糧草，張郃和高覽害怕袁紹怪罪，便一起帶兵投降了曹操。曹操得一大將，也是高興萬分。
本以為張郃從此開掛了，沒想到碰到劉備的幾個五虎將就開始拉稀，簡直是羅貫中老先生專門用來給五虎將刷數據的，被趙雲、馬超、張飛、黃忠等輪流刷了一遍，看看他和五虎將單挑情況，簡直慘不忍睹。
對戰趙雲：穰山之戰中，曹操設計大破劉備，劉備被張郃、高覽圍困，趙雲沖陣而來，將高覽刺落馬下，隨後與張郃大戰，二人交鋒三十回合，張郃撥馬敗走。
對戰馬超：在馬超復仇之戰中，張郃是第二個與馬超交鋒，單挑二十回合後敗走，表現得不如對戰趙雲時，在嘉靖本更丟人，僅僅三合就敗給馬超。
對戰張飛：張郃進攻巴西，與張飛對壘，兩人單挑二十餘合後，張郃後軍被蜀軍包抄，張郃不敢戀戰，撥馬回走。
挑戰黃忠：劉備讓黃忠與嚴顏救援葭萌關，張郃與黃忠大戰二十餘回合後，嚴顏從小路抄在張郃軍後。兩軍夾攻，張郃大敗。
不過好在和張飛、黃忠的單挑都是二十幾回合沒有分出勝負，就因為後軍被包抄，張郃趕緊喊停，撥馬回走，估計張郃已經心虛了，再戰估計就拉胯了，正好借坡下驢，撤吧。
到了三國後期，跟着曹劉兩位大哥（孫十萬那邊也沒個像樣的猛將）殺伐天下的猛將們病的病，死的死，驀然回首，除了“老賣年糕”的趙雲，便只剩下張郃了，張郃終於“媳婦熬成婆”，另外，張郃在和五虎將交手的時候偷師學了不少擠藝，這個昔日五虎將用來刷數據的經驗包倒也鍍了不少金，經驗值和武力值均大漲。到諸葛亮北伐時，張郃已經是天下無敵的猛將了，每次把諸葛亮逼得窘迫的，都有張郃的身影，成了讓諸葛亮非常忌憚的敵手。
先是取得街亭大捷：在街亭之戰中，蜀漢將領馬謖依傍險要的南山紮寨，沒有下山佔據城池。張郃斷絕了他取水的道路，然後發起進攻，大敗馬謖。後面蜀將王平來救，張郃與王平交戰，戰有十餘合，王平力窮勢孤，只得退去。
再是直取諸葛亮：司馬懿讓張郃與戴陵劫營，反被諸葛亮設計圍困，張郃縱馬挺槍，殺上山來直取諸葛亮，山上矢石如雨，張郃不能上山，乃拍馬舞槍，衝出重圍，無人敢當。這時候戴陵被蜀軍圍困，張郃衝出重圍後不見不見戴陵，當即奮勇翻身又殺入重圍，救出戴陵而回。諸葛亮見張郃勇猛無敵，認為一定要除去此人。
最後是魂斷木門道：諸葛亮第四次北伐，諸葛亮令魏延誘敵，魏延與張郃戰不十合，詐敗而走，張郃見沒有伏兵，又策馬追擊，轉過山坡時，與關興交戰，戰不十合，關興撥馬便走。之後魏延和關興輪流與張郃交戰，大致都是打個十回合後退走，直到木門道時，張郃被亂箭射死。
關於張郃的死，有一種說法是，張郃受司馬懿所迫而領兵追擊蜀軍，追至木門，中箭身亡。不管怎樣，昔日的曹魏名將就這樣凋謝了。
