文｜博陽
編輯｜徐青陽
2026 年 3 月 16 日，kimi 團隊把一篇叫 attention residuals 的論文掛上了 arxiv，然後事情迅速失控。馬斯克轉發了，karpathy 評了一句「我們還沒有真正把 attention is all you need 的標題當回事」，前 openai 聯合創始人 jerry tworek 直接給了四個字，deep learning 2.0。一篇來自中國團隊的架構論文能在矽谷引起這種級別的討論，上一次可能要追溯到 deepseek-v3。
但熱鬧歸熱鬧，大多數討論停留在「kimi 搞了個新東西，大佬們很興奮」的層面。被忽略的是，同一天，位元組跳動 seed 團隊和華中科技大學聯合發了另一篇論文，叫 mixture-of-depths attention（moda），解決的是完全相同的問題，用的是完全不同的路線。同一周內，南京大學 dilxat muhtar、mpi shiwei liu 等人的第三篇論文「when does sparsity mitigate the curse of depth in llms」從理論側給出了最精確的病理報告。
三篇論文密集出現，對準的是同一個靶子。這不是巧合。一個被忽視了近十年的結構性問題，終於到了不得不解決的臨界點。
問題不在注意力的序列維度上。注意力在過去幾年已經進化了很多代，從多頭注意力到分組查詢注意力，到 deepseek 的 mla，到各種稀疏變體，每一代都在優化 token 與 token 之間怎麼互相看。這場軍備競賽足夠精彩，但它遮蔽了一個事實——層與層之間的信息傳遞方式，從 2017 年 transformer 論文發表至今，答案一直是同一個。殘差連接，h = h + f(h)，一個不帶任何學習參數的加法操作。
所有歷史層的輸出等權求和。沒有選擇，沒有遺忘，沒有學習。每一層的貢獻被一視同仁地堆進殘差流里，不管它學到的是關鍵特徵還是噪音。
殘差連接是深度學習歷史上最成功的「臨時方案」。
最成功的臨時方案
殘差連接是 2015 年何愷明在 resnet 里提出的。思路極其樸素，網路堆到二十幾層就訓不動了，梯度消失讓深層參數幾乎不更新，那就給每一層加一條「高速公路」，讓輸入直接跳過這一層接到輸出上。即使這一層什麼都沒學到，信息和梯度至少能通過這條捷徑傳下去。效果立竿見影，resnet 把網路從二十幾層推到了一百多層。兩年後 transformer 問世，殘差連接被原封不動地搬過來。從那以後，這個設計就沒人動過。
不是沒人試過。rezero、fixup、highway network 都做過變體，讓殘差權重可學習。但沒有一個進入主流大模型的架構選型，因為殘差連接太好用了。簡單、穩定、幾乎不增加計算開銷，在當時的模型規模下，副作用還沒有暴露。
44% 的層在空轉
副作用是什麼？2025 年初，西湖大學、emory 和 mpi 的 shiwei liu 團隊發表了「the curse of depth」，今年 3 月南京大學 dilxat muhtar 等人的「when does sparsity mitigate the curse of depth in llms」進一步給出了定量診斷，在當前主流大模型的架構下，深層的變換越來越接近恆等映射。輸入什麼就輸出什麼，這一層等於沒有。
數字很難看。研究者用「有用性分數」來衡量每一層是否在做有意義的變換。12 層的模型，所有層都在幹活。16 層，三層廢了。24 層，九層廢了。32 層，14 層廢了，44% 的層幾乎什麼都沒學到。參數量從 9 億增加到 23 億，多花了 156% 的預算，有效層只從 12 增加到 18。
該圖片屬於ai生成
圖 2｜深度詛咒的定量診斷——有效層數隨模型規模增長的效率遞減
原因和殘差連接的工作方式直接相關。每一層的輸出通過殘差連接加到一條「主幹道」上。隨著層數增加，主幹道上累積的信號越來越大（可以理解為「背景音量」不斷升高），但每一層新產生的信號幅度是有限的。到了深層，新信號就淹沒在背景噪音里了，輸入和輸出幾乎一樣，這一層形同虛設。
殘差連接解決了「讓梯度傳過去」的問題，但製造了「讓深層有意義」的問題。
在大模型時代，這個代價是真金白銀。一層就是幾十億次浮點運算。一個 128 層的模型如果有 44% 的層在空轉，將近六十層的算力在做無用功。社區卷了幾年的推理效率優化，量化、蒸餾、剪枝、稀疏注意力、kv cache 壓縮，全都在優化那些「有用的計算」。
最大的效率黑洞不在注意力的二次方複雜度上，而在一個從 2015 年就沒變過的加法操作上。
不修舊路，另開新路
位元組跳動 seed 團隊和華中科大的出發點不是「殘差連接壞了，得換掉」。他們的問題問得更直接——注意力機制已經能讓 token 之間互相看，為什麼不能讓它同時也看到深度方向上的信息？
傳統注意力只有一個維度——序列維度。第 20 層的某個 token 在做注意力計算時，只能看到同一層內其他 token 的信息。它看不到自己在第 3 層、第 10 層時的狀態，哪怕那些淺層學到的特徵對當前計算非常有用。這些淺層特徵確實還在殘差流里，但已經被十幾層的殘差更新反覆疊加、逐漸稀釋了。深層想用淺層的特徵，只能用這杯被稀釋了十幾次的「兌水果汁」。
moda 的做法是給注意力加上第二個維度——深度維度。每個注意力頭在做正常的序列注意力（token 看 token）的同時，也做一個深度注意力（直接去前面所有層取原汁原味的 kv 對）。兩路信息在同一個 softmax 下聯合歸一化，模型自己決定是該多看看當前層的上下文，還是該回頭翻翻淺層學到的特徵。殘差連接還在，沒有被替換，但深層不再只能依賴它來獲取淺層信息了。
想法不難理解，難的是怎麼在不拖垮速度的情況下把它做出來。
圖 3｜moda 的雙維注意力機制——序列維度與深度維度在同一個 softmax 下聯合歸一化
把散落的檔案搬到工位上
問題出在 gpu 的內存訪問模式上。正常的注意力計算，所有 kv 對都來自同一層，在顯存里是連續存放的，gpu 讀取效率很高。但 moda 需要從前面所有層去取 kv 對，這些數據散落在顯存的不同位置上。gpu 最怕的就是這種「東一塊西一塊」的隨機讀取，速度會斷崖式下降。如果天真地直接拼接所有歷史層的 kv，一個 48 層的模型，每一層的注意力計算都要去翻前面 47 層的「檔案」，內存訪問幾乎全是隨機的，訓練速度會被拖到不可用。
moda 的解法叫分組重排（grouped rearrangement）。核心思路是，既然隨機訪問慢，那就在計算之前先把數據重新排列成連續的。
做法分兩步。第一步，把當前層的查詢（query）按固定大小分成若干組（比如每組 64 個 token）。第二步，對每一組，把它需要看的深度 kv（來自前面所有層的 kv 對）從散落的顯存位置搬到一塊連續的內存區域里，重新排好，然後一次性做注意力計算。你可以理解為，不是讓工人跑遍整條流水線去翻檔案，而是先讓一個助手把他需要的檔案都搬到他工位旁邊的桌子上，擺好，他坐著就能翻。搬運的成本遠小於反覆跑腿的成本。
這個設計的關鍵在於分組的粒度。組太大，每組需要搬運的深度 kv 太多，搬運本身變成瓶頸。組太小，gpu 的並行計算能力用不滿。moda 選擇了和 flashattention（目前業界標配的高速注意力計算引擎）相同的分塊大小，這樣深度注意力的計算可以直接復用 flashattention 的底層實現，不需要寫一套全新的 gpu 運算元。
在 64k 序列長度下，moda 的運算元效率達到了 flashattention-2 的 97.3%。加了整個深度注意力機制，速度只慢了不到 3%。
圖 4｜分組重排策略——把散落在顯存各處的歷史層 kv 搬運到連續內存區域
這個數字的含義是，深度注意力不是一個輕量級插件，它讓每一層都需要讀取所有前序層的 kv 緩存。如果工程做得粗糙，這種跨層的數據依賴會把訓練速度拖垮幾倍。moda 把額外開銷壓到了 3.7% 的 flops 增量，說明分組重排策略確實把隨機訪問的問題解決得很乾凈。
3.7% 的代價，2.11% 的收益
在 1.5b 參數的模型上（基於 olmo2 的訓練配方），moda 在 10 個下游任務上的平均性能提升了 2.11%，額外計算開銷僅 3.7%。初看不大，但這是架構層面的改進，不是靠更多數據或更長訓練堆出來的，會隨著規模放大持續生效。而且任務之間差異很大，常識推理（winogrande）提升 2.37%，科學推理（arc-challenge）提升 4.35%，需要跨層特徵整合的任務收益明顯更大。
圖 5｜moda 在 10 個下游任務上的性能對比
pre-norm 欠下的債
moda 論文里最有價值的可能不是 moda 本身，而是一個關於歸一化策略的實驗。
這裡需要解釋一下背景。transformer 的每一層做完計算後，都要經過一步叫「歸一化」（normalization）的處理，作用是把數值範圍穩定住，防止訓練過程中數字爆炸或者消失。這步處理放在哪裡，有兩種主流做法，放在每一層計算之前，叫 pre-norm（也叫 pre-ln）；放在計算之後，叫 post-norm（也叫 post-ln）。2020 年之後幾乎所有大模型都用 pre-norm，因為它讓訓練更穩定，不容易崩。但前面說的「深層空轉」問題，恰恰就是 pre-norm 的副作用。pre-norm 為了穩定訓練，實際上是在不斷稀釋深層的信號強度。
moda 的實驗做了兩組對比，在 48 層的模型上，分別用 pre-norm 和 post-norm，然後在每組上加入 moda 的深度注意力。post-norm 配置下，加入深度 kv 帶來了 0.0409 的驗證損失降低；pre-norm 只有 0.0041，差了將近十倍。
這個數據說明的事情比 moda 本身更大，即，pre-norm 不只是在「穩定訓練」，它同時在系統性地壓制深層的學習能力。過去大家不敢用 post-norm，是因為訓練不穩定，梯度容易爆。但 moda 的深度注意力提供了一條全新的梯度通路，讓梯度不用完全依賴殘差連接來傳遞。有了這條新通路，post-norm 原本的不穩定問題就不再是致命傷了。
moda+post-norm 的組合打開的可能性是，過去為了訓練穩定而做出的妥協（用 pre-norm），也許可以被收回了。
圖 6｜pre-norm vs post-norm 在加入深度 kv 後的驗證損失差異
不開新路，翻修舊路
moda 沒動殘差連接，它選擇在殘差之外另開一條路。同一天，kimi 團隊發的 attention residuals（attnres）走了一條更直接的路線，直接對殘差連接本身動手。
標準殘差連接做的事很簡單，把前面所有層的輸出等權相加，堆進主幹道。沒有選擇，沒有遺忘。attnres 把這個固定的等權加法替換成一個注意力操作，每一層用自己的狀態作為查詢，前面所有層的輸出作為候選，用注意力來決定，前面哪些層的特徵對當前層有用，權重各是多少。
殘差連接從一個固定公式變成了一個可學習的動態路由。
圖 7｜attnres 的核心思路——用注意力替代等權殘差加法
代價是每一層都要額外跑一次深度注意力計算，開銷不低。kimi 團隊用分塊策略（block attnres）控制成本，把層分成若干個塊，塊內做完整的深度注意力，塊與塊之間只關注塊級別的聚合表徵。
attnres 已經被集成進了 kimi linear（480 億總參數 / 30 億激活參數），在 1.4 萬億 token 上做了預訓練，效果確認在不同模型規模下一致。這篇論文已經被廣泛報道過，技術細節不再展開。值得放在這裡講的原因是它和 moda 的路線對比。
圖 8｜attnres 的訓練曲線與消融實驗
兩條路線診斷的病因完全一致，即，深層拿到的淺層信息被殘差更新反覆稀釋了。但下刀的地方不同。moda 沒碰殘差連接，而是給注意力加了一個深度維度，讓深層能繞過殘差流直接取淺層的原始特徵。attnres 直接對殘差連接開刀，把等權加法換成了注意力加權。一個是「另修一條路」，一個是「把原來那條路翻新」。
兩篇論文同一天出現，路線不同，靶子相同。這不是巧合。注意力的深度問題已經是研究社區的共識，區別只在於從哪個方向切入。
圖 9｜attnres 在不同模型規模下的效果一致性
忘了拆的「腳手架」
回到最開始的問題，為什麼深層空轉這個問題到 2026 年才被認真對待？
因為殘差連接太好用了。它解決了一個當時最緊迫的問題（梯度消失），代價可控（深層退化在小模型上不明顯），替代方案不成熟（rezero、highway network 都沒有經受過大規模驗證）。沒有人有動力去動它。它不是被有意保留的設計選擇，而是被遺忘的臨時方案。當初搭的腳手架，蓋完樓忘了拆，時間一長大家以為它是承重牆。
該圖片屬於ai生成圖 1｜殘差連接的信號稀釋效應——層數越深，新信號越難被聽見
但真正讓這個問題難以被發現的，不是殘差連接本身，而是注意力機制長期以來只在一個維度上運作。過去八年，注意力的所有進化——多頭、分組查詢、稀疏、線性——都是在序列維度上做文章。token 和 token 之間怎麼互相看，這件事被優化了無數遍。但層和層之間怎麼互相看？這個問題根本沒人問過。深度維度是注意力的盲區。
moda 和 attnres 從不同方向把這個盲區打開了。moda 給注意力加了第二個維度，讓它能同時在序列和深度方向上運作。attnres 把層間信息傳遞本身變成了一個注意力操作。路線不同，但共同指向同一個結論，即，注意力不該只看水平方向，它也應該看垂直方向。
這個結論的延伸比兩篇論文本身更大。transformer 里還有很多只在單一維度上運作的固定機制。每一層必須按順序執行，不能跳過。每個注意力頭獨立計算後簡單拼接，沒有頭與頭之間的動態協調。每個 token 無論難易都走完全相同的計算路徑。這些設計當初都是為了讓模型能訓起來、能收斂的工程妥協。
深度學習過去十年的演進方向，如果抽象到最高層，就是一件事，把越來越多的結構性決策從人類設計者手中交還給模型自己。手工設計的卷積核被可學習的注意力替代了。固定的位置編碼被可學習的旋轉編碼替代了。固定的專家分配被可學習的路由替代了。現在，深度維度上的信息流動方式，也開始由注意力自己來決定了。
karpathy 說我們還沒有把「attention is all you need」的字面意思當真。他可能說對了。但不是「注意力就夠了」這個意思，而是「注意力還沒有被用夠」。它在序列維度上已經進化了很多代，但在深度維度上才剛剛開始。
深度是注意力的下一個戰場。
