梁文鋒署名,DeepSeek再發論文

2025年05月17日12:42:09 科技 1421

近日

DeepSeek團隊發表新論文

論文以DeepSeek-V3為核心案例

披露其在AI硬體架構

與模型設計方面的關鍵創新

為實現具有成本效益的

大規模訓練和推理提供思路

論文顯示

DeepSeek創始人兼CEO梁文鋒

也是參與者之一


梁文鋒署名,DeepSeek再發論文 - 天天要聞

DeepSeek論文《深入解讀 DeepSeek-V3:AI 架構的擴展挑戰與硬體思考》

圖源:論文截圖


有業內人士表示

該論文聚焦「硬體-模型」

協同創新底層邏輯

直擊當前大模型訓練

與推理的效率痛點

一起來看↓


揭秘DeepSeek模型設計原則


在訓練大模型這條路上

可以說一直有「三大難題」

內存不夠用

計算效率低

通信速度慢

而這篇論文所要解決的

正是上述的這些問題


與此前發布的V3技術報告不同

這篇論文詳細闡述了DeepSeek

如何做到在硬體資源的「緊箍咒」下

通過精妙的「軟硬一體」協同設計

將成本效益這筆賬算好


DeepSeek在論文中提到

本文的目的不是重申

DeepSeek-V3的詳細架構和演算法細節

是跨越硬體架構和模型設計

採用雙重視角來探索它們之間

錯綜複雜的相互作用

以實現具有成本效益的

大規模訓練和推理


梁文鋒署名,DeepSeek再發論文 - 天天要聞

DeepSeek-V3的基本架構

圖源:論文截圖


具體而言

論文聚焦內存效率、成本控制、

推理速度等方面展開說明

DeepSeek模型設計原則


在內存效率方面

多頭潛在注意力(MLA)技術

通過壓縮鍵值(KV)緩存

緩存顯著降低了內存消耗

FP8混合精度訓練技術

將內存消耗顯著降低了一半


從數據來看

相比其他模型

(如LLaMA-3、Qwen-2.5)

DeepSeek-V3的KV緩存大小

每token僅需70 KB

是傳統方法的1/7到1/4

大幅降低顯存壓力

尤其適合長文本處理


在成本控制方面

DeepSeek開發了DeepSeek MoE架構

其兩大優勢包括降低訓練成本

和利於個人使用和本地部署


在提高推理速度方面

DeepSeek-V3採用的是

多token預測(MTP)的方法

傳統模型每次只能生成1個token

而MTP通過輕量級子模型並行

預測多個候選token

驗證後選擇最優結果。

實驗效果顯示

生成速度提升1.8倍


OpenAI聯合創始人

Andrej Karpathy此前讚歎

「DeepSeek-V3的出現

實現了高性能與低成本的平衡

未來或許不需要

超大規模的GPU集群了」


六大關鍵探索未來AI基礎設施


下一代AI基礎設施

將如何升級?

DeepSeek從硬體架構的角度

提出六大方向

涉及內存、互連、網路、

計算等核心領域


梁文鋒署名,DeepSeek再發論文 - 天天要聞

圖源:虎嗅


整體來看,包括

「魯棒性優先:

構建不易崩潰的訓練系統」

「顛覆互連架構:

CPU-GPU直連消除節點瓶頸」

「智能網路升級:

動態路由實現低延遲」

「通信順序『硬體化』:

消除軟體額外開銷」

「網路計算融合:

硬體加速通信效率」

「內存架構重構:

從『晶元堆疊』到『晶圓集成』」


這些專業名詞

非行家乍一看有些難懂

有業內人士「翻譯」稱

就是下一代AI硬體要向

算數快(低精度計算+本地細粒度量化)

傳話快(直連網路+智能路由)

記性好(3D內存+近存計算)

不宕機(自愈網路)的方向改進

才能更好地應用於大模型訓練

實現高效擴展


梁文鋒署名,DeepSeek再發論文 - 天天要聞

圖源:網路


DeepSeek表示

這些內存中心的架構創新

旨在打破當前內存發展

滯後於模型規模擴張的瓶頸

是下一代AI系統持續邁向

「更大、更快、更穩」的關鍵路徑之一

同時這些方案也在DeepSeek-V3

訓練與推理實踐中均取得了實效

為下一代高性能AI系統

構建了堅實的內存支撐基礎

科技分類資訊推薦

小米YU7 驚現第一批大冤種 - 天天要聞

小米YU7 驚現第一批大冤種

文 | AUTO芯球作者 | 雷慢小米YU7的第一批大冤種出現了!這麼大公司,這麼大的訂單量,我就沒見過這麼離譜的事,還記得6月26日發布會當晚嗎?雷總在發布會上怎麼說的?「SU7和SU7 Ultra鎖單未交付用戶可三天內改配YU7」,結果呢,當天晚上10點一開預訂,一大幫人就去改單了,改完出來一看,天塌了!這幫人名下躺著一輛SU7訂...
越級價值兌現!極狐6月交付10352輛 同比增漲65.13% - 天天要聞

越級價值兌現!極狐6月交付10352輛 同比增漲65.13%

在經歷爆髮式增長後,中國汽車行業步入成熟期,市場也逐漸進入「洗牌」階段,在競爭激烈的戰局中,卻有一個車企大幅增長,它就是北汽極狐。2025年6月,極狐全系交付突破10352輛。其中,明星車型阿爾法S5單月交付達3298輛,位列上半年12-15萬級最受歡迎純電轎
陽光新能源iSolarTool 3.0:提效400%,大型光儲電站設計有了最優解! - 天天要聞

陽光新能源iSolarTool 3.0:提效400%,大型光儲電站設計有了最優解!

「這款軟體解放了設計人員的雙手,讓大型光伏電站設計邁入智能化時代!」在2025SNEC國際光伏儲能展上,陽光新能源大型地面光伏電站智能設計軟體iSolarTool 3.0煥新發布讓不少參展逛展的行業人員紛紛駐足停留、讚不絕口。在電力交易市場化浪潮中,iSolarTool 3.0以「兩首創、兩升級」重塑大型地面電站智能設計新格局:首創基...
盧偉冰回應小米青年公寓定價:反覆討論,最後還是決定1999 - 天天要聞

盧偉冰回應小米青年公寓定價:反覆討論,最後還是決定1999

【TechWeb】7月1日消息,今日,小米集團副總裁、採購委員會主席、資產與工程管理部總經理張劍慧在社交媒體平台發文稱,為提升員工幸福感,小米集團在北京昌平園區附近打造的小米青年公寓正式落成。小米集團合伙人盧偉冰發文回應小米青年公寓定價:定價是反覆討論,最後還是決定1999!他還表示,小米青年公寓的目標是讓剛剛...
科大訊飛等在銀川成立九星科技公司 - 天天要聞

科大訊飛等在銀川成立九星科技公司

每經AI快訊,天眼查App顯示,近日,銀川九星科技有限公司成立,法定代表人為楊陽,註冊資本1500萬元人民幣,經營範圍包括人工智慧基礎資源與技術平台、人工智慧理論與演算法軟體開發、雲計算設備銷售等。股權全景穿透圖顯示,該公司由科大訊飛旗下安徽訊飛雲創科技有限公司以及九川科技(寧夏)有限公司、銀川創新發展投資集...
特斯拉中國宣布:漲價 - 天天要聞

特斯拉中國宣布:漲價

(文/觀察者網周盛明 編輯/高莘)2025年7月1日,特斯拉中國宣布,Model 3長續航全輪驅動版車型售價上漲1萬元,至28.55萬元。 特斯拉中國 在漲價的同時,該車型的續航和加速得到了提升——CLTC續航由713km提升至753km,百公里加速時間由4.4秒提升至3.8秒。值得注意的是,特斯拉Model 3的其他兩個版本售價不變。Model 3後輪驅.
儲能與鋰電領域動態頻出:巨頭競逐、項目簽約與跨界調整並行 - 天天要聞

儲能與鋰電領域動態頻出:巨頭競逐、項目簽約與跨界調整並行

【環球網財經綜合報道】近期,儲能與鋰電領域動態不斷。陽光電源(300274.SZ)與寧德時代(300750.SZ)圍繞第三代儲能電芯定義權展開激烈爭奪。6月,陽光電源發布搭載684Ah電芯的新款儲能系統,電芯由欣旺達供應;寧德時代宣布587Ah電芯於4月投產。當前儲能行業處於二代向三代電芯過渡期,二代容量為314Ah,兩大陣營分化明...
亞馬遜CEO:生成式AI或致員工數量減少,但也將帶來新機遇 - 天天要聞

亞馬遜CEO:生成式AI或致員工數量減少,但也將帶來新機遇

【環球網財經綜合報道】亞馬遜CEO安迪·賈西周一表示,生成式人工智慧的快速推出,意味著公司未來或需更少員工完成計算機可處理的工作,如同每次技術轉型,一些工作將因自動化而用人減少,但也會有新工作產生。東方IC儘管人工智慧會消除部分職位需求,賈西稱亞馬遜仍會在人工智慧、機器人等領域招聘更多員工。不過,本月早...