最強開源大模型深夜炸場！ Llama 3歸來，直逼GPT-4， 馬斯克點贊

沒有出乎太多意外，Meta 帶着號稱「有史以來最強大的開源大模型」Llama 3 系列模型來「炸街」了。

具體來說，Meta 本次開源了 8B 和 70B 兩款不同規模的模型。

• Llama 3 8B：基本上與最大的 Llama 2 70B 一樣強大。
• Llama 3 70B: 第一檔 AI 模型，媲美 Gemini 1.5 Pro、全面超越 Claude 大杯

以上還只是 Meta 的開胃小菜，真正的大餐還在後頭。在未來幾個月，Meta 將陸續推出一系列具備多模態、多語言對話、更長上下文窗口等能力的新模型，其中超 400B 的重量級選手更是有望與 Claude 3 超大杯「掰手腕」。

Llama 3 體驗地址：https://llama.meta.com/llama3/

又一 GPT-4 級模型來了，Llama 3 開卷

與前代 Llama 2 模型相比，Llama 3 可謂是邁上了一個新的台階。

得益於預訓練和後訓練的改進，本次發佈的預訓練和指令微調模型是當今 8B 和 70B 參數規模中的最強大的模型，同時，後訓練流程的優化顯著降低了模型的出錯率，增強了模型的一致性，並豐富了響應的多樣性。

扎克伯格曾在一次公開發言中透露，考慮到用戶不會在 WhatsApp 中向 Meta AI 詢問編碼相關的問題，因此 Llama 2 在這一領域的優化並不突出。

而這一次，Llama 3 在推理、代碼生成和遵循指令等方面的能力取得了突破性的提升，使其更加靈活和易於使用。

基準測試結果顯示，Llama 3 8B 在 MMLU、GPQA、HumanEval 等測試的得分遠超 Google Gemma 7B 以及 Mistral 7B Instruct。用扎克伯格的話來說，最小的 Llama 3 基本上與最大的 Llama 2 一樣強大。

Llama 3 70B 則躋身於頂尖 AI 模型的行列，整體表現全面碾壓 Claude 3 大杯，與 Gemini 1.5 Pro 相比則是互有勝負。

為了準確研究基準測試下的模型性能，Meta 還特意開發了一套新的高質量人類評估數據集。

該評估集包含 1800 個提示，涵蓋 12 個關鍵用例：尋求建議、頭腦風暴、分類、封閉式問答、編碼、創意寫作、提取、塑造角色、開放式問答、推理、重寫和總結。

出於避免 Llama 3 在此評估集上出現過度擬合，Meta 甚至禁止他們的研究團隊訪問該數據集。在與 Claude Sonnet、Mistral Medium 和 GPT-3.5 的逐一較量中，Meta Llama 70B 都以「壓倒性勝利」結束了比賽。

據 Meta 官方介紹，Llama 3 在模型架構上選擇了相對標準的純解碼器 Transformer 架構。與 Llama 2 相比，Llama 3 進行了幾項關鍵的改進：

• Llama 3 使用了一個具有 128K token 詞彙表的 tokenizer，可以更有效地編碼語言，從而顯著提升模型性能。
• 在 8B 和 70B 模型中都採用分組查詢注意力 （GQA），以提高 Llama 3 模型的推理效率。
• 在 8192 個 token 的序列上訓練模型，使用掩碼來確保自注意力不會跨越文檔邊界。

訓練數據的數量和質量是推動下一階段大模型能力湧現的關鍵因素。

從一開始，Meta Llama 3 就致力於成為最強大的模型。Meta 在預訓練數據上投入了大量的資金。據悉，Llama 3 使用從公開來源收集的超過 15T 的 token，是 Llama 2 使用數據集的七倍，其中包含的代碼數據則是 Llama 2 的四倍。

考慮到多語言的實際應用，超過 5% 的 Llama 3 預訓練數據集由涵蓋 30 多種語言的高質量非英語數據組成，不過，Meta 官方也坦言，與英語相比，這些語言的性能表現預計是稍遜一籌。

為了確保 Llama 3 接受最高質量的數據訓練，Meta 研究團隊甚至提前使用啟發式過濾器、NSFW 篩選器、語義重複數據刪除方法和文本分類器來預測數據質量。

值得注意的是，研究團隊還發現前幾代 Llama 模型在識別高質量數據方面出奇地好，於是讓 Llama 2 為 Llama 3 提供支持的文本質量分類器生成訓練數據，真正實現了「AI 訓練 AI」。

除了訓練的質量，Llama 3 在訓練效率方面也取得了質的飛躍。

Meta 透露，為了訓練最大的 Llama 3 模型，他們結合了數據並行化、模型並行化和管道並行化三種類型的並行化。

在 16K GPU 上同時進行訓練時，每個 GPU 可實現超過 400 TFLOPS 的計算利用率。研究團隊在兩個定製的 24K GPU 集群上執行了訓練運行。

為了最大限度地延長 GPU 的正常運行時間，研究團隊開發了一種先進的新訓練堆棧，可以自動執行錯誤檢測、處理和維護。此外，Meta 還極大地改進了硬件可靠性和靜默數據損壞檢測機制，並且開發了新的可擴展存儲系統，以減少檢查點和回滾的開銷。

這些改進使得總體有效訓練時間超過 95%，也讓 Llama 3 的訓練效率比前代足足提高了約 3 倍。

更多技術細節歡迎查看 Meta 官方博客：https://ai.meta.com/blog/meta-llama-3/

開源 VS 閉源

作為 Meta 的「親兒子」，Llama 3 也順理成章地被優先整合到 AI 聊天機械人 Meta AI 之中。

追溯至去年的 Meta Connect 2023 大會，扎克伯格在會上正式宣布推出 Meta AI，隨後便迅速將其推廣至美國、澳大利亞、加拿大、新加坡、南非等地區。

在此前的採訪中，扎克伯格對搭載 Llama 3 的 Meta AI 更是充滿信心，稱其將會是人們可以免費使用的最智能的 AI 助手。

我認為這將從一個類似聊天機械人的形式轉變為你只需提出一個問題，它就能給出答案的形式，你可以給它更複雜的任務，它會去完成這些任務。

附上 Meta AI 網頁體驗地址：https://www.meta.ai/

當然，Meta AI 若是「 尚未在您所在的國家/地區推出」，你可以採用開源模型最樸素的使用渠道——全球最大的 AI 開源社區網站 Hugging Face。

附上體驗地址：https://huggingface.co/meta-llama/Meta-Llama-3-70B-Instruct

Perplexity、Poe 等平台也迅速宣布將 Llama 3 集成到平台服務上。

你還可以通過調用開源模型平台 Replicate API 接口來體驗 Llama 3，其使用的價格也已經曝光，不妨按需使用。

有趣的是，在 Meta 官宣 Llama 3 前，有眼尖的網友發現微軟的 Azure 市場偷跑 Llama 3 8B Instruct 版本，但隨着消息的進一步擴散，當蜂擁而至的網友再次嘗試訪問該鏈接時，得到的只有「404」的頁面。

目前已恢復：https://azuremarketplace.microsoft.com/en-us/marketplace/apps/metagenai.meta-llama-3-8b-chat-offer?tab=overview

Llama 3 的到來，正在社交平台 X 上掀起一股新的討論風暴。

Meta AI 首席科學家、圖靈獎得主 Yann LeCun 不僅為 Llama 3 的發佈搖旗吶喊，並再次預告未來幾個月將推出更多版本。就連馬斯克也現身於該評論區，用一句簡潔而含蓄的「Not bad 不錯」，表達了對 Llama 3 的認可和期待。

英偉達高級科學家 JIm Fan 則將注意力投向了即將推出的 Llama 3 400B+，在他看來，Llama 3 的推出已經脫離了技術層面的進步，更是開源模型與頂尖閉源模型並駕齊驅的象徵。

從其分享的基準測試可以看出，Llama 3 400B+ 的實力幾乎媲美 Claude 超大杯、以及 新版 GPT-4 Turbo，雖然仍有一定的差距，但足以證明其在頂尖大模型中佔有一席之地。

今天恰逢斯坦福大學教授，AI 頂尖專家吳恩達的生日，Llama 3 的到來無疑是最特別的慶生方式。

不得不說，如今的開源模型真的是百花齊放，百家爭鳴。

今年年初，手握 35 萬塊 GPU 的扎克伯格在接受 The Verge 的採訪時，用堅定的語氣描繪了 Meta 的願景——致力於打造 AGI（通用人工智能）。

與不 open 的 OpenAI 形成鮮明對比，Meta 則沿着 open 的開源路線朝 AGI 的聖杯發起了衝鋒。

正如扎克伯格所說，堅定開源的 Meta 在這條充滿挑戰的征途中也並非毫無收穫：

我通常非常傾向於認為開源對社區和我們都有好處，因為我們會從創新中受益。

在過去的一年中，整個 AI 圈都在圍繞開源或閉源的路線爭論不休，這場辯論，已經超越了技術層面的優劣比較，觸及了 AI 未來發展的核心方向。甚至親自下場的馬斯克也通過開源 Grok 1.0 的方式給全世界打了個樣。

前不久，一些觀點稱開源模型將會越來越落後，如今 Llama 3 的到來，也給了這種悲觀的論調一記響亮的耳光。

然而，儘管 Llama 3 為開源模型扳回一局，但這場關於開源與閉源的辯論還遠未結束。

畢竟暗中蓄勢待發的 GPT-4.5/5 也許會在今年夏天，以無可匹敵的性能為這場曠日持久的爭論畫上一個句號。