這隻「羊駝」性能太炸裂!Llama 3用開源對抗GPT?

2024年03月02日12:45:19 科技 1545

Sora 引發的討論還在持續。有人認為 Sora 將是通往 AGI(通用人工智能)的快車道,也有人只是認為 Sora 開拓了 Transformer 架構與擴散模型相結合的全新技術路線,還有人認為 Sora 與 AGI 沒有太大的關係,是一個產品上的重要里程碑,但在技術上並不比 ChatGPT 更重要。


不管 Sora 的出現意味着什麼,大模型之戰都還遠遠未到終局。如果說 OpenAI 已經佔據了今天閉源大模型生態的一極,那 Meta 無疑是代表開源大模型的另一極。


Meta 的 Llama(羊駝)可以說從一開始就是最強大的開源大模型之一。去年 7 月,Meta 更是發布更強的 Llama 2,最為關鍵的是開源協議從「僅研究可用」轉向了「免費可商用」,雖然也造就了一大批「套殼」的大模型,但毫無疑問一舉改變大模型的格局。


不過 AI 世界一天一變,前有法國開源「新秀」Mistral 將 Llama 2 挑落馬下(2 月又推出了「僅次於 GPT-4」的閉源大模型 Mistral Large),後有谷歌發布 Gemma 開源大模型碾壓 Llama 2。


Llama 3 該來了。


今年 1 月,Meta CEO 馬克·扎克伯格(以下簡稱「小扎」)就在 Instagram 視頻中宣布,Meta AI 已經開始訓練 Llama 3。而據 The Information 最新這隻「羊駝」性能太炸裂!Llama 3用開源對抗GPT? - 天天要聞

小扎的官宣視頻,圖/ Instagram


考慮到 Meta 在第一代 Llama 花了三個月的時間來訓練,在 Llama 2 花了大約六個月的時間來訓練,如果下一代模型遵循類似的時間表,也應該是在 2024 年 7 月的某個時間發布。


不僅如此,綜合相關報道以及 Meta 官方透露出的信息,預計將在四個月後發布的 Llama 3 還有着更大的野心,恐怕又將以開源之姿再次改變大模型世界。


Llama 3 繼續進化,Meta太豪橫了


至少在當下,算力依然是大模型「迭代」的關鍵因素之一,就連 OpenAI 也要時不時說明自身的算力儲備。


在 Instagram 視頻中,小扎就表示,預計到 2024 年底,Meta 將擁有 350000 塊英偉達 H100(官方定價單塊 3.5 萬美元,實際還在溢價),如果算上其他算力資源將達到近 600000 塊 H100:


目前可能也只有微軟、谷歌擁有與之可比的算力儲備。


這隻「羊駝」性能太炸裂!Llama 3用開源對抗GPT? - 天天要聞

H00 GPU,圖/英偉達


小扎的言下之意其實很明顯:Meta 有足夠的 AI 算力資源來支持 Llama 3 的大規模預訓練以及生成式 AI 的技術研究。


具體的參數大小暫且無法得知,但可以預計將會延續之前的多個參數規模版本,有傳聞稱最大版本將超過 1400 億參數,直接挑戰 GPT-4 等領先的大模型。


The Information 還引用內部消息指出,Llama 3 不僅會放鬆「安全圍欄」,與 GPT-4、Gemini 以及 Llama 2 相比,Llama 3 在處理爭議問題時提供更好的回答。Meta 顯然希望至少提供有關查詢的上下文,而不是忽略、拒絕回答用戶提出的問題。


想要做到這一點,除了要求 Llama 3 從技術更好地改善大模型的「幻覺」問題,或許也要求上下文長度的改進。在 Llama 2 上,Meta 就將上下文長度翻了一番,讓模型在推理期間(與 AI 聊天的過程)可以「記住」兩倍的 Token 上下文。


另一方面,如今大模型廠商普遍都在轉向多模態大模型(如 Gemini、GPT-4V)的研究,即在文本之外還支持和理解圖像和音頻,可以同時生成文字、圖片、聲音和視頻。Meta 大概也不例外。


小扎雖然只確認 Llama 3 和 Llama 2 一樣將包含代碼生成功能,卻沒有明確提及其他多模式功能,不過他在官宣視頻還是談到了「人工智能」與「元宇宙」相結合的設想。


「眼鏡是讓人工智能看你所看、聽你所聽的理想產品形態,」小扎在談到 Meta x 雷朋眼鏡時指出,「它隨時可以提供幫助。」雷科技在獨立 AI 終端 這隻「羊駝」性能太炸裂!Llama 3用開源對抗GPT? - 天天要聞

圖/雷科技報道團現場攝製


換言之,Meta 的方向一定是讓 AI 模型同時具備自然語言理解、視覺和聽覺能力。由此推測,Llama 3 甚至後續幾代 Llama 對於多模態的支持可以說是題中應有之義。


總得來說,我們可以合理地預期,就算 Llama 3 的規模還是維持在從 70 億參數到 700 億參數不等的範圍,仍舊會帶來顯著的性能提升,同時 Llama 3 也將帶來更大的想象空間。


更何況 Meta 還有對 AGI 的追求。


「越來越清楚的是,下一代服務需要構建全面的通用智能。」小扎明確地指出了 Meta 構建 AGI 的長期目標,「打造最好的人工智能助手、創作者人工智能、企業人工智能等等——這需要人工智能各個領域的進步,從推理到規划到編碼到記憶以及其他認知能力。」


當然,這並不意味着 Llama 3 就將實現(甚至試圖實現)AGI。但毫無疑問,Meta 正在有意以一種他們認為最終可能實現 AGI 的方式,進行研究和開發。


為了成功,Llama 3 還會繼續開源


公允地說,Llama 3 開不開源,將極大地影響到整個人工智能行業。


作為行業被應用最多的開源大模型,Llama 2 及其為重要核心的上下游已經開始有意識構建生態。去年 12 月,為了對抗 OpenAI、谷歌為代表的閉源陣營,Meta 聯合甲骨文英特爾AMDIBM索尼戴爾等 57 家全球科技公司和研究機構成立了「AI 聯盟」。


這隻「羊駝」性能太炸裂!Llama 3用開源對抗GPT? - 天天要聞

AI 聯盟成員,圖/ IBM


這個聯盟有 6 大目標,其中很重要的一項就是搭建開源大模型生態,包括從研究、評估、硬件、安全、公眾參與等一整套流程。


小扎雖然從始至終沒有明確指出 Llama 3 開源與否,但 Llama 3 很大概率將會繼續開源。


官宣正在訓練 Llama 3 後,小扎就在 The Verge這隻「羊駝」性能太炸裂!Llama 3用開源對抗GPT? - 天天要聞

Yann LeCun,圖/ Meta


總而言之,開源能夠吸引更多廠商進行微調,吸引更多的開發者構建應用,也吸引更多的用戶進行使用,帶動生態的快速進步。特別當 Meta 佔據開源大模型的頂級生態位,除了最先進的閉源大模型,用戶恐怕會對其他所有模型失去興趣,Meta 也更容易在 OpenAI 的生態之外培育一個龐大的開發生態,甚至超越 OpenAI:


就如同當年 Android 的後來居上。


此外,監管問題也是無法迴避的。考慮到人工智能的顛覆性,當人工智能的進程不是由一家公司完全主導,而是由全球公司和開發者聯手打造,也更容易被監管機構所接受。


寫在最後


願景是美好的,現實卻不一定。問題是,Meta 還能夠重回開源「王座」,甚至超越 GPT-4 嗎?


這隻「羊駝」性能太炸裂!Llama 3用開源對抗GPT? - 天天要聞

圖/ X(原 Twitter


時移事易,Llama 3 發布之時,Meta 要面對的情況可能完全不同。谷歌 Gemma 的下場碾壓,Mistral 的黑馬之姿,都證明了 Meta 的開源「王座」並不穩固。尤其是谷歌,雖然次次都被 OpenAI 壓一頭,但沒有人敢真的忽視谷歌的錢、技術與號召力。


當然,這些問題最終還是要等到 Llama 3 發布之時,才會有更明確的答案。在那之前,大模型乾坤未定,一切皆有可能。



科技分類資訊推薦

無線信號增強秘籍,橋接和中繼模式哪個更強? - 天天要聞

無線信號增強秘籍,橋接和中繼模式哪個更強?

【ZOL中關村在線原創技術解析】隨着無線通信與計算機技術飛速發展,人們愈發渴望隨時隨地享受穩定的數據通信服務。無線路由器作為無線網絡核心設備,作用關鍵。但當其信號覆蓋不足,如穿過兩堵牆後信號微弱時,可通過無線橋接或中繼模式連接兩個無線路由器,擴展網絡、增強信號。中繼模式和橋接模式雖都能擴展網絡覆蓋,但...
流暢更耐用 魅族Note 16將預裝Flyme 12 - 天天要聞

流暢更耐用 魅族Note 16將預裝Flyme 12

魅族官方透露,將於5月發布的魅族Note 16系列將出廠預裝Flyme 12新系統,這也是Flyme系統大版本首次在非旗艦機型上首發。魅族Note 16搭載紫光展銳T765處理器,配備6.78英寸LCD屏,分辨率達2460*1080。後置採用八邊形相機模組,由5000萬像素主攝和200萬像素鏡頭組成。續航方面,內置6600mAh大容量電池,支持40W有線充電
跨境電商迎“成本地震”,行業洗牌加速 - 天天要聞

跨境電商迎“成本地震”,行業洗牌加速

【環球網財經綜合報道】近日,美國正式終止了對中國價值不超過800美元的小額包裹免徵關稅的政策,這一變化引發了中國跨境電商行業的連鎖反應。多家物流公司隨即調整策略,物流費用普遍上漲,並增加了高額預收稅金。(圖片來源:東方IC)美國的800美元小額免稅政策(De Minimis)自2016年實施以來,極大地推動了全球跨境電商...
音樂節超時粉絲吵上熱搜!羅雲熙周深發布聯合說明 - 天天要聞

音樂節超時粉絲吵上熱搜!羅雲熙周深發布聯合說明

5月4日,太湖灣音樂節組委會“關於5月1日太湖灣音樂節的相關討論”,聯合羅雲熙工作室、周深工作室作出如下說明:在演出過程中,現場因節奏調整產生變化,相關團隊均已積極協作,確保了整體流程順利完成。對於由此引發的相關關注,我們充分理解大家的關心
國外一公司推出“空中自行車”:可垂直起飛、極速200公里/時 - 天天要聞

國外一公司推出“空中自行車”:可垂直起飛、極速200公里/時

快科技5月5日消息,近日,國外一家名為Volonaut的新成立公司推出了一款 “空中自行車”,這是一款具有創新性和顛覆性的飛行載具。其由Jetson One(註:一款飛行器)創造者托馬斯・帕坦(Tomasz Patan)在波蘭研發,其設計靈感源自科幻電影,尤其是《星球大戰》中的飛行摩托。外觀上沒有傳統飛行器的冗餘結構,僅見容納推進...
全球首款雙形態人形機器人正式發布! - 天天要聞

全球首款雙形態人形機器人正式發布!

前言首次定義具身人形機器人商用範式。近日消息,全球首款雙形態人形機器人——數字華夏IP系列開山之作星行俠P01正式發布。顏值高、智商高、易使用首次定義具身人形機器人商用範式據悉,數字華夏推出IP系列的初衷,是打造屬於這個時代的「商用機器人」。“外形潮流時尚、智商情商兼具、使用維護極簡,首次定義具身人形機...
三星One UI 8測試版或下月推出 給後續修復留出時間 - 天天要聞

三星One UI 8測試版或下月推出 給後續修復留出時間

【CNMO科技消息】三星已經開始內部測試全新的One UI 8系統,同時也在包括Galaxy Z Flip6在內的多款設備上進行適配測試。按照目前的進度來看,這次更新的到來時間可能比很多人預想得更早,有可能會在今年7月或8月之前就正式推出。 和以往一樣,三星應該會先上線One UI 8的測試版計劃,給部分用戶提前嘗鮮的機會。根據最新消...
蘋果引入Anthropic開發的Claude AI系統 欲放棄自研? - 天天要聞

蘋果引入Anthropic開發的Claude AI系統 欲放棄自研?

【CNMO科技消息】蘋果最近開始引入Anthropic公司開發的Claude AI系統,用於協助其工程師更高效地編寫代碼。 長期以來,蘋果一直堅持自主研發核心技術,很少依賴外部力量。但這一次,它選擇與Anthropic合作,將後者的Claude Sonnet模型集成到自家開發工具Xcode的升級版本中。據彭博社報道,這項合作已經開始在內部落地,主要...