Meta推出開源大模型Llama 3:最大底牌4000億參數,性能直逼GPT-4

2024年04月29日01:51:54 科技 5313

劃重點:

騰訊科技訊 4月19日消息,據國外媒體報道,美國科技巨頭meta推出了其最強大的開源人工智能(ai)模型llama 3,以追趕行業領導者openai。meta首席執行官扎克伯格表示,llama 3有8b和70b兩個版本,大版本的llama 3將有超過4000億參數。由於預訓練和指令微調,llama 3相比llama 2有了極大的改進。

此外,meta還同時發佈了ai助手的更新版本。該助手將在meta的facebook、instagram、whatsapp和messenger應用以及一個新設立的獨立網站meta.ai中獲得更突出的地位,讓llama 3能夠更直接地與微軟支持的openai的熱門產品chatgpt競爭。

Meta推出開源大模型Llama 3:最大底牌4000億參數,性能直逼GPT-4 - 天天要聞

meta在去年7月份發佈了llama 2。此後,包括谷歌、馬斯克旗下的xai與mistral等在內的數家公司發佈了開源的大語言模型,競爭十分激烈。

llama 3直接對標openai的gpt-4,後者已經成為一個強大的多模態模型,不僅能夠處理更長的文本,還支持圖像輸入。meta此前已推出三個版本的llama 2,其中最大的一個擁有700億個參數,另外兩個版本分別擁有130億和70億個參數。

在宣布這一消息之際,meta一直在努力向其數十億用戶推廣生成式人工智能產品,包括對計算基礎設施進行全面改造,以及整合此前截然不同的研究和產品團隊,從而挑戰openai在該技術上的領先地位。

開源的llama是meta人工智能戰略的重要組成部分。這家社交媒體巨頭希望利用人工智能來提高其廣告工具的效率,並增強其社交媒體應用的吸引力。meta首席執行官馬克·扎克伯格(mark zuckerberg)在本月初向投資人表示,今年的主要關注領域包括推出llama 3和「擴大meta ai助手的實用性」。

追趕gpt-4

meta希望llama 3能趕上openai的gpt-4。不過知情人士透露,因為研究人員尚未開始對llama 3進行微調,所以尚未決定llama 3是否將是多模態模型。微調是開發人員為現有模型提供額外數據的過程,以便它可以學習新信息或任務。較大的模型通常會提供更高質量的答覆,而較小的模型往往會更快的提供答覆。有消息稱,正式版的llama 3將會在今年7月正式推出。

meta首席產品官克里斯·考克斯(chris cox)在接受採訪時表示,該公司為llama 3植入了全新的計算機編碼功能,如今它不僅可以輸出文本,還可以輸出圖像。他補充說,更高級的推理,如制定更長的多步計劃的能力,將在後續版本中推出。meta在官方博客中表示,計劃在未來幾個月發佈的正式版也將具有「多模態」能力,這意味着它可以生成文本和圖像。

考克斯說:「最終的目標是幫助用戶擺脫煩心事。無論是與企業互動,無論是寫東西,還是計劃旅行,讓他們的生活更輕鬆。」他還表示,將圖像納入llama 3的訓練將增強今年推出的新一代雷朋meta智能眼鏡的功能,讓meta ai能夠識別使用者看到的物體並回答有關它們的問題。

meta還宣布與alphabet的谷歌建立新的合作夥伴關係,在助手的答覆中包括實時搜索結果,作為與微軟必應現有合作的補充。隨着此次更新,meta ai助手正在擴展到美國以外的十多個市場,包括澳大利亞、加拿大、新加坡、尼日利亞和巴基斯坦。考克斯說,meta「仍在努力以正確的方式在歐洲做到這一點」。歐洲的隱私規定更加嚴格,即將出台的人工智能法案也準備提出披露模型訓練數據等要求。

生成式人工智能模型對數據的巨大需求已開始限制該技術的發展。作為追趕努力的一部分,meta一直在發佈像llama 3這樣的模型供開發人員免費商業使用,因為強大的免費模型的成功可能會阻礙競爭對手從其專有技術中賺取收入的計劃。

扎克伯格周四在發佈會上稱meta ai是「你可以自由使用的最智能的人工智能助手」。他表示,最大版本的llama 3目前正在用4000億個參數進行訓練,在mmlu(大規模多任務語言理解)測試中得分為85分。他表示,推出的兩個較小版本現在分別有80億個參數和700億個參數,後者mmlu的得分為82分。(編譯/無忌)

Meta推出開源大模型Llama 3:最大底牌4000億參數,性能直逼GPT-4 - 天天要聞

科技分類資訊推薦

新相機井噴式發佈,相機市場迎來轉折點? - 天天要聞

新相機井噴式發佈,相機市場迎來轉折點?

5月可以說是2024年以來新品發佈會數量最多的一個月,除了讀者們最熟悉的手機外,定位專業領域的相機市場也迎來了一大批「新成員」。根據網絡上匯總的爆料來看,目前可以確定的是尼康Z6iii、松下S9以及佳能R5ii都將在本月正式發佈,也就是說在接下來的半個月里我們能見到三台新相機的面世,如此密集的發佈期小雷是第一次見。...
摩托羅拉 Moto Razr 50 Ultra 或搭載驍龍 8s Gen 3,加量不加價 - 天天要聞

摩托羅拉 Moto Razr 50 Ultra 或搭載驍龍 8s Gen 3,加量不加價

最近一段時間,摩托羅拉手機官方對moto X50 Ultra AI手機進行了多次預熱。根據預熱內容顯示,該機將首批搭載第三代驍龍8s移動平台,號稱為用戶帶來AI+性能的「甜點體驗」。而隨着時間的推進,另一款同樣搭載驍龍8s Gen3的摺疊屏新機——moto Razr 50 Ultra也浮出了水面。據悉,第三代驍龍8s採用4nm製程,繼承與第三代驍龍8...
小米15系列要漲價,定價會超萬元嗎? - 天天要聞

小米15系列要漲價,定價會超萬元嗎?

最近,關於新一代小米數字旗艦的消息陸續出現了多份。按照現有消息來看,新一代的小米 15 系列手機將會在今年的10月中旬亮相。對比來看,前代產品小米14系列在2023年10月26日正式發佈。如果爆料信息準確的話,那麼今年應該會更早見到小米旗下的數字旗艦迭代。據悉,最新的一份爆料中顯示,小米15 系列現身了數據庫,並顯示...
小米之後,做手機的魅族也造車了:首款車型已命名? - 天天要聞

小米之後,做手機的魅族也造車了:首款車型已命名?

在2023年11月的魅族秋季發佈會末尾,魅族CEO沈子瑜曾抖出了一個「One more thing」,宣布魅族將進入汽車領域,於2024年一季度啟動DreamCar共創計劃,魅族汽車將是「全球第一款由用戶深度參與的定製車」,可以由用戶定義其車衣塗裝、內飾配色、Flyme Auto主題等。此消息在新聞頻出的汽車圈砸出了一圈水花,很快又被別的熱點...
電商平台一員工一年受賄9200餘萬元!細節曝光 - 天天要聞

電商平台一員工一年受賄9200餘萬元!細節曝光

前不久,杭州警方偵破了一起民營企業內部腐敗案件。王某是電商平台基礎崗位的一名運營人員,他在短短一年的時間,收受商家賄賂高達9200多萬元,受賄情節可謂觸目驚心。電商平台一名員工一年受賄9200餘萬元案件主要犯罪嫌疑人王某的股票賬號顯示,雖然虧損近千萬,但賬戶里的餘額仍有2400餘萬元,而這僅僅是王某受賄贓款的一...
新款iPad Pro存在渲染失常問題?蘋果中國客服回應 - 天天要聞

新款iPad Pro存在渲染失常問題?蘋果中國客服回應

中新網5月14日電(中新財經記者 吳家駒)近日,有國外科技媒體發文稱,蘋果新款iPad Pro存在渲染失常問題,相關話題登上微博熱搜。中新財經5月14日就此諮詢了蘋果中國客服。  近日,國外科技媒體iMore的主編傑拉德·林奇(Gerald Lynch)發文稱,蘋果的新款iPad Pro在某些藍色色調的HDR內容方面存在問題。  該文章稱,在使...
全新形態!小米MIX新機真的要來了? - 天天要聞

全新形態!小米MIX新機真的要來了?

號外號外,好久不見的小米 MIX 系列終於又要迎來新品了。不過先給大家潑個冷水。屏佔比超高、沒有挖孔、全等深微曲屏、10倍伸縮長焦、徠卡人像、真陶瓷+鈦金屬機身、5500mAh 大電池的直板機型...肯定是沒有的。這次的 MIX 新機依舊是摺疊形態。
OpenAI春季發佈會:GPT-4o登場!與人類反應時間相近? - 天天要聞

OpenAI春季發佈會:GPT-4o登場!與人類反應時間相近?

北京時間5月14日凌晨美國人工智能研究公司OpenAI舉辦春季發佈會發佈了新旗艦模型GPT-4o並展示了一些最新研究只多一個「o」卻多了很多新功能GPT-4o的「o」代表「omni」源自拉丁語「omnis」詞意為「全能」GPT-4o可以接受文本、音頻和圖像三者組合作為輸入並生成文