Meta推出開源大模型Llama 3:最大底牌4000億參數,性能直逼GPT-4

2024年04月29日01:51:54 科技 5313

劃重點:

騰訊科技訊 4月19日消息,據國外媒體報道,美國科技巨頭meta推出了其最強大的開源人工智慧(ai)模型llama 3,以追趕行業領導者openai。meta首席執行官扎克伯格表示,llama 3有8b和70b兩個版本,大版本的llama 3將有超過4000億參數。由於預訓練和指令微調,llama 3相比llama 2有了極大的改進。

此外,meta還同時發布了ai助手的更新版本。該助手將在meta的facebook、instagram、whatsapp和messenger應用以及一個新設立的獨立網站meta.ai中獲得更突出的地位,讓llama 3能夠更直接地與微軟支持的openai的熱門產品chatgpt競爭。

Meta推出開源大模型Llama 3:最大底牌4000億參數,性能直逼GPT-4 - 天天要聞

meta在去年7月份發布了llama 2。此後,包括谷歌、馬斯克旗下的xai與mistral等在內的數家公司發布了開源的大語言模型,競爭十分激烈。

llama 3直接對標openai的gpt-4,後者已經成為一個強大的多模態模型,不僅能夠處理更長的文本,還支持圖像輸入。meta此前已推出三個版本的llama 2,其中最大的一個擁有700億個參數,另外兩個版本分別擁有130億和70億個參數。

在宣布這一消息之際,meta一直在努力向其數十億用戶推廣生成式人工智慧產品,包括對計算基礎設施進行全面改造,以及整合此前截然不同的研究和產品團隊,從而挑戰openai在該技術上的領先地位。

開源的llama是meta人工智慧戰略的重要組成部分。這家社交媒體巨頭希望利用人工智慧來提高其廣告工具的效率,並增強其社交媒體應用的吸引力。meta首席執行官馬克·扎克伯格(mark zuckerberg)在本月初向投資人表示,今年的主要關注領域包括推出llama 3和「擴大meta ai助手的實用性」。

追趕gpt-4

meta希望llama 3能趕上openai的gpt-4。不過知情人士透露,因為研究人員尚未開始對llama 3進行微調,所以尚未決定llama 3是否將是多模態模型。微調是開發人員為現有模型提供額外數據的過程,以便它可以學習新信息或任務。較大的模型通常會提供更高質量的答覆,而較小的模型往往會更快的提供答覆。有消息稱,正式版的llama 3將會在今年7月正式推出。

meta首席產品官克里斯·考克斯(chris cox)在接受採訪時表示,該公司為llama 3植入了全新的計算機編碼功能,如今它不僅可以輸出文本,還可以輸出圖像。他補充說,更高級的推理,如制定更長的多步計劃的能力,將在後續版本中推出。meta在官方博客中表示,計劃在未來幾個月發布的正式版也將具有「多模態」能力,這意味著它可以生成文本和圖像。

考克斯說:「最終的目標是幫助用戶擺脫煩心事。無論是與企業互動,無論是寫東西,還是計劃旅行,讓他們的生活更輕鬆。」他還表示,將圖像納入llama 3的訓練將增強今年推出的新一代雷朋meta智能眼鏡的功能,讓meta ai能夠識別使用者看到的物體並回答有關它們的問題。

meta還宣布與alphabet的谷歌建立新的合作夥伴關係,在助手的答覆中包括實時搜索結果,作為與微軟必應現有合作的補充。隨著此次更新,meta ai助手正在擴展到美國以外的十多個市場,包括澳大利亞、加拿大、新加坡、奈及利亞和巴基斯坦。考克斯說,meta「仍在努力以正確的方式在歐洲做到這一點」。歐洲的隱私規定更加嚴格,即將出台的人工智慧法案也準備提出披露模型訓練數據等要求。

生成式人工智慧模型對數據的巨大需求已開始限制該技術的發展。作為追趕努力的一部分,meta一直在發布像llama 3這樣的模型供開發人員免費商業使用,因為強大的免費模型的成功可能會阻礙競爭對手從其專有技術中賺取收入的計劃。

扎克伯格周四在發布會上稱meta ai是「你可以自由使用的最智能的人工智慧助手」。他表示,最大版本的llama 3目前正在用4000億個參數進行訓練,在mmlu(大規模多任務語言理解)測試中得分為85分。他表示,推出的兩個較小版本現在分別有80億個參數和700億個參數,後者mmlu的得分為82分。(編譯/無忌)

Meta推出開源大模型Llama 3:最大底牌4000億參數,性能直逼GPT-4 - 天天要聞

科技分類資訊推薦

「大小」合作新模式的背後是一場技術的狂歡 - 天天要聞

「大小」合作新模式的背後是一場技術的狂歡

在汽車行業,合作不僅是一種選擇,更是一種趨勢。一個是最具實力的造車大廠,一個是成立10年的新勢力,小鵬和大眾創造了汽車行業的全新模式,兩方合作不只是優勢的互補,同樣也是大魚和快魚的結合。在本屆北京車展前夕的大眾集團之夜上,何小鵬讓人頗感意外地出現在了現場,與大眾CEO貝瑞德共同聊起了中德企業的彼此尊重與...
【獨家】李小加內部信透露最新戰略規劃,滴灌通已進入「二級火箭」階段 - 天天要聞

【獨家】李小加內部信透露最新戰略規劃,滴灌通已進入「二級火箭」階段

界面新聞記者 | 劉晨光 滴灌通內部有大動作。5月14日,界面新聞記者從知情人士處獨家獲悉,滴灌通向員工發出全員信,宣布了公司最新的戰略規劃,即「領頭羊計劃」和「ETF計劃」。滴灌通創始人李小加和張高波在全員信中提到,滴灌通已經全面進入「二級火箭「階段。在「一級火箭」階段,滴灌通用自己的錢...
微信、QQ上線新功能,能救命! - 天天要聞

微信、QQ上線新功能,能救命!

5月13日 「QQ微信上線地震預警功能」 衝上微博熱搜 騰訊公司微博回應稱 這是12晚悄悄上線的功能 已覆蓋四川全省 及周邊50公里內地區....
新增會員 AI 助手功能,鎚子便簽應用 iOS 版獲推 4.0 更新 - 天天要聞

新增會員 AI 助手功能,鎚子便簽應用 iOS 版獲推 4.0 更新

IT之家 5 月 14 日消息,繼此前安卓版本後,據IT之家小夥伴投稿,鎚子便簽 iOS 版目前也已迎來 v4.0 版本更新,該版本包體積為 58.9 MB,最大的亮點是新增 AI 功能(需要訂閱使用),IT之家整理更新內容如下:新增 AI 創作功能,包括 AI 寫作、續寫、擴寫、簡寫、大綱、頭腦風暴和推廣文案新增 AI 調優功能,包括校正、排...
盤前必讀丨「北向互換通」優化功能即將上線;納斯達克中國金龍指數漲超3% - 天天要聞

盤前必讀丨「北向互換通」優化功能即將上線;納斯達克中國金龍指數漲超3%

財經日曆:14:00 德國4月CPI年率終值20:30 美國4月PPI年率周一(5月13日)美國三大股指收盤漲跌不一,道指跌0.21%,標普500指數跌0.02%,納指漲0.29%。科技股漲跌不一,蘋果漲1.76%,亞馬遜跌0.49%,奈飛漲0.94%,谷歌漲0.29%,臉書跌1.72%,微軟跌0.25%。銀行股漲跌不一,摩根大通跌0.05%,高盛跌0.26
中國向世界宣布:全球第一顆6G衛星,成功發射而美想要進行合作 - 天天要聞

中國向世界宣布:全球第一顆6G衛星,成功發射而美想要進行合作

萬物互聯的時代,人們生活幾乎離不開網路,中國此前成功發射天通一號6G試驗衛星,這也是全球首顆通信衛星,轉眼已經過去了一段時間,6G通信技術的測試,也繼續為我國的科研團隊,帶來更多的參考數據,而6G衛星引發國際社會廣泛關注,因為6G網路將會改寫人類的通信方式,也將會為全球的衛星通信
別只盯著ChatGPT4o:Kimi Chat在中文搜索能力上不容小覷 - 天天要聞

別只盯著ChatGPT4o:Kimi Chat在中文搜索能力上不容小覷

在這個AI助手層出不窮的時代,剛剛‬發布‬的‬ChatGPT4o無疑成為了許多人心中的超級英雄,它的智能對話和信息處理能力讓人印象深刻。然而,當我們將目光聚焦於這顆璀璨的星辰時,另一顆新星正在中文搜索的天空中冉冉升起——它就是Kimi Chat。
GPT-4o 屠龍式震撼!多模態、實時交互、全員免費可用,絲滑語音交互的 ChatGPT 這把贏麻了 - 天天要聞

GPT-4o 屠龍式震撼!多模態、實時交互、全員免費可用,絲滑語音交互的 ChatGPT 這把贏麻了

作者:李寶珠 & 十九編輯:三羊OpenAI 發布 GPT-4o,ChatGPT 基於GPT-4o 實現了語音交互,並在文本與視覺能力上有顯著提升。從 5 月初爆出將在 9 日發布搜索引擎;到 5 月 11 日,官宣將在當地時間 5 月 13 日 10 時發布 ChatGPT 與 GPT-4 更新;再到 Sam Altman 親自下場闢謠「不是 GP