Meta推出開源大模型Llama 3:最大底牌4000億參數,性能直逼GPT-4

2024年04月29日01:51:54 科技 5313

劃重點:

騰訊科技訊 4月19日消息,據國外媒體報道,美國科技巨頭meta推出了其最強大的開源人工智能(ai)模型llama 3,以追趕行業領導者openai。meta首席執行官扎克伯格表示,llama 3有8b和70b兩個版本,大版本的llama 3將有超過4000億參數。由於預訓練和指令微調,llama 3相比llama 2有了極大的改進。

此外,meta還同時發布了ai助手的更新版本。該助手將在meta的facebook、instagram、whatsapp和messenger應用以及一個新設立的獨立網站meta.ai中獲得更突出的地位,讓llama 3能夠更直接地與微軟支持的openai的熱門產品chatgpt競爭。

Meta推出開源大模型Llama 3:最大底牌4000億參數,性能直逼GPT-4 - 天天要聞

meta在去年7月份發布了llama 2。此後,包括谷歌、馬斯克旗下的xai與mistral等在內的數家公司發布了開源的大語言模型,競爭十分激烈。

llama 3直接對標openai的gpt-4,後者已經成為一個強大的多模態模型,不僅能夠處理更長的文本,還支持圖像輸入。meta此前已推出三個版本的llama 2,其中最大的一個擁有700億個參數,另外兩個版本分別擁有130億和70億個參數。

在宣布這一消息之際,meta一直在努力向其數十億用戶推廣生成式人工智能產品,包括對計算基礎設施進行全面改造,以及整合此前截然不同的研究和產品團隊,從而挑戰openai在該技術上的領先地位。

開源的llama是meta人工智能戰略的重要組成部分。這家社交媒體巨頭希望利用人工智能來提高其廣告工具的效率,並增強其社交媒體應用的吸引力。meta首席執行官馬克·扎克伯格(mark zuckerberg)在本月初向投資人表示,今年的主要關注領域包括推出llama 3和“擴大meta ai助手的實用性”。

追趕gpt-4

meta希望llama 3能趕上openai的gpt-4。不過知情人士透露,因為研究人員尚未開始對llama 3進行微調,所以尚未決定llama 3是否將是多模態模型。微調是開發人員為現有模型提供額外數據的過程,以便它可以學習新信息或任務。較大的模型通常會提供更高質量的答覆,而較小的模型往往會更快的提供答覆。有消息稱,正式版的llama 3將會在今年7月正式推出。

meta首席產品官克里斯·考克斯(chris cox)在接受採訪時表示,該公司為llama 3植入了全新的計算機編碼功能,如今它不僅可以輸出文本,還可以輸出圖像。他補充說,更高級的推理,如制定更長的多步計劃的能力,將在後續版本中推出。meta在官方博客中表示,計劃在未來幾個月發布的正式版也將具有“多模態”能力,這意味着它可以生成文本和圖像。

考克斯說:“最終的目標是幫助用戶擺脫煩心事。無論是與企業互動,無論是寫東西,還是計劃旅行,讓他們的生活更輕鬆。”他還表示,將圖像納入llama 3的訓練將增強今年推出的新一代雷朋meta智能眼鏡的功能,讓meta ai能夠識別使用者看到的物體並回答有關它們的問題。

meta還宣布與alphabet的谷歌建立新的合作夥伴關係,在助手的答覆中包括實時搜索結果,作為與微軟必應現有合作的補充。隨着此次更新,meta ai助手正在擴展到美國以外的十多個市場,包括澳大利亞、加拿大、新加坡、尼日利亞和巴基斯坦。考克斯說,meta“仍在努力以正確的方式在歐洲做到這一點”。歐洲的隱私規定更加嚴格,即將出台的人工智能法案也準備提出披露模型訓練數據等要求。

生成式人工智能模型對數據的巨大需求已開始限制該技術的發展。作為追趕努力的一部分,meta一直在發布像llama 3這樣的模型供開發人員免費商業使用,因為強大的免費模型的成功可能會阻礙競爭對手從其專有技術中賺取收入的計劃。

扎克伯格周四在發布會上稱meta ai是“你可以自由使用的最智能的人工智能助手”。他表示,最大版本的llama 3目前正在用4000億個參數進行訓練,在mmlu(大規模多任務語言理解)測試中得分為85分。他表示,推出的兩個較小版本現在分別有80億個參數和700億個參數,後者mmlu的得分為82分。(編譯/無忌)

Meta推出開源大模型Llama 3:最大底牌4000億參數,性能直逼GPT-4 - 天天要聞

科技分類資訊推薦

華為nova12 Ultra星耀版官宣!5月17日即將開售 - 天天要聞

華為nova12 Ultra星耀版官宣!5月17日即將開售

【CNMO科技消息】5月14日,華為終端官宣:星耀奪目,時尚“藍”不住。5月17日10:08,華為nova12 Ultra星耀版即將開售。華為nova12 Ultra星耀版官宣  此前,華為註冊了星耀手機的商標,但是一直沒有等到星耀手機,反而先等來了nova12 Ultra星耀版。不知道nova12 Ultra星耀版和之前發布的nova12 Ultra會有什
虛擬現實市場迎新風暴?蘋果Vision Pro頭顯將進軍國際市場 - 天天要聞

虛擬現實市場迎新風暴?蘋果Vision Pro頭顯將進軍國際市場

萬眾期待的Apple Vision Pro 頭顯真的要來中國啦?知名蘋果爆料人馬克·古爾曼透露,蘋果(AAPL.US)公司即將在美國以外的國家和地區開售Apple Vision Pro頭顯,以提振銷量。古爾曼稱,來自中國、德國、澳大利亞、法國、日本、韓國和新加坡零售店的員工正在參加為期4天的Vision Pro培訓課程,這或意味着這些國家很可能是繼...
線上線下相結合,靜安區開展節能宣傳周主題活動 - 天天要聞

線上線下相結合,靜安區開展節能宣傳周主題活動

2024年5月13日至19日是我國第34個節能宣傳周,今年的主題為“綠色轉型,節能攻堅”。為深入踐行習近平生態文明思想,引導全區黨政機關及公共機構緊扣“雙碳”目標任務縱深推進節能工作,區機管局聯合區綠化市容局、區生態環境局、區委社工部、區區級機關黨工委集中開展節能宣傳周、全國低碳日宣傳活動。本次宣傳周活動採用...
科技助老,樂享生活!常熟市支塘鎮任陽社區開展老年人智能手機應用講座 - 天天要聞

科技助老,樂享生活!常熟市支塘鎮任陽社區開展老年人智能手機應用講座

近日,常熟市支塘鎮任陽社區在老年人日間照料中心開展了一場老年人智能手機應用講座,本次講座共有20多名老年人積极參与。讓老年朋友們一起跟上時代的步伐,享受科技帶來的便利。為了讓大家更好地學習和掌握智能手機的應用,工作人員準備了《老年人智能手機應用初級教程》。
官方試探?蘋果小摺疊屏新機諜照曝光 外屏超大 - 天天要聞

官方試探?蘋果小摺疊屏新機諜照曝光 外屏超大

【CNMO科技消息】近期,網絡上再次流傳出一張疑似蘋果即將推出的摺疊屏手機的諜照,引起網友關注。有知名數碼博主分析,近期關於蘋果摺疊屏手機的信息不斷,這張諜照極有可能是蘋果官方有意為之,意在試探市場反應與公眾期待值。不論如何,觀察目前市場上即將面世的摺疊屏手機均趨向於追求極致的全面屏體驗,力求擴大外屏占...