Meta推出开源大模型Llama 3:最大底牌4000亿参数,性能直逼GPT-4

2024年04月29日01:51:54 科技 5313

划重点:

腾讯科技讯 4月19日消息,据国外媒体报道,美国科技巨头meta推出了其最强大的开源人工智能(ai)模型llama 3,以追赶行业领导者openai。meta首席执行官扎克伯格表示,llama 3有8b和70b两个版本,大版本的llama 3将有超过4000亿参数。由于预训练和指令微调,llama 3相比llama 2有了极大的改进。

此外,meta还同时发布了ai助手的更新版本。该助手将在meta的facebook、instagram、whatsapp和messenger应用以及一个新设立的独立网站meta.ai中获得更突出的地位,让llama 3能够更直接地与微软支持的openai的热门产品chatgpt竞争。

Meta推出开源大模型Llama 3:最大底牌4000亿参数,性能直逼GPT-4 - 天天要闻

meta在去年7月份发布了llama 2。此后,包括谷歌、马斯克旗下的xai与mistral等在内的数家公司发布了开源的大语言模型,竞争十分激烈。

llama 3直接对标openai的gpt-4,后者已经成为一个强大的多模态模型,不仅能够处理更长的文本,还支持图像输入。meta此前已推出三个版本的llama 2,其中最大的一个拥有700亿个参数,另外两个版本分别拥有130亿和70亿个参数。

在宣布这一消息之际,meta一直在努力向其数十亿用户推广生成式人工智能产品,包括对计算基础设施进行全面改造,以及整合此前截然不同的研究和产品团队,从而挑战openai在该技术上的领先地位。

开源的llama是meta人工智能战略的重要组成部分。这家社交媒体巨头希望利用人工智能来提高其广告工具的效率,并增强其社交媒体应用的吸引力。meta首席执行官马克·扎克伯格(mark zuckerberg)在本月初向投资人表示,今年的主要关注领域包括推出llama 3和“扩大meta ai助手的实用性”。

追赶gpt-4

meta希望llama 3能赶上openai的gpt-4。不过知情人士透露,因为研究人员尚未开始对llama 3进行微调,所以尚未决定llama 3是否将是多模态模型。微调是开发人员为现有模型提供额外数据的过程,以便它可以学习新信息或任务。较大的模型通常会提供更高质量的答复,而较小的模型往往会更快的提供答复。有消息称,正式版的llama 3将会在今年7月正式推出。

meta首席产品官克里斯·考克斯(chris cox)在接受采访时表示,该公司为llama 3植入了全新的计算机编码功能,如今它不仅可以输出文本,还可以输出图像。他补充说,更高级的推理,如制定更长的多步计划的能力,将在后续版本中推出。meta在官方博客中表示,计划在未来几个月发布的正式版也将具有“多模态”能力,这意味着它可以生成文本和图像。

考克斯说:“最终的目标是帮助用户摆脱烦心事。无论是与企业互动,无论是写东西,还是计划旅行,让他们的生活更轻松。”他还表示,将图像纳入llama 3的训练将增强今年推出的新一代雷朋meta智能眼镜的功能,让meta ai能够识别使用者看到的物体并回答有关它们的问题。

meta还宣布与alphabet的谷歌建立新的合作伙伴关系,在助手的答复中包括实时搜索结果,作为与微软必应现有合作的补充。随着此次更新,meta ai助手正在扩展到美国以外的十多个市场,包括澳大利亚、加拿大、新加坡、尼日利亚和巴基斯坦。考克斯说,meta“仍在努力以正确的方式在欧洲做到这一点”。欧洲的隐私规定更加严格,即将出台的人工智能法案也准备提出披露模型训练数据等要求。

生成式人工智能模型对数据的巨大需求已开始限制该技术的发展。作为追赶努力的一部分,meta一直在发布像llama 3这样的模型供开发人员免费商业使用,因为强大的免费模型的成功可能会阻碍竞争对手从其专有技术中赚取收入的计划。

扎克伯格周四在发布会上称meta ai是“你可以自由使用的最智能的人工智能助手”。他表示,最大版本的llama 3目前正在用4000亿个参数进行训练,在mmlu(大规模多任务语言理解)测试中得分为85分。他表示,推出的两个较小版本现在分别有80亿个参数和700亿个参数,后者mmlu的得分为82分。(编译/无忌)

Meta推出开源大模型Llama 3:最大底牌4000亿参数,性能直逼GPT-4 - 天天要闻

科技分类资讯推荐

华为nova12 Ultra星耀版官宣!5月17日即将开售 - 天天要闻

华为nova12 Ultra星耀版官宣!5月17日即将开售

【CNMO科技消息】5月14日,华为终端官宣:星耀夺目,时尚“蓝”不住。5月17日10:08,华为nova12 Ultra星耀版即将开售。华为nova12 Ultra星耀版官宣  此前,华为注册了星耀手机的商标,但是一直没有等到星耀手机,反而先等来了nova12 Ultra星耀版。不知道nova12 Ultra星耀版和之前发布的nova12 Ultra会有什
虚拟现实市场迎新风暴?苹果Vision Pro头显将进军国际市场 - 天天要闻

虚拟现实市场迎新风暴?苹果Vision Pro头显将进军国际市场

万众期待的Apple Vision Pro 头显真的要来中国啦?知名苹果爆料人马克·古尔曼透露,苹果(AAPL.US)公司即将在美国以外的国家和地区开售Apple Vision Pro头显,以提振销量。古尔曼称,来自中国、德国、澳大利亚、法国、日本、韩国和新加坡零售店的员工正在参加为期4天的Vision Pro培训课程,这或意味着这些国家很可能是继...
线上线下相结合,静安区开展节能宣传周主题活动 - 天天要闻

线上线下相结合,静安区开展节能宣传周主题活动

2024年5月13日至19日是我国第34个节能宣传周,今年的主题为“绿色转型,节能攻坚”。为深入践行习近平生态文明思想,引导全区党政机关及公共机构紧扣“双碳”目标任务纵深推进节能工作,区机管局联合区绿化市容局、区生态环境局、区委社工部、区区级机关党工委集中开展节能宣传周、全国低碳日宣传活动。本次宣传周活动采用...
科技助老,乐享生活!常熟市支塘镇任阳社区开展老年人智能手机应用讲座 - 天天要闻

科技助老,乐享生活!常熟市支塘镇任阳社区开展老年人智能手机应用讲座

近日,常熟市支塘镇任阳社区在老年人日间照料中心开展了一场老年人智能手机应用讲座,本次讲座共有20多名老年人积极参与。让老年朋友们一起跟上时代的步伐,享受科技带来的便利。为了让大家更好地学习和掌握智能手机的应用,工作人员准备了《老年人智能手机应用初级教程》。
官方试探?苹果小折叠屏新机谍照曝光 外屏超大 - 天天要闻

官方试探?苹果小折叠屏新机谍照曝光 外屏超大

【CNMO科技消息】近期,网络上再次流传出一张疑似苹果即将推出的折叠屏手机的谍照,引起网友关注。有知名数码博主分析,近期关于苹果折叠屏手机的信息不断,这张谍照极有可能是苹果官方有意为之,意在试探市场反应与公众期待值。不论如何,观察目前市场上即将面世的折叠屏手机均趋向于追求极致的全面屏体验,力求扩大外屏占...
OPPO K12x手机预售:骁龙695、峰值亮度2100尼特,1299元起 - 天天要闻

OPPO K12x手机预售:骁龙695、峰值亮度2100尼特,1299元起

IT之家 5 月 14 日消息,OPPO 在今天上架了 K12x 手机,搭载 5500mAh 电池,支持 80W 闪充,有钛空灰和凝光绿 2 款配色,今天上午 10 点开启预售,5 月 20 日 10 点正式开售。K12x 有三个内存与存储版本可选,分别为:8GB+256GB:1299 元12GB+256GB:1499 元12GB+512GB:1799 元K
“大小”合作新模式的背后是一场技术的狂欢 - 天天要闻

“大小”合作新模式的背后是一场技术的狂欢

在汽车行业,合作不仅是一种选择,更是一种趋势。一个是最具实力的造车大厂,一个是成立10年的新势力,小鹏和大众创造了汽车行业的全新模式,两方合作不只是优势的互补,同样也是大鱼和快鱼的结合。在本届北京车展前夕的大众集团之夜上,何小鹏让人颇感意外地出现在了现场,与大众CEO贝瑞德共同聊起了中德企业的彼此尊重与...