苹果、英伟达强强联手,LLM 推理加速利器 ReDrafter 开源

2024年12月28日13:50:51 科技 1523

it之家 12 月 19 日消息,苹果公司昨日(12 月 18 日)发布博文,宣布和英伟达(nvidia)合作,通过开源 recurrent drafter(redrafter)推测解码方法,显著提升了 ai 大语言模型(llm)的推理速度。

苹果公司表示 redrafter 已集成到 nvidia tensorrt-llm 推理加速框架中,在 nvidia gpu 上,每秒生成 tokens 速度最高提升 2.7 倍,有效降低了用户延迟和计算成本。

苹果的机器学习研究人员指出,llm 越来越多地用于驱动生产应用程序,提高推理效率对降低计算成本和用户延迟至关重要。

it之家援引苹果官方博文,redrafter 使用 rnn 草稿模型,结合波束搜索(beam search)与动态树注意力(dynamic tree attention),可以让开源模型每步生成最多 3.5 个 tokens,超越了先前推测性解码技术的性能。

苹果、英伟达强强联手,LLM 推理加速利器 ReDrafter 开源 - 天天要闻

为将 redrafter 应用于生产环境,苹果与 nvidia 展开合作,将其集成到 nvidia tensorrt-llm 框架中。

苹果、英伟达强强联手,LLM 推理加速利器 ReDrafter 开源 - 天天要闻

英伟达为此添加了新的运算符并公开了现有运算符,增强了 tensorrt-llm 对复杂模型和解码方法的适应性。

基准测试结果显示,在 nvidia gpu 上使用集成了 redrafter 的 tensorrt-llm 框架,数百亿参数规模的生产模型的解码速度提升了 2.7 倍。这不仅降低了用户体验延迟,还减少了 gpu 使用数量和功耗。

苹果、英伟达强强联手,LLM 推理加速利器 ReDrafter 开源 - 天天要闻

苹果、英伟达强强联手,LLM 推理加速利器 ReDrafter 开源 - 天天要闻

it之家附上参考地址

科技分类资讯推荐

微信将迎史诗级更新! - 天天要闻

微信将迎史诗级更新!

近日有消息称,微信正在优化聊天记录备份的功能,支持U盘等多种存储设备。对此,微信方面回应称,正小范围测试聊天记录备份功能优化。
全球最大直径静安EUP竖井智慧车库认筹启动 - 天天要闻

全球最大直径静安EUP竖井智慧车库认筹启动

全球最大、上海首个智慧停车库上海静安大宁EUP竖井智慧车库正式开启认筹时间:6月21日15:00地点:中铁十五局上海静安大宁EUP竖井智慧车库(广延路1055号)精彩内容,智慧与乐趣并存活动分区设置满足全家需求宣传区:专业讲解员通过展板和视频,科普车库、车辆相关知识,倡导安全和谐停车。演示区:专业人员不间断演示停车场...
喜马拉雅忙碌4年身价跌逾1/3 这家在线音频独角兽为何“折价卖” - 天天要闻

喜马拉雅忙碌4年身价跌逾1/3 这家在线音频独角兽为何“折价卖”

羊城晚报全媒体记者 王丹阳俗话说,世上武功,唯快不破。但在互联网科技的浪潮中,走得快远不如走得稳。对一路创业、杀出重围,终于坐稳在线音频赛道市场占有率第一的喜马拉雅来说,事实也并不如此。近日,一纸公告让喜马拉雅被放在聚光灯下。腾讯音乐娱乐集
亚马逊CEO告知员工:未来几年里 你们中的一些人会被AI抢走饭碗 - 天天要闻

亚马逊CEO告知员工:未来几年里 你们中的一些人会被AI抢走饭碗

财联社6月18日讯(编辑 史正丞)当地时间周二,全球最大电商和云计算平台亚马逊的CEO安迪·贾西公开撰文,谈论了他对生成式AI的一些思考。(来源:亚马逊官网)对于“吃瓜群众”而言,这封信最特别的一点,是科技巨头CEO直白地表示部分员工可能会因为AI失去工作。贾西表示,随着公司推出更多生成式AI和智能代理,工作方式也...
国泰重返全球最佳航空三甲!蝉联最佳经济舱,再获最佳机上娱乐 - 天天要闻

国泰重返全球最佳航空三甲!蝉联最佳经济舱,再获最佳机上娱乐

国泰航空于享负盛名的2025年Skytrax《全球航空公司大奖》中荣获“全球最佳航空公司”第三名,同时更赢得两项杰出荣誉:连续两年蝉联“全球最佳经济舱航空公司”以及在三年内第二次获颁“全球最佳机上娱乐”殊荣。行政总裁林绍波表示:“国泰航空晋身‘全球最佳航空公司‘三甲,较去年跃升两位,以及再次被评选为’全球最佳...
REDMI K80至尊版配备7410mAh大电池 小米手机史上最强 - 天天要闻

REDMI K80至尊版配备7410mAh大电池 小米手机史上最强

站长之家(ChinaZ.com) 6月17日 消息:今日,REDMI官方微博透露了REDMI K80至尊版的诸多关键信息。在续航方面,REDMI K80至尊版表现堪称惊艳。它配备了一块7410mAh的大容量电池,这一配置在小米手机中堪称史上最强。同时,该机还搭配了微架构级性能调优技术,有效降低了功耗,让用户能够持久畅玩。其DOU续航成绩达到了2.26天...
特朗普正式进军手机市场 T1 Phone手机发布: 售价约3582元 - 天天要闻

特朗普正式进军手机市场 T1 Phone手机发布: 售价约3582元

站长之家(ChinaZ.com)6月17日 消息:特朗普集团正式宣布进军移动通信市场,推出自有品牌移动网络服务特朗普移动(Trump Mobile),并同步发布旗下首款智能手机T1Phone。T1Phone将于9月正式上市,该机将在美国本土制造,售价定为499美元,折合人民币约3582元。消费者若想预购,需先支付100美元的首付。在外观设计上,T1Pho..
印度民航总局:未发现印航波音 787 机队存在重大安全问题 - 天天要闻

印度民航总局:未发现印航波音 787 机队存在重大安全问题

IT之家 6 月 18 日消息,当地时间 12 日,印度古吉拉特邦艾哈迈达巴德机场附近发生坠机事故。目前坠机事故遇难人数已升至 279 人,仅一名乘客幸存。遇难者包括 241 名机上人员和 38 名地面人员。据央视新闻,当地时间 17 日晚,印度民航总局发表了审查印度航空和印度航空快运运营情况的公告。公告称,近期对印度航空波音 7...