“未来10年大模型还是牵引着整个人工智能的发展方向,无论是大语言模型还是多模态模型,已经走到了大量的互联网应用尝试落地,并且开始走向行业应用”。在不久前举行的AI系统创新研讨会上,北京智源人工智能研究院副院长兼总工程师林咏华如是说。

得益于大模型的广泛应用与普及,整个AI领域呈现出一片蓬勃发展的景象。为了进一步发挥AI作为新兴生产力工具的巨大潜力,并使其在更多领域与行业中发挥价值,AI领域的领导者们也开始从生态建设的角度,着眼打造自己的“护城河”。
日前,浪潮信息与智源研究院达成战略合作协议,双方将紧密协作共建大模型多元算力开源创新生态,提升大模型创新研发的算力效率,降低大模型应用开发的算力门槛。目前,智源Triton算子库FlagGems已正式接入浪潮信息的元脑企智EPAI企业大模型开发平台,助力企业实现更快速、更广泛、更高效的多元算力适配与使用。
多元多模格局带来多维产业落地挑战
刚刚过去的2024年,整个大模型发展迎来了巨大的变化,从2023年的大语言模型变为了包括图片、视频和语音等在内的多样化。比如一些新闻机构已经开始利用AI快速生成新闻稿件的初稿;比如近期短视频领域用AI技术“爆改”经典剧情;再比如AI对于生物工程、天文物理等科研的广泛应用支撑……
应该说,AI如今已经无处不在,但就底层架构而言,大模型的实现基于不同架构的芯片平台、不同的算法模型或技术栈,这无疑在AI应用中形成了一定的“技术壁垒”。一方面,不同类型的芯片技术彼此之间兼容性较差;多元芯片到算力的转化面临开发周期长、成本高、迭代慢的问题;另一方面对广大开发者来说,大模型开发工具链膨胀,开发环境的复杂性与日俱增,都会影响到AI发展的进程与速度。

浪潮信息高级副总裁 刘军
因此,如何解决多元多模格局带来的复杂性问题,如何实现应用一体化、平台化的集成与创新,也成为了摆在行业面前的新问题。正如浪潮信息高级副总裁刘军在大会主题演讲中提到的:“如何让AI这种新质生产力能够更快、更好、更顺畅地触达社会生产生活的各个方面,可能是在座各位包括我在内一直在思考的问题”。
坚持系统观,打造开源开放的生态体系
为了更好应对多元算力和应用的挑战,浪潮信息始终坚持“以应用为导向,以系统为核心”,致力于让多元算力更通用,系统算效更实用,基础模型更好用。通过打造 “元脑企智EPAI”,降低应用开发的门槛,以开源开放、多元多模激发创新活力,以系统创新、全局优化拓展创新路径,从而实现AI创新与AI应用协同发展。
换句话说,“元脑企智EPAI平台”所扮演的就是AI开发与应用“全家桶”的角色。一方面,平台为产业链上下游伙伴和企业级开发者提供了开源开放的生态基础,无论使用的是何种算力都可以在平台上找到对应的框架、模型、工具等,提供了技术与人才支撑;另一方面,浪潮信息也在积极推送平台的生态建设,而自此与智源研究院的合作就是双方协同共生、开放共赢的创新实践。

“浪潮信息元脑企智EPAI企业大模型开发平台与智源通用算子库FlagGems的全面对接,是双方解决生态离散,化解大模型产业化落地的算力转化和开发复杂等高门槛难题的重要举措,将为AI应用创新注入更强大、多元的算力支持,助力构建协同共生、开放共赢的多元算力系统生态,充分释放智能生产力。”在谈到双方合作的优势与价值的时候,刘军介绍道。
智源研究院也是著名的AI研究机构,其两次发布的 “百模评测”在业界也树立了超高的影响力和口碑。在现场演讲中,林咏华也同样谈到了多元多模的问题,而在她看来随着AI应用的深化与多元算力的发展,未来的数据中心也同样会是“百花齐放”的局面,因此无论从前瞻性还是从实践性来说,支持多元化都是智源研究院的必然选择——“以云端侧举例来看,如果在数据中心部署集群做大模型的并行训练和优化,要面临不同的芯片,不一样的通讯库,要针对不同的芯片考虑优化策略,不同的芯片一起混合训练在之前是做不到的。如何打破这种垂直割裂的生态呢?在过去一年多的时间里,智源携手芯片和系统厂商共同致力于解决这一问题”。
林咏华的信心不仅来源于深度的技术积累,更来源于Triton生态的开源开放。本次宣布合作的FlagGems是由智源研究院于2024年6月推出的面向多元算力的开源大模型通用算子库,面向多元算力遵循统一的中间语言、统一的算子接口和统一的开源算子库实现路径,以大模型需求为导向,为多元算力提供开源、统一、高效的算子层生态接入方案。截止12月,FlagGems已提供超过130个大模型算子,是目前提供算子数量最多、覆盖广度最大的开源算子库。
至此,元脑企智EPAI平台与FlagGems通用算子库的深度融合,一方面为企业大模型应用开发提供了强大的多元算力系统支持,让企业在开发大模型应用时能够借助该平台快速实现多元算力的适配与高效使用;另一方面也为行业发展提供了新思路,随着开源开放成为 AI 产业发展的核心驱动力,未来双方也可以构建一个围绕开源生态的大模型人才培养体系,为行业发展提供更多可能。
当然,最终受益的还是平台上的开发者与相关企业用户。对于他们来说,无论是在图像识别、语音处理还是自然语言处理等任务中,都无需关心多元异构加速卡之间的软硬件差异,只要专注于大模型程序开发与优化本身,由此也大大降低了企业的前期投资成本和运营风险,使更多企业有机会涉足大模型应用开发领域,真正实现大模型应用在跨算力平台上的无缝开发与迁移。
回首过往,2024年AI产业在多元多模格局下蓬勃发展,也面临全新的优化问题与挑战。本次浪潮信息与智源研究院的合作更强调“优势互补”,不仅让智源研究院的研究成果通过产业化渠道得以快速推广和应用,同时浪潮信息在实际应用中反馈的问题和需求,又促使智源不断优化和完善其研究成果,进一步推动元脑企智EPAI平台的技术升级。
正如林咏华在演讲最后所说的那样:“元脑企智 EPAI为企业提供从底层算力到上层应用的一站式支撑,而智源FlagGems提供了高性能、跨硬件、多框架兼容的大模型算子,二者如同精密的‘齿轮组’,确保模型在各类硬件架构中顺滑运转,适配多种开发框架需求,让主流大模型跨越硬件藩篱,无论是复杂的训练任务,还是实时性要求严苛的推理场景,均能稳定、高效运行,性能表现媲美原生模型。”