微信公众号“科创闵行”消息，北京时间12月19日，上海交通大学集成电路学院（信息与电子工程学院）图像通信与网络工程研究所陈一彤课题组在新一代算力芯片领域取得重大突破，首次实现了支持大规模语义媒体生成模型的全光计算芯片，相关研究以“all-optical synthesis chip for large-scale intelligent semantic vision generation”（大规模智能语义视觉生成全光芯片）为题发表于国际顶级学术期刊《科学》（science）上。上海交通大学为论文第一作者和通讯作者单位，陈一彤助理教授为第一作者及通讯作者。
随着深度神经网络和大规模生成模型的迅猛演进，ai正以前所未有的速度革新世界。然而，规模爆炸式增长的生成模型带来超高算力和能耗需求，与传统芯片架构的性能增长速度已出现日益严峻的紧迫缺口。
为突破算力与能耗瓶颈，光计算等新型架构受到广泛关注。然而如传统的全光计算芯片主要局限于小规模、分类任务，光电级联或复用又会严重削弱光计算速度。因此，“如何让下一代算力光芯片能运行复杂生成模型”成为全球智能计算领域公认的难题。
研究团队首次提出全光大规模语义生成芯片lightgen，这也是国际首次实现的大规模全光生成式ai芯片，在单枚芯片上同时突破了百万级光学神经元集成、全光维度转换、无真值光芯片训练算法的领域公认瓶颈。
大规模全光生成计算芯片lightgen
论文实验验证了全光芯片lightgen在高分辨率（≥512×512）图像语义生成、3d生成（nerf）、高清视频生成及语义调控、去噪、局部及全局特征迁移等多项大规模生成式任务。不再让电辅助光生成，而是让全光芯片完整实现输入图像、理解语义、语义操控、生成全新媒体数据的端到端过程，即让光“理解”和“认知”语义。
lightgen生成的采样图像示例
此外，lightgen采用了极严格的算力评价标准，在实现与电芯片上运行的stable diffusion、nerf、style injection diffusion等前沿电子神经网络相仿生成质量的同时，直接测量整个系统端到端的耗时与耗能降低。实测表明，即便采用较滞后性能的输入设备，lightgen仍可取得相比顶尖数字芯片2个和2个数量级的算力和能效提升。而如果采用前沿设备使得信号输入频率不是瓶颈的情况下，lightgen理论可实现算力提升7个数量级、能效提升8个数量级的性能跃升。这不仅直接体现了在不损失性能情况下替换顶尖现有芯片能获得的巨大算力和能效提升，也印证了解决大规模集成、全光维度变换、无真值光场训练等关键难点，全光片上实现大规模生成式网络的重要意义。
论文同步被《science》官方选为高光论文重点报道。论文中提到，生成式ai正加速融入生产生活，要让“下一代算力芯片”在现代人工智能社会中真正实用，势在必行的是研发能够直接执行真实世界所需任务的芯片——尤其是大规模生成模型这类对端到端时延与能耗极其敏感的任务。面向这一目标，lightgen为新一代算力芯片真正助力前沿人工智能开辟了新路径，也为探索更高速、更高能效的生成式智能计算提供了新的研究方向。
陈一彤博士长期致力于光计算领域的研究，聚焦新一代算力芯片切实应用时的核心科学难点问题，团队所提出的全模拟光电芯片accel（nature 623 (7985), 48-57），国际首次实测验证了复杂智能任务中光计算的系统级算力优越性，将光计算芯片中的超高算力能效，无损地保留和接入复杂成熟的数字社会中。2023年，所提出的ped (photonic encoder decoder，science advances 9(7), eadf8437)光计算架构，更被science子刊认证为“国际首个全光生成网络（ped is the first demonstration of all-optical generative neural networks）”。基于上述研究基础，lightgen突破性将全光芯片的适用范围拓展到了大规模生成式神经网络，并已与工业界合作开展应用实践。
上海交通大学集成电路学院（信息与电子工程学院）陈一彤助理教授担任第一作者及通讯作者，翟广涛教授、张文军院士、博士生孙心玥，清华大学硕士生谭龙涛、博士生姜一洲、博士后周银等均对本文做出重要贡献。该研究得到了多项国家及上海市项目资助。
