NeurIPS 2020线上分享|华为诺亚方舟:超越CNN的加法神经网络

2020年11月23日13:56:04 科技 1621

具有大量可学习参数和乘法运算的卷积神经网络(CNN)在图像分类、目标检测、语义分割和低级图像任务中表现出了卓越的性能,但由此带来的功耗过大问题限制了 CNN 在手机和相机等便携式设备上的应用。所以,近来的一些研究着力探索降低计算成本的高效方法。

目前出现了多种获得高计算能效深度神经网络的算法,如从准确度损失极少的预训练神经网络中删除不重要参数或滤波器的权重剪枝方法,以及通过模仿教师模型输出分布来直接学习学生模型的知识蒸馏方法。另一个获得高效神经网络的研究途径是减少权重和激活值的位宽以降低内存使用和功耗。这类方法有很多,也可以大幅度降低计算复杂度,但生成网络的性能依然低于 CNN 方法。

针对这些问题,Hanting Chen 等提出了不需要大量浮点数乘法运算的加法神经网络(Adder Neural Network, ANN),不仅实现了比低位宽二进制神经网络更好的性能,还对未来深度学习硬件加速器的设计产生深远影响。

在华为诺亚方舟实验室、悉尼大学这篇被 NeurIPS 2020 学术会议接收的论文《Kernel Based Progressive Distillation for Adder Neural Networks》中,研究者通过一种基于核的渐进式蒸馏方法构建了性能更好的加法神经网络。研究者表示,这项研究使得 ANN 性能超越了同结构的 CNN,从而在功耗更少的情况下实现更佳性能。这项研究还将有益于智能手机和物联网等的应用。

机器之心最新一期 NeurIPS 线上分享邀请到了论文一作、诺亚方舟实验室研究员许奕星,为大家详细解读此前沿研究。

分享主题:基于核的加法神经网络渐进式蒸馏方法

分享嘉宾:许奕星,诺亚方舟实验室研究员,北京大学智能科学系硕士、浙江大学学士。师从北京大学许超教授和悉尼大学陶大程教授,曾在 MSRA 实习。研究兴趣主要包括计算机视觉、机器学习和深度学习,并在 NIPS、CVPR、ICML、AAAI、IJCAI 等学术会议发表论文数篇。目前主要研究方向为加法神经网络、神经网络模型小型化、神经网络自动搜索以及半监督学习。

分享概要:深度卷积神经网络(CNN)在众多计算机视觉任务中取得成功。然而为了保证性能,CNN 包含大量的乘法操作。近期提出的加法神经网络(ANN)通过替换卷积操作为无需乘法的加法操作,极大的减少了网络的运行功耗和所需的芯片面积,然而 ANN 在准确率上和同结构的 CNN 相比仍有一定差距。本讲座介绍了一种基于核的渐进式蒸馏方法,提高 ANN 的分类性能。实验表明,在 CIFAR-10、CIFAR-100 和 ImageNet 等多个标准图片分类数据集上,ANN 能够取得超越同结构 CNN 的性能,为 ANN 进一步应用于实际奠定了基础。

直播时间:北京时间 11 月 25 日 20:00-21:00

论文链接:https://arxiv.org/pdf/2009.13044.pdf

加入机动组,一起看直播

「机动组」是机器之心发起的人工智能技术社区,将持续提供技术公开课、论文分享、热门主题解读等线上线下活动,并在社群中提供每日精选论文与教程、智能技术研究周报,同时「机动组」也将不定期组织人才服务、产业技术对接等活动,欢迎所有 AI 领域技术从业者加入。添加机器之心小助手(syncedai5),备注「2020」,加入本次直播群。

2020 NeurIPS MeetUp

受新冠疫情影响, NeurIPS 2020 转为线上举办。虽然这可以为大家节省一笔包括注册、机票和住宿的开支,但不能线下参与这场一年一度的学术会议、与学术大咖近距离交流讨论还是有些遗憾。

机器之心获得 NeurIPS 官方授权,将于 12 月 6 日在北京举办 2020 NeurIPS MeetUp,设置Keynote、 论文分享和 Poster 环节,邀请顶级专家、论文作者与现场参会观众共同交流。

科技分类资讯推荐

10%全球关税,正式生效 - 天天要闻

10%全球关税,正式生效

【导读】10%全球关税正式生效中国基金报记者 泰勒大家好,一起关注一下贸易战的新消息。特朗普的10%全球关税正式生效当地时间周六0点01分(北京时间4月5日12点01分),特朗普对全球贸易伙伴征收的10%基础关税正式生效,虽然10%的基础税率已开始实施,但对部分国家征收的更高关税,预计将于4月9日开始执行。各国正在权衡如何...
特朗普对等关税下,iPhone等苹果产品将售价暴涨?这种担心可能多余了! - 天天要闻

特朗普对等关税下,iPhone等苹果产品将售价暴涨?这种担心可能多余了!

在特朗普宣布疯狂的对等关税政策后,美股股市大跌,其中苹果公司股价更是连续两日大幅下跌,抹去万亿市值。而其大跌逻辑则是市场认为特朗普无差别攻击的关税政策,将对苹果公司所依托的全球供应链构成重大威胁,特别是苹果公司的iPhone供应链成本。据测算:若特朗普关税政策最终得以实施,那么每部iPhone的成本可能将增加约...
说说今日头条的首发原创 - 天天要闻

说说今日头条的首发原创

今日头条发明了首发原创,一开始以为是为创作者谋福利,因为首发原创可以让创作者获得三倍以上的收益,这本来是天大的好事,现在看来就是一个大坑,办了首发原创以为会得到好处,但今日头条平台最近大量取消首发原创,让人步步惊心,才发现获得首发原创并不是
Python垃圾回收:循环引用检测算法实现 - 天天要闻

Python垃圾回收:循环引用检测算法实现

Python内存管理的核心是自动垃圾回收机制,它使开发者能够专注于业务逻辑而无需手动管理内存。Python采用引用计数作为基础内存管理方式,每个对象都有一个引用计数器记录指向它的引用数量。当计数为零时,对象自动销毁并释放内存。
销售网约车“抢单神器”牟利,倒卖者、开发者均获刑 法院:未经授权调用数据接口 - 天天要闻

销售网约车“抢单神器”牟利,倒卖者、开发者均获刑 法院:未经授权调用数据接口

同一个时间地点,同一款打车软件,有的网约车司机忙个不停,有的网约车司机半天却接不到1单……近年来,随着网约车、外卖等行业的快速发展,一些不法分子开发出“作弊神器”,“抢单外挂神器”也在骑手、网约车司机等群体中蔓延。4月5日,红星新闻记者了解到,广东中山、惠州两地法院近日相继宣判两起涉及网约车抢单作弊软...
夜读 | 俞天白:数字,动态世界的钥匙 - 天天要闻

夜读 | 俞天白:数字,动态世界的钥匙

人类步伐已经跨进了数字时代。将枯燥乏味的数字开掘到了极致,并因人工智能的爆发性出现,不知将人类认知和活动疆域扩展到哪儿的时刻,不由得想起,对于数字寄予厚望,以致将它视作魔咒的,在这个地球村,莫过于中国人了。我没有考察到底始于何时,但被统治万民的王公贵胄敬畏与供奉,则是有例可证的。比如,象征极限和最高...
AMD 被曝将推出两款 Z2 系列掌机处理器新品 - 天天要闻

AMD 被曝将推出两款 Z2 系列掌机处理器新品

IT之家 4 月 5 日消息,AMD 今年 1 月在 CES 2025 上发布了三款面向掌机市场的 Z2 处理器,而 @AnhPhuH 昨日爆料称 AMD 将再推出两款新型号 ——Z2 A 和 AI Z2 Extreme。AMD 此前表示,锐龙 Z2 系列 APU 覆盖从入门到高端的整个掌机市场,承诺将带来主机级的游戏体验,提供数小时的满电游戏续航时间,并通
把所有设备都换成 Type-C,我的麻烦才刚刚开始 - 天天要闻

把所有设备都换成 Type-C,我的麻烦才刚刚开始

在 2025 年的今天,使用 USB Type-C 接口的设备随处可见。从手机、平板、电脑,再到小风扇、剃须刀、电动牙刷,这个支持正反插的接口几乎无处不在。然而,出门一根线,一个接口搞定一切的理想场景,似乎还并没有到来。接下来,IT之家就来给大家盘一盘 USB Type-C 接口背后,影响我们日常使用体验的那些“坑”。一、十年,终...