具有大量可學習參數和乘法運算的卷積神經網絡（CNN）在圖像分類、目標檢測、語義分割和低級圖像任務中表現出了卓越的性能，但由此帶來的功耗過大問題限制了 CNN 在手機和相機等便攜式設備上的應用。所以，近來的一些研究着力探索降低計算成本的高效方法。
目前出現了多種獲得高計算能效深度神經網絡的算法，如從準確度損失極少的預訓練神經網絡中刪除不重要參數或濾波器的權重剪枝方法，以及通過模仿教師模型輸出分布來直接學習學生模型的知識蒸餾方法。另一個獲得高效神經網絡的研究途徑是減少權重和激活值的位寬以降低內存使用和功耗。這類方法有很多，也可以大幅度降低計算複雜度，但生成網絡的性能依然低於 CNN 方法。
針對這些問題，Hanting Chen 等提出了不需要大量浮點數乘法運算的加法神經網絡（Adder Neural Network, ANN），不僅實現了比低位寬二進制神經網絡更好的性能，還對未來深度學習硬件加速器的設計產生深遠影響。
在華為諾亞方舟實驗室、悉尼大學這篇被 NeurIPS 2020 學術會議接收的論文《Kernel Based Progressive Distillation for Adder Neural Networks》中，研究者通過一種基於核的漸進式蒸餾方法構建了性能更好的加法神經網絡。研究者表示，這項研究使得 ANN 性能超越了同結構的 CNN，從而在功耗更少的情況下實現更佳性能。這項研究還將有益於智能手機和物聯網等的應用。
機器之心最新一期 NeurIPS 線上分享邀請到了論文一作、諾亞方舟實驗室研究員許奕星，為大家詳細解讀此前沿研究。
分享主題：基於核的加法神經網絡漸進式蒸餾方法
分享嘉賓：許奕星，諾亞方舟實驗室研究員，北京大學智能科學系碩士、浙江大學學士。師從北京大學許超教授和悉尼大學陶大程教授，曾在 MSRA 實習。研究興趣主要包括計算機視覺、機器學習和深度學習，並在 NIPS、CVPR、ICML、AAAI、IJCAI 等學術會議發表論文數篇。目前主要研究方向為加法神經網絡、神經網絡模型小型化、神經網絡自動搜索以及半監督學習。
分享概要：深度卷積神經網絡（CNN）在眾多計算機視覺任務中取得成功。然而為了保證性能，CNN 包含大量的乘法操作。近期提出的加法神經網絡（ANN）通過替換卷積操作為無需乘法的加法操作，極大的減少了網絡的運行功耗和所需的芯片面積，然而 ANN 在準確率上和同結構的 CNN 相比仍有一定差距。本講座介紹了一種基於核的漸進式蒸餾方法，提高 ANN 的分類性能。實驗表明，在 CIFAR-10、CIFAR-100 和 ImageNet 等多個標準圖片分類數據集上，ANN 能夠取得超越同結構 CNN 的性能，為 ANN 進一步應用於實際奠定了基礎。
直播時間：北京時間 11 月 25 日 20:00-21:00
論文鏈接：https://arxiv.org/pdf/2009.13044.pdf
加入機動組，一起看直播
「機動組」是機器之心發起的人工智能技術社區，將持續提供技術公開課、論文分享、熱門主題解讀等線上線下活動，並在社群中提供每日精選論文與教程、智能技術研究周報，同時「機動組」也將不定期組織人才服務、產業技術對接等活動，歡迎所有 AI 領域技術從業者加入。添加機器之心小助手（syncedai5），備註「2020」，加入本次直播群。
2020 NeurIPS MeetUp
受新冠疫情影響， NeurIPS 2020 轉為線上舉辦。雖然這可以為大家節省一筆包括註冊、機票和住宿的開支，但不能線下參與這場一年一度的學術會議、與學術大咖近距離交流討論還是有些遺憾。
機器之心獲得 NeurIPS 官方授權，將於 12 月 6 日在北京舉辦 2020 NeurIPS MeetUp，設置Keynote、 論文分享和 Poster 環節，邀請頂級專家、論文作者與現場參會觀眾共同交流。
