NeurIPS 2020線上分享|華為諾亞方舟:超越CNN的加法神經網絡

2020年11月23日13:56:04 科技 1621

具有大量可學習參數和乘法運算的卷積神經網絡(CNN)在圖像分類、目標檢測、語義分割和低級圖像任務中表現出了卓越的性能,但由此帶來的功耗過大問題限制了 CNN 在手機和相機等便攜式設備上的應用。所以,近來的一些研究着力探索降低計算成本的高效方法。

目前出現了多種獲得高計算能效深度神經網絡的算法,如從準確度損失極少的預訓練神經網絡中刪除不重要參數或濾波器的權重剪枝方法,以及通過模仿教師模型輸出分佈來直接學習學生模型的知識蒸餾方法。另一個獲得高效神經網絡的研究途徑是減少權重和激活值的位寬以降低內存使用和功耗。這類方法有很多,也可以大幅度降低計算複雜度,但生成網絡的性能依然低於 CNN 方法。

針對這些問題,Hanting Chen 等提出了不需要大量浮點數乘法運算的加法神經網絡(Adder Neural Network, ANN),不僅實現了比低位寬二進制神經網絡更好的性能,還對未來深度學習硬件加速器的設計產生深遠影響。

在華為諾亞方舟實驗室、悉尼大學這篇被 NeurIPS 2020 學術會議接收的論文《Kernel Based Progressive Distillation for Adder Neural Networks》中,研究者通過一種基於核的漸進式蒸餾方法構建了性能更好的加法神經網絡。研究者表示,這項研究使得 ANN 性能超越了同結構的 CNN,從而在功耗更少的情況下實現更佳性能。這項研究還將有益於智能手機和物聯網等的應用。

機器之心最新一期 NeurIPS 線上分享邀請到了論文一作、諾亞方舟實驗室研究員許奕星,為大家詳細解讀此前沿研究。

分享主題:基於核的加法神經網絡漸進式蒸餾方法

分享嘉賓:許奕星,諾亞方舟實驗室研究員,北京大學智能科學系碩士、浙江大學學士。師從北京大學許超教授和悉尼大學陶大程教授,曾在 MSRA 實習。研究興趣主要包括計算機視覺、機器學習和深度學習,並在 NIPS、CVPR、ICML、AAAI、IJCAI 等學術會議發表論文數篇。目前主要研究方向為加法神經網絡、神經網絡模型小型化、神經網絡自動搜索以及半監督學習。

分享概要:深度卷積神經網絡(CNN)在眾多計算機視覺任務中取得成功。然而為了保證性能,CNN 包含大量的乘法操作。近期提出的加法神經網絡(ANN)通過替換卷積操作為無需乘法的加法操作,極大的減少了網絡的運行功耗和所需的芯片面積,然而 ANN 在準確率上和同結構的 CNN 相比仍有一定差距。本講座介紹了一種基於核的漸進式蒸餾方法,提高 ANN 的分類性能。實驗表明,在 CIFAR-10、CIFAR-100 和 ImageNet 等多個標準圖片分類數據集上,ANN 能夠取得超越同結構 CNN 的性能,為 ANN 進一步應用於實際奠定了基礎。

直播時間:北京時間 11 月 25 日 20:00-21:00

論文鏈接:https://arxiv.org/pdf/2009.13044.pdf

加入機動組,一起看直播

「機動組」是機器之心發起的人工智能技術社區,將持續提供技術公開課、論文分享、熱門主題解讀等線上線下活動,並在社群中提供每日精選論文與教程、智能技術研究周報,同時「機動組」也將不定期組織人才服務、產業技術對接等活動,歡迎所有 AI 領域技術從業者加入。添加機器之心小助手(syncedai5),備註「2020」,加入本次直播群。

2020 NeurIPS MeetUp

受新冠疫情影響, NeurIPS 2020 轉為線上舉辦。雖然這可以為大家節省一筆包括註冊、機票和住宿的開支,但不能線下參與這場一年一度的學術會議、與學術大咖近距離交流討論還是有些遺憾。

機器之心獲得 NeurIPS 官方授權,將於 12 月 6 日在北京舉辦 2020 NeurIPS MeetUp,設置Keynote、 論文分享和 Poster 環節,邀請頂級專家、論文作者與現場參會觀眾共同交流。

科技分類資訊推薦

速遞|Llama 4突襲周末發佈!Meta用2萬億參數怪獸硬剛GPT-4.5,卻暗禁歐盟用戶 - 天天要聞

速遞|Llama 4突襲周末發佈!Meta用2萬億參數怪獸硬剛GPT-4.5,卻暗禁歐盟用戶

圖片來源:MetaMeta在周六發佈了其Llama系列的新一代AI模型集合——Llama 4(選在周末發佈這一動作本身就很耐人尋味)。此次共推出四款新模型:Llama 4 Scout、Llama 4 Maverick和Llama 4 Behemoth。據Meta透露,這些模型均通過"海量未標註的文本、圖像及視頻數據"訓練,從而具備"廣泛的視覺理解能力"。有消
降價果然管用!2月雷克薩斯ES銷量超7000輛,最低僅售19.99萬起 - 天天要聞

降價果然管用!2月雷克薩斯ES銷量超7000輛,最低僅售19.99萬起

就拿雷克薩斯ES車系來說,此前很多人不是都在說這車銷量下滑了嗎?可我們通過查看2月份進口車型銷量排行榜卻發現,進口車裡賣得最好的車型(第一名),卻依然還是雷克薩斯ES。由此也就能得出一個結論:那便是降價對於一款豪華車銷量的幫助真的太大了。
京東發動新一輪戰役 - 天天要聞

京東發動新一輪戰役

作者劉寶丹 編輯周智宇對於外賣,京東正在拿出前所未有的決心和力度進行投入。4月2日,京東宣布,達達員工薪酬將在今年升級至19薪,明年升級至20薪,優秀員工還將授予集團股票。過去一年,京東持續給員工漲薪,這一次終於輪到了即將挑大樑的達達員工。前一天,達達剛剛宣布,已與母公司JD Sunflower Investment Limited和母...
大眾途昂Pro對比理想L8:兩代銷冠,家用到底選誰更合適? - 天天要聞

大眾途昂Pro對比理想L8:兩代銷冠,家用到底選誰更合適?

理想越賣越好,對於國內不少合資中大型SUV來說都不是什麼好事,特別是像大眾途昂這樣的暢銷車,其過去兩年的銷售止步不前,眼看着今年2月的銷量就已跌出同級前十了。不過,這一局面很有可能隨着全新途昂Pro到上市得到改善,這款勝利之作會不會讓它重新躋身暢銷呢?既然開頭
長安汽車續寫歐陸新章,全球化再迎重大里程碑 - 天天要聞

長安汽車續寫歐陸新章,全球化再迎重大里程碑

3月21日,歐洲·德國,以SHARING THE FUTURE(共享未來)為主題,2025年長安汽車品牌歐洲發佈會圓滿舉行。長安汽車旗下三大品牌九款新車閃耀亮相,特別是即將上市的深藍S07(DEEPAL S07),憑藉獨特的設計、智能的科技和完備的安全配置,贏
官方通報「雪豹在路面死亡」:現場有車輪沾血行駛痕迹 - 天天要聞

官方通報「雪豹在路面死亡」:現場有車輪沾血行駛痕迹

4月5日,青海格爾木市林業和草原局發佈情況通報:2025年4月5日接群眾反映「格爾木市西大灘109國道有一雪豹屍體」。接報後我局高度重視,迅速會同市森林公安、交通警察部門趕往事發地調查。經現場勘查,在距格爾木市區130餘公里處一雄性雪豹在路面死亡,現場有車輪沾血行駛痕迹。目前,公安部門對該雪豹死亡原因正在調查核實...