提出世界第一個卷積神經網絡!CNN之父福島邦彥獲鮑爾科學成就獎

2021年10月14日15:29:08 科學 1400

來源:網絡

編輯:David、小鹹魚

【新智元導讀】2021年4月29日,福島邦彥(Kunihiko Fukushima)獲得 2021 年鮑爾科學成就獎。他為深度學習做出了傑出貢獻,其最有影響力的工作當屬「Neocognitron」卷積神經網絡架構。


近日,LSTM之父Jürgen Schmidhuber在自己的YouTube頻道上發佈視頻,對2021年的鮑爾科學成就獎得主福島邦彥(Kunihiko Fukushima)表示祝賀。


提出世界第一個卷積神經網絡!CNN之父福島邦彥獲鮑爾科學成就獎 - 天天要聞


今年4月29日,福島因其對深度學習的巨大貢獻,尤其是他極具影響力的卷積神經網絡架構獲得2021年鮑爾科學成就獎。


提出世界第一個卷積神經網絡!CNN之父福島邦彥獲鮑爾科學成就獎 - 天天要聞


其實,熟悉這位Jürgen Schmidhuber人都知道,他此前一直對自己在深度學習領域的早期原創性成果未能得到業界廣泛承認而耿耿於懷。


不過,這個視頻中雖然也花了不少篇幅介紹了他未獲承認的原創成果,比如ResNet、AlexNet等,但同時也對福島邦彥的獲獎表示祝賀,並介紹了他的傑出成就。


那麼,這個「鮑爾科學成就獎」有多厲害?福島邦彥又是何許人也?

美國歷史最悠久的科學獎,見證200年人類進步

說起這個「鮑爾科學成就獎」,它其實是久負盛名的研究機構「富蘭克林學會」下設立的一個獎項。


富蘭克林學會(Franklin Institute)成立於1824年的費城,是一個物理學教育與研究機構,其核心目標是促進科學和技術的發展,為公眾和科學界提供有價值的服務。


該機構以美國國父之一、物理學家本傑明·富蘭克林命名。自1826年1月起,頒發科學、工程和工業領域的傑出成就獎,是美國歷史最悠久的綜合性科學和技術獎勵計劃。


提出世界第一個卷積神經網絡!CNN之父福島邦彥獲鮑爾科學成就獎 - 天天要聞


到目前為止,富蘭克林學會獎共獎勵了全球 2000 多位最具開拓性的科學家、工程師、發明家和創新者。


可以說,這個獎項的歷史,就是過去近兩個世紀以來人類發現和進步的歷史。許多徹底顛覆我們今天生活方式的偉大發明,從柴油發動機到火星探測器,從打字機到手機,從 X 射線技術到基因組編輯,其發現者都獲得過該獎。


富蘭克林學會獎的獲獎者名單就是一部人類「全明星」名錄:


提出世界第一個卷積神經網絡!CNN之父福島邦彥獲鮑爾科學成就獎 - 天天要聞

1915年,托馬斯·愛迪生(前排左三)獲得富蘭克林工程獎


尼古拉·特斯拉、托馬斯·愛迪生、居里夫人夫婦、愛因斯坦、馬克斯·普朗克、亨利·福特恩里科·費米埃德溫·哈勃斯蒂芬·霍金戈登·摩爾比爾·蓋茨......


提出世界第一個卷積神經網絡!CNN之父福島邦彥獲鮑爾科學成就獎 - 天天要聞


迄今為止,已有 121 位富蘭克林學會獎的獲獎者獲得了諾貝爾獎。而且,多數諾貝爾獎得主在獲諾獎之前,就已獲得過富蘭克林學會獎。


1988年,費城化學品製造商亨利·鮑爾 (Henry Bower) 向富蘭克林學會捐款750萬美元,鮑爾科學成就獎由此設立。鮑爾科學成就獎每年以不同的主題頒發,每年獎金不少於25萬美元。


該獎項每年提名的截止日期是4月底,被提名者必須是在世者。


福島邦彥:何許人也?福島邦彥(Kunihiko Fukushima)這個名字聽起來並不是如雷貫耳,但他的工作在神經網絡的發展史上絕對不可磨滅的傳奇一筆。


1979年,福島博士在STRL開發了一種用於模式識別的神經網絡模型:Neocognitron。


提出世界第一個卷積神經網絡!CNN之父福島邦彥獲鮑爾科學成就獎 - 天天要聞


很陌生對吧?但這個Neocognitron用今天的話來說,叫卷積神經網絡(CNN),是深度神經網絡基本結構的最偉大發明之一,也是當前人工智能的核心技術。


什麼?卷積神經網絡不是一個叫Yann LeCun的大佬發明的嗎?怎麼又換成了福島邦彥(Kunihiko Fukushima)了?


提出世界第一個卷積神經網絡!CNN之父福島邦彥獲鮑爾科學成就獎 - 天天要聞


嚴格意義上講,LeCun是第一個使用誤差反向傳播訓練卷積神經網絡(CNN)架構的人,但他並不是第一個發明這個結構的人。而福島博士引入的Neocognitron,是第一個使用卷積和下採樣的神經網絡,也是卷積神經網絡的雛形。


福島邦彥(Kunihiko Fukushima)設計的具有學習能力的人工多層神經網絡,可以模仿大腦的視覺網絡,這種「洞察力」成為現代人工智能技術的基礎。福島博士的工作帶來了一系列實際應用,從自動駕駛汽車到面部識別,從癌症檢測到洪水預測,還會有越來越多的應用。

成長經歷

福島博士小時候家境貧寒,幾乎沒有多餘的錢買玩具。一個叔叔給了福島一個多餘的變壓器和一個拆卸下來的電動機來修補。好奇心讓他對電線和電路充滿激情,他也曾用廢料製造了電動火車和收音機。


提出世界第一個卷積神經網絡!CNN之父福島邦彥獲鮑爾科學成就獎 - 天天要聞


電子技術的熱愛讓他不斷追尋,在1958年,他獲得學士學位後繼續攻讀電子學,並於1966年獲得京都大學電氣工程博士學位。


從京都大學畢業後,福島加入了日本廣播公司NHK的研究部門,在那裡他對電視信號高效編碼的研究成為了他的博士論文的方向。


提出世界第一個卷積神經網絡!CNN之父福島邦彥獲鮑爾科學成就獎 - 天天要聞


傳奇的故事開始於1965年,那年,NHK建立了一個名為廣播科學研究實驗室的基礎研究機構,福島在那裡加入了一個視覺和聽覺信息處理研究小組。這個小組不僅包括工程師,還包括神經生理學家和心理學家。其目的是研究生物大腦,也是電視和廣播傳播的信號的最終目的地。

「Neocognitron」的誕生

如果你看到什麼東西在動,其實那是你的大腦用一系列等級分類來最終判斷他在動。


首先,你的大腦可能會處理物體的大小,然後你的大腦會通過定義顏色和形狀等特徵來縮小識別範圍,同時將其他相關的記憶和過去的經歷聚集在一起。

提出世界第一個卷積神經網絡!CNN之父福島邦彥獲鮑爾科學成就獎 - 天天要聞


正是這種分層的模式處理和我們的個人生活經歷,我們可以立即區分貓和狗。在蹣跚學步的時候,我們可能會錯誤地把狐狸叫做狗,或者把倉鼠叫做老鼠,但是我們的大腦很快就會重新學會正確的分類。


福島的計劃是建造和訓練一個人腦識別系統的電子版本。


提出世界第一個卷積神經網絡!CNN之父福島邦彥獲鮑爾科學成就獎 - 天天要聞

1976年,福島博士在STRL做研究


在NHK,福島與神經生理學家和心理學家通力合作,組裝人工神經網絡。他的第一個人工網絡「Cognitron」展示了一種識別模式的能力,但它對移動、旋轉或部分模糊無能為力。


基於對神經生理學的了解,福島覺得應該需要一個更大的、具有更多層且有組織的網絡來實現高級模式識別能力。


提出世界第一個卷積神經網絡!CNN之父福島邦彥獲鮑爾科學成就獎 - 天天要聞


1979年,「Neocognitron」問世了,它的靈感來自於兩種已知存在於初級視覺皮層的神經細胞,一種是簡單的「S」細胞,另一種是複雜的「C」細胞,它們按照級聯順序排列,就可以用於模式識別任務。


福島的「Neocognitron」通過堆疊多層人工「S」細胞和「C」細胞,並結合學習規則來修改細胞和這些內部隱藏層之間的相互作用。這第一個深度學習神經網絡,成功地識別了從0到9的手寫數字,而且可以適應書寫中的變化。


雖然在今天來看,手寫數字識別只是現在機器學習入門者的toy case,但如果時間回到1979年,「Neocognitron」的能力絕對是驚為天人的壯舉。

躬耕一生,榮譽等身1989年搬到大阪大學後,福島博士擴大了他對神經網絡和機器學習的研究,不僅為視覺模式識別,還模仿生物大腦的許多其他功能製作神經網絡模型。


如今,福島博士主要在東京的家中工作,為神經網絡開發新的訓練方法和架構,以更小的計算需求更魯棒地識別變形和移位的模式。雖然絕大多數人在83歲時早已退休,但福島博士在2019年11月依舊發表了他的最新論文。

提出世界第一個卷積神經網絡!CNN之父福島邦彥獲鮑爾科學成就獎 - 天天要聞


福島博士一生榮譽等身,除了今年4月份的鮑爾科學成就獎,還有包括日本科學技術機構獎(1985年)、電氣與電子工程師學會神經網絡先鋒獎(2003年)、亞太神經網絡組裝傑出成就獎(2005年)、國際神經網絡學會亥姆霍茲獎(2012年)、電子、信息與通信工程師學會傑出成就獎(2017年)、日本神經網絡學會學術獎(2017年)和高柳健次郎獎(2020年)等一系列獎項。

大師風範

在最近的採訪中,福島博士被問到他的研究方法時,說道:


提出世界第一個卷積神經網絡!CNN之父福島邦彥獲鮑爾科學成就獎 - 天天要聞


「重要的是發揮你自己的創造力,而不是簡單地追准當前流行的研究。為了獲得新的想法,關注你的主題以及你自己的工作是很重要的。你必須保持專註於自己的目標,而不是讓你的研究方向漫無目的地遊盪。」


參考鏈接:

https://www.fi.edu/awards

https://www.fi.edu/laureates/kunihiko-fukushima

https://twitter.com/schmidhuberai/status/1448168005469413376?s=21

https://www.nhk.or.jp/strl/english/publica/giken_dayori/194/1.html

科學分類資訊推薦

中國交付全球最大「人造太陽」重要部件 - 天天要聞

中國交付全球最大「人造太陽」重要部件

近日,全球最大「人造太陽」國際熱核聚變實驗堆(ITER)計劃磁體饋線採購包項目迎來關鍵節點,其最後一套校正場線圈內饋線部件在合肥竣工,並交付起運位於法國的ITER現場。這標誌着ITER磁體饋線系統中所有超大部件的研製順利完成。ITER磁體饋線系統由中國科學院合肥物質科學研究院等離子體物理研究所研製,被稱為ITER磁體系...
張振豐調研溫州學研究聯合會 構建中國學視野下的溫州學研究體系 - 天天要聞

張振豐調研溫州學研究聯合會 構建中國學視野下的溫州學研究體系

4月13日,副省長、市委書記張振豐在溫州學研究聯合會調研時強調,要深入學習貫徹習近平文化思想和習近平總書記考察浙江重要講話精神,堅持「立足溫州、研究溫州、服務溫州」,深化時間維度、放大空間維度,貫通歷史研究溫州、跳出溫州研究溫州,努力打造溫州建設高水平文化強市的重要窗口、具有全國影響力的地方學術研究的...
土撥鼠等動植物不得攜帶入境!關於國門生物安全,你要知道這些 - 天天要聞

土撥鼠等動植物不得攜帶入境!關於國門生物安全,你要知道這些

極目新聞記者 張秀娟通訊員 趙夢潔 黃曉彧 林敏「小朋友們,外來入侵物種包括哪些呢?」「在咱們出國旅遊前,需注意哪些問題呢?」4月12日,在第十個全民國家安全教育日來臨之際,武漢海關在武漢天河國際機場開展了一場別開生面的「海關開放日」活動。15名小學生化身「國門小衛士」,零距離體驗、參與海關全民國家安全教育...
月球上跳一跳,輕鬆打破跳高世界紀錄!這個展會,解密引力奧秘 - 天天要聞

月球上跳一跳,輕鬆打破跳高世界紀錄!這個展會,解密引力奧秘

頂端新聞記者 楊逍 文 時碩 圖如果你嚮往星辰宇宙,那你是否幻想過在其他星球上跳躍?在本次國防展的「星球重力」互動體驗機前,你每次的縱身一躍,都會化身成屏幕中身穿宇航員服的小人,來到月球、金星、火星、火衛二、土衛一等星體上,屏幕的上方記錄著你的跳躍高度。在月球,你輕輕一躍就能達到3米高度,輕鬆打破2.45米...
4月13日石家莊強風顯著增強的原因 - 天天要聞

4月13日石家莊強風顯著增強的原因

4月13日石家莊強風顯著增強的原因,是多重氣象條件和地理因素共同作用的結果。根據氣象監測和專家分析,此次強風具有以下關鍵成因:一、極端天氣系統的疊加效應1.
神十九乘組「太空出差」倒計時:各項空間科學實(試)驗穩步推進 - 天天要聞

神十九乘組「太空出差」倒計時:各項空間科學實(試)驗穩步推進

IT之家 4 月 13 日消息,據央視網報道,神舟十九號航天員乘組的「太空出差」之旅即將進入倒計時。上周,神十九乘組穩步推進各項空間科學實(試)驗,在開展站內環境監測、設備檢查維護等工作同時,積極開展健康維護。神十九乘組利用腦電設備開展了多項實驗的測試工作,地面科研人員將利用獲取的數據探究重力對視覺運動信息...
感受活力丨機械人正在進化中……這樣的「生活搭子」,你喜歡嗎? - 天天要聞

感受活力丨機械人正在進化中……這樣的「生活搭子」,你喜歡嗎?

模仿人類奔跑、跳躍、空翻,像人一樣說話、思考甚至察言觀色。這不是科幻電影對未來的虛構,而是2025中國機械人產業闊步向前的現實。小時候的你,是不是也曾暢想過:家裡有一個機械人,能買菜、做飯、鋪床、掃地,幫你干農活,還可以照顧家裡老人……時至今日,這些「天馬行空」的想像,正在變成現實。「12點了,您該吃藥了...