提出世界第一個卷積神經網絡!CNN之父福島邦彥獲鮑爾科學成就獎

2021年10月14日15:29:08 科學 1400

來源:網絡

編輯:David、小鹹魚

【新智元導讀】2021年4月29日,福島邦彥(Kunihiko Fukushima)獲得 2021 年鮑爾科學成就獎。他為深度學習做出了傑出貢獻,其最有影響力的工作當屬「Neocognitron」卷積神經網絡架構。


近日,LSTM之父Jürgen Schmidhuber在自己的YouTube頻道上發布視頻,對2021年的鮑爾科學成就獎得主福島邦彥(Kunihiko Fukushima)表示祝賀。


提出世界第一個卷積神經網絡!CNN之父福島邦彥獲鮑爾科學成就獎 - 天天要聞


今年4月29日,福島因其對深度學習的巨大貢獻,尤其是他極具影響力的卷積神經網絡架構獲得2021年鮑爾科學成就獎。


提出世界第一個卷積神經網絡!CNN之父福島邦彥獲鮑爾科學成就獎 - 天天要聞


其實,熟悉這位Jürgen Schmidhuber人都知道,他此前一直對自己在深度學習領域的早期原創性成果未能得到業界廣泛承認而耿耿於懷。


不過,這個視頻中雖然也花了不少篇幅介紹了他未獲承認的原創成果,比如ResNet、AlexNet等,但同時也對福島邦彥的獲獎表示祝賀,並介紹了他的傑出成就。


那麼,這個「鮑爾科學成就獎」有多厲害?福島邦彥又是何許人也?

美國歷史最悠久的科學獎,見證200年人類進步

說起這個「鮑爾科學成就獎」,它其實是久負盛名的研究機構「富蘭克林學會」下設立的一個獎項。


富蘭克林學會(Franklin Institute)成立於1824年的費城,是一個物理學教育與研究機構,其核心目標是促進科學和技術的發展,為公眾和科學界提供有價值的服務。


該機構以美國國父之一、物理學家本傑明·富蘭克林命名。自1826年1月起,頒發科學、工程和工業領域的傑出成就獎,是美國歷史最悠久的綜合性科學和技術獎勵計劃。


提出世界第一個卷積神經網絡!CNN之父福島邦彥獲鮑爾科學成就獎 - 天天要聞


到目前為止,富蘭克林學會獎共獎勵了全球 2000 多位最具開拓性的科學家、工程師、發明家和創新者。


可以說,這個獎項的歷史,就是過去近兩個世紀以來人類發現和進步的歷史。許多徹底顛覆我們今天生活方式的偉大發明,從柴油發動機到火星探測器,從打字機到手機,從 X 射線技術到基因組編輯,其發現者都獲得過該獎。


富蘭克林學會獎的獲獎者名單就是一部人類「全明星」名錄:


提出世界第一個卷積神經網絡!CNN之父福島邦彥獲鮑爾科學成就獎 - 天天要聞

1915年,托馬斯·愛迪生(前排左三)獲得富蘭克林工程獎


尼古拉·特斯拉、托馬斯·愛迪生、居里夫人夫婦、愛因斯坦、馬克斯·普朗克、亨利·福特恩里科·費米埃德溫·哈勃斯蒂芬·霍金戈登·摩爾比爾·蓋茨......


提出世界第一個卷積神經網絡!CNN之父福島邦彥獲鮑爾科學成就獎 - 天天要聞


迄今為止,已有 121 位富蘭克林學會獎的獲獎者獲得了諾貝爾獎。而且,多數諾貝爾獎得主在獲諾獎之前,就已獲得過富蘭克林學會獎。


1988年,費城化學品製造商亨利·鮑爾 (Henry Bower) 向富蘭克林學會捐款750萬美元,鮑爾科學成就獎由此設立。鮑爾科學成就獎每年以不同的主題頒發,每年獎金不少於25萬美元。


該獎項每年提名的截止日期是4月底,被提名者必須是在世者。


福島邦彥:何許人也?福島邦彥(Kunihiko Fukushima)這個名字聽起來並不是如雷貫耳,但他的工作在神經網絡的發展史上絕對不可磨滅的傳奇一筆。


1979年,福島博士在STRL開發了一種用於模式識別的神經網絡模型:Neocognitron。


提出世界第一個卷積神經網絡!CNN之父福島邦彥獲鮑爾科學成就獎 - 天天要聞


很陌生對吧?但這個Neocognitron用今天的話來說,叫卷積神經網絡(CNN),是深度神經網絡基本結構的最偉大發明之一,也是當前人工智能的核心技術。


什麼?卷積神經網絡不是一個叫Yann LeCun的大佬發明的嗎?怎麼又換成了福島邦彥(Kunihiko Fukushima)了?


提出世界第一個卷積神經網絡!CNN之父福島邦彥獲鮑爾科學成就獎 - 天天要聞


嚴格意義上講,LeCun是第一個使用誤差反向傳播訓練卷積神經網絡(CNN)架構的人,但他並不是第一個發明這個結構的人。而福島博士引入的Neocognitron,是第一個使用卷積和下採樣的神經網絡,也是卷積神經網絡的雛形。


福島邦彥(Kunihiko Fukushima)設計的具有學習能力的人工多層神經網絡,可以模仿大腦的視覺網絡,這種「洞察力」成為現代人工智能技術的基礎。福島博士的工作帶來了一系列實際應用,從自動駕駛汽車到面部識別,從癌症檢測到洪水預測,還會有越來越多的應用。

成長經歷

福島博士小時候家境貧寒,幾乎沒有多餘的錢買玩具。一個叔叔給了福島一個多餘的變壓器和一個拆卸下來的電動機來修補。好奇心讓他對電線和電路充滿激情,他也曾用廢料製造了電動火車和收音機。


提出世界第一個卷積神經網絡!CNN之父福島邦彥獲鮑爾科學成就獎 - 天天要聞


電子技術的熱愛讓他不斷追尋,在1958年,他獲得學士學位後繼續攻讀電子學,並於1966年獲得京都大學電氣工程博士學位。


從京都大學畢業後,福島加入了日本廣播公司NHK的研究部門,在那裡他對電視信號高效編碼的研究成為了他的博士論文的方向。


提出世界第一個卷積神經網絡!CNN之父福島邦彥獲鮑爾科學成就獎 - 天天要聞


傳奇的故事開始於1965年,那年,NHK建立了一個名為廣播科學研究實驗室的基礎研究機構,福島在那裡加入了一個視覺和聽覺信息處理研究小組。這個小組不僅包括工程師,還包括神經生理學家和心理學家。其目的是研究生物大腦,也是電視和廣播傳播的信號的最終目的地。

「Neocognitron」的誕生

如果你看到什麼東西在動,其實那是你的大腦用一系列等級分類來最終判斷他在動。


首先,你的大腦可能會處理物體的大小,然後你的大腦會通過定義顏色和形狀等特徵來縮小識別範圍,同時將其他相關的記憶和過去的經歷聚集在一起。

提出世界第一個卷積神經網絡!CNN之父福島邦彥獲鮑爾科學成就獎 - 天天要聞


正是這種分層的模式處理和我們的個人生活經歷,我們可以立即區分貓和狗。在蹣跚學步的時候,我們可能會錯誤地把狐狸叫做狗,或者把倉鼠叫做老鼠,但是我們的大腦很快就會重新學會正確的分類。


福島的計劃是建造和訓練一個人腦識別系統的電子版本。


提出世界第一個卷積神經網絡!CNN之父福島邦彥獲鮑爾科學成就獎 - 天天要聞

1976年,福島博士在STRL做研究


在NHK,福島與神經生理學家和心理學家通力合作,組裝人工神經網絡。他的第一個人工網絡「Cognitron」展示了一種識別模式的能力,但它對移動、旋轉或部分模糊無能為力。


基於對神經生理學的了解,福島覺得應該需要一個更大的、具有更多層且有組織的網絡來實現高級模式識別能力。


提出世界第一個卷積神經網絡!CNN之父福島邦彥獲鮑爾科學成就獎 - 天天要聞


1979年,「Neocognitron」問世了,它的靈感來自於兩種已知存在於初級視覺皮層的神經細胞,一種是簡單的「S」細胞,另一種是複雜的「C」細胞,它們按照級聯順序排列,就可以用於模式識別任務。


福島的「Neocognitron」通過堆疊多層人工「S」細胞和「C」細胞,並結合學習規則來修改細胞和這些內部隱藏層之間的相互作用。這第一個深度學習神經網絡,成功地識別了從0到9的手寫數字,而且可以適應書寫中的變化。


雖然在今天來看,手寫數字識別只是現在機器學習入門者的toy case,但如果時間回到1979年,「Neocognitron」的能力絕對是驚為天人的壯舉。

躬耕一生,榮譽等身1989年搬到大阪大學後,福島博士擴大了他對神經網絡和機器學習的研究,不僅為視覺模式識別,還模仿生物大腦的許多其他功能製作神經網絡模型。


如今,福島博士主要在東京的家中工作,為神經網絡開發新的訓練方法和架構,以更小的計算需求更魯棒地識別變形和移位的模式。雖然絕大多數人在83歲時早已退休,但福島博士在2019年11月依舊發表了他的最新論文。

提出世界第一個卷積神經網絡!CNN之父福島邦彥獲鮑爾科學成就獎 - 天天要聞


福島博士一生榮譽等身,除了今年4月份的鮑爾科學成就獎,還有包括日本科學技術機構獎(1985年)、電氣與電子工程師學會神經網絡先鋒獎(2003年)、亞太神經網絡組裝傑出成就獎(2005年)、國際神經網絡學會亥姆霍茲獎(2012年)、電子、信息與通信工程師學會傑出成就獎(2017年)、日本神經網絡學會學術獎(2017年)和高柳健次郎獎(2020年)等一系列獎項。

大師風範

在最近的採訪中,福島博士被問到他的研究方法時,說道:


提出世界第一個卷積神經網絡!CNN之父福島邦彥獲鮑爾科學成就獎 - 天天要聞


「重要的是發揮你自己的創造力,而不是簡單地追准當前流行的研究。為了獲得新的想法,關注你的主題以及你自己的工作是很重要的。你必須保持專註於自己的目標,而不是讓你的研究方向漫無目的地遊盪。」


參考鏈接:

https://www.fi.edu/awards

https://www.fi.edu/laureates/kunihiko-fukushima

https://twitter.com/schmidhuberai/status/1448168005469413376?s=21

https://www.nhk.or.jp/strl/english/publica/giken_dayori/194/1.html

科學分類資訊推薦

首張嗅覺圖譜問世 或重塑嗅覺形成認知 - 天天要聞

首張嗅覺圖譜問世 或重塑嗅覺形成認知

研究人員以前所未有的細節繪製了小鼠鼻腔中的嗅覺受體分布圖譜。這一成果顛覆了人們對鼻子如何產生嗅覺的認知。△小鼠鼻腔的顯微鏡橫截面圖像,顯示了鼻腔上皮的解剖結構。圖片來源:Datta Lab4月28日發表於《細胞》的一項研究,揭示了感覺神經元上表達的約1100個嗅覺受體是如何在鼻腔內壁上皮組織中受到嚴格調控的空間位置...
心臟為什麼不會得癌症? - 天天要聞

心臟為什麼不會得癌症?

心臟為什麼不會得癌症?心肌細胞會進行有節律的搏動,並在個體出生後停止增殖,因此,心臟沒有再生能力。近日,意大利的里雅斯特大學醫學院Serena Zacchigna團隊完成的體內癌症模型和離體工程心臟組織實驗表明,心肌細胞搏動所產生的機械力負
暴雨、冰雹要來,廣東天氣明起大反轉!珠海接下來…… - 天天要聞

暴雨、冰雹要來,廣東天氣明起大反轉!珠海接下來……

【來源:珠海發布】“五一”假期前兩天, 珠海天氣晴好,大家都去哪裡玩了?不過天氣馬上要反轉再反轉了! 廣東明天好天氣要暫時“下線”,局部有大暴雨、小冰雹;珠海明天午後也將有雷雨+10級大風…… 這場雨會持續多久?假期接下來的天氣會怎樣?趕緊
河北衡水:假日邂逅飛行 低空魅力引遊人 - 天天要聞

河北衡水:假日邂逅飛行 低空魅力引遊人

5月2日,位於河北省衡水市的中國航協衡水航空飛行營地,各類飛行表演和低空飛行器展示吸引市民遊客觀賞。中國桃城第四屆“翱翔中國”全國低空無人飛行器大賽暨第二屆京津冀低空飛行器集采會於5月1日至2日在此舉行。圖為遊客近距離參觀飛行器。
可拍原子運動過程 揭秘地下30米的“國之重器” - 天天要聞

可拍原子運動過程 揭秘地下30米的“國之重器”

來源:央視新聞客戶端坐落在上海張江的硬X射線自由電子激光裝置是“十三五”國家重大科技基礎設施建設規劃優先啟動項目,也是上海(長三角)國際科技創新中心核心空間載體——張江科學城重大科技基礎設施集群的旗艦裝置,是我國實現2035年建成科技強國戰