提出世界第一个卷积神经网络!CNN之父福岛邦彦获鲍尔科学成就奖

2021年10月14日15:29:08 科学 1400

来源:网络

编辑:David、小咸鱼

【新智元导读】2021年4月29日,福岛邦彦(Kunihiko Fukushima)获得 2021 年鲍尔科学成就奖。他为深度学习做出了杰出贡献,其最有影响力的工作当属“Neocognitron”卷积神经网络架构。


近日,LSTM之父Jürgen Schmidhuber在自己的YouTube频道上发布视频,对2021年的鲍尔科学成就奖得主福岛邦彦(Kunihiko Fukushima)表示祝贺。


提出世界第一个卷积神经网络!CNN之父福岛邦彦获鲍尔科学成就奖 - 天天要闻


今年4月29日,福岛因其对深度学习的巨大贡献,尤其是他极具影响力的卷积神经网络架构获得2021年鲍尔科学成就奖。


提出世界第一个卷积神经网络!CNN之父福岛邦彦获鲍尔科学成就奖 - 天天要闻


其实,熟悉这位Jürgen Schmidhuber人都知道,他此前一直对自己在深度学习领域的早期原创性成果未能得到业界广泛承认而耿耿于怀。


不过,这个视频中虽然也花了不少篇幅介绍了他未获承认的原创成果,比如ResNet、AlexNet等,但同时也对福岛邦彦的获奖表示祝贺,并介绍了他的杰出成就。


那么,这个“鲍尔科学成就奖”有多厉害?福岛邦彦又是何许人也?

美国历史最悠久的科学奖,见证200年人类进步

说起这个“鲍尔科学成就奖”,它其实是久负盛名的研究机构“富兰克林学会”下设立的一个奖项。


富兰克林学会(Franklin Institute)成立于1824年的费城,是一个物理学教育与研究机构,其核心目标是促进科学和技术的发展,为公众和科学界提供有价值的服务。


该机构以美国国父之一、物理学家本杰明·富兰克林命名。自1826年1月起,颁发科学、工程和工业领域的杰出成就奖,是美国历史最悠久的综合性科学和技术奖励计划。


提出世界第一个卷积神经网络!CNN之父福岛邦彦获鲍尔科学成就奖 - 天天要闻


到目前为止,富兰克林学会奖共奖励了全球 2000 多位最具开拓性的科学家、工程师、发明家和创新者。


可以说,这个奖项的历史,就是过去近两个世纪以来人类发现和进步的历史。许多彻底颠覆我们今天生活方式的伟大发明,从柴油发动机到火星探测器,从打字机到手机,从 X 射线技术到基因组编辑,其发现者都获得过该奖。


富兰克林学会奖的获奖者名单就是一部人类“全明星”名录:


提出世界第一个卷积神经网络!CNN之父福岛邦彦获鲍尔科学成就奖 - 天天要闻

1915年,托马斯·爱迪生(前排左三)获得富兰克林工程奖


尼古拉·特斯拉、托马斯·爱迪生、居里夫人夫妇、爱因斯坦、马克斯·普朗克、亨利·福特恩里科·费米埃德温·哈勃斯蒂芬·霍金戈登·摩尔比尔·盖茨......


提出世界第一个卷积神经网络!CNN之父福岛邦彦获鲍尔科学成就奖 - 天天要闻


迄今为止,已有 121 位富兰克林学会奖的获奖者获得了诺贝尔奖。而且,多数诺贝尔奖得主在获诺奖之前,就已获得过富兰克林学会奖。


1988年,费城化学品制造商亨利·鲍尔 (Henry Bower) 向富兰克林学会捐款750万美元,鲍尔科学成就奖由此设立。鲍尔科学成就奖每年以不同的主题颁发,每年奖金不少于25万美元。


该奖项每年提名的截止日期是4月底,被提名者必须是在世者。


福岛邦彦:何许人也?福岛邦彦(Kunihiko Fukushima)这个名字听起来并不是如雷贯耳,但他的工作在神经网络的发展史上绝对不可磨灭的传奇一笔。


1979年,福岛博士在STRL开发了一种用于模式识别的神经网络模型:Neocognitron。


提出世界第一个卷积神经网络!CNN之父福岛邦彦获鲍尔科学成就奖 - 天天要闻


很陌生对吧?但这个Neocognitron用今天的话来说,叫卷积神经网络(CNN),是深度神经网络基本结构的最伟大发明之一,也是当前人工智能的核心技术。


什么?卷积神经网络不是一个叫Yann LeCun的大佬发明的吗?怎么又换成了福岛邦彦(Kunihiko Fukushima)了?


提出世界第一个卷积神经网络!CNN之父福岛邦彦获鲍尔科学成就奖 - 天天要闻


严格意义上讲,LeCun是第一个使用误差反向传播训练卷积神经网络(CNN)架构的人,但他并不是第一个发明这个结构的人。而福岛博士引入的Neocognitron,是第一个使用卷积和下采样的神经网络,也是卷积神经网络的雏形。


福岛邦彦(Kunihiko Fukushima)设计的具有学习能力的人工多层神经网络,可以模仿大脑的视觉网络,这种“洞察力”成为现代人工智能技术的基础。福岛博士的工作带来了一系列实际应用,从自动驾驶汽车到面部识别,从癌症检测到洪水预测,还会有越来越多的应用。

成长经历

福岛博士小时候家境贫寒,几乎没有多余的钱买玩具。一个叔叔给了福岛一个多余的变压器和一个拆卸下来的电动机来修补。好奇心让他对电线和电路充满激情,他也曾用废料制造了电动火车和收音机。


提出世界第一个卷积神经网络!CNN之父福岛邦彦获鲍尔科学成就奖 - 天天要闻


电子技术的热爱让他不断追寻,在1958年,他获得学士学位后继续攻读电子学,并于1966年获得京都大学电气工程博士学位。


从京都大学毕业后,福岛加入了日本广播公司NHK的研究部门,在那里他对电视信号高效编码的研究成为了他的博士论文的方向。


提出世界第一个卷积神经网络!CNN之父福岛邦彦获鲍尔科学成就奖 - 天天要闻


传奇的故事开始于1965年,那年,NHK建立了一个名为广播科学研究实验室的基础研究机构,福岛在那里加入了一个视觉和听觉信息处理研究小组。这个小组不仅包括工程师,还包括神经生理学家和心理学家。其目的是研究生物大脑,也是电视和广播传播的信号的最终目的地。

“Neocognitron”的诞生

如果你看到什么东西在动,其实那是你的大脑用一系列等级分类来最终判断他在动。


首先,你的大脑可能会处理物体的大小,然后你的大脑会通过定义颜色和形状等特征来缩小识别范围,同时将其他相关的记忆和过去的经历聚集在一起。

提出世界第一个卷积神经网络!CNN之父福岛邦彦获鲍尔科学成就奖 - 天天要闻


正是这种分层的模式处理和我们的个人生活经历,我们可以立即区分猫和狗。在蹒跚学步的时候,我们可能会错误地把狐狸叫做狗,或者把仓鼠叫做老鼠,但是我们的大脑很快就会重新学会正确的分类。


福岛的计划是建造和训练一个人脑识别系统的电子版本。


提出世界第一个卷积神经网络!CNN之父福岛邦彦获鲍尔科学成就奖 - 天天要闻

1976年,福岛博士在STRL做研究


在NHK,福岛与神经生理学家和心理学家通力合作,组装人工神经网络。他的第一个人工网络“Cognitron”展示了一种识别模式的能力,但它对移动、旋转或部分模糊无能为力。


基于对神经生理学的了解,福岛觉得应该需要一个更大的、具有更多层且有组织的网络来实现高级模式识别能力。


提出世界第一个卷积神经网络!CNN之父福岛邦彦获鲍尔科学成就奖 - 天天要闻


1979年,“Neocognitron”问世了,它的灵感来自于两种已知存在于初级视觉皮层的神经细胞,一种是简单的“S”细胞,另一种是复杂的“C”细胞,它们按照级联顺序排列,就可以用于模式识别任务。


福岛的“Neocognitron”通过堆叠多层人工“S”细胞和“C”细胞,并结合学习规则来修改细胞和这些内部隐藏层之间的相互作用。这第一个深度学习神经网络,成功地识别了从0到9的手写数字,而且可以适应书写中的变化。


虽然在今天来看,手写数字识别只是现在机器学习入门者的toy case,但如果时间回到1979年,“Neocognitron”的能力绝对是惊为天人的壮举。

躬耕一生,荣誉等身1989年搬到大阪大学后,福岛博士扩大了他对神经网络和机器学习的研究,不仅为视觉模式识别,还模仿生物大脑的许多其他功能制作神经网络模型。


如今,福岛博士主要在东京的家中工作,为神经网络开发新的训练方法和架构,以更小的计算需求更鲁棒地识别变形和移位的模式。虽然绝大多数人在83岁时早已退休,但福岛博士在2019年11月依旧发表了他的最新论文。

提出世界第一个卷积神经网络!CNN之父福岛邦彦获鲍尔科学成就奖 - 天天要闻


福岛博士一生荣誉等身,除了今年4月份的鲍尔科学成就奖,还有包括日本科学技术机构奖(1985年)、电气与电子工程师学会神经网络先锋奖(2003年)、亚太神经网络组装杰出成就奖(2005年)、国际神经网络学会亥姆霍兹奖(2012年)、电子、信息与通信工程师学会杰出成就奖(2017年)、日本神经网络学会学术奖(2017年)和高柳健次郎奖(2020年)等一系列奖项。

大师风范

在最近的采访中,福岛博士被问到他的研究方法时,说道:


提出世界第一个卷积神经网络!CNN之父福岛邦彦获鲍尔科学成就奖 - 天天要闻


“重要的是发挥你自己的创造力,而不是简单地追准当前流行的研究。为了获得新的想法,关注你的主题以及你自己的工作是很重要的。你必须保持专注于自己的目标,而不是让你的研究方向漫无目的地游荡。”


参考链接:

https://www.fi.edu/awards

https://www.fi.edu/laureates/kunihiko-fukushima

https://twitter.com/schmidhuberai/status/1448168005469413376?s=21

https://www.nhk.or.jp/strl/english/publica/giken_dayori/194/1.html

科学分类资讯推荐

首张嗅觉图谱问世 或重塑嗅觉形成认知 - 天天要闻

首张嗅觉图谱问世 或重塑嗅觉形成认知

研究人员以前所未有的细节绘制了小鼠鼻腔中的嗅觉受体分布图谱。这一成果颠覆了人们对鼻子如何产生嗅觉的认知。△小鼠鼻腔的显微镜横截面图像,显示了鼻腔上皮的解剖结构。图片来源:Datta Lab4月28日发表于《细胞》的一项研究,揭示了感觉神经元上表达的约1100个嗅觉受体是如何在鼻腔内壁上皮组织中受到严格调控的空间位置...
心脏为什么不会得癌症? - 天天要闻

心脏为什么不会得癌症?

心脏为什么不会得癌症?心肌细胞会进行有节律的搏动,并在个体出生后停止增殖,因此,心脏没有再生能力。近日,意大利的里雅斯特大学医学院Serena Zacchigna团队完成的体内癌症模型和离体工程心脏组织实验表明,心肌细胞搏动所产生的机械力负
暴雨、冰雹要来,广东天气明起大反转!珠海接下来…… - 天天要闻

暴雨、冰雹要来,广东天气明起大反转!珠海接下来……

【来源:珠海发布】“五一”假期前两天, 珠海天气晴好,大家都去哪里玩了?不过天气马上要反转再反转了! 广东明天好天气要暂时“下线”,局部有大暴雨、小冰雹;珠海明天午后也将有雷雨+10级大风…… 这场雨会持续多久?假期接下来的天气会怎样?赶紧
河北衡水:假日邂逅飞行 低空魅力引游人 - 天天要闻

河北衡水:假日邂逅飞行 低空魅力引游人

5月2日,位于河北省衡水市的中国航协衡水航空飞行营地,各类飞行表演和低空飞行器展示吸引市民游客观赏。中国桃城第四届“翱翔中国”全国低空无人飞行器大赛暨第二届京津冀低空飞行器集采会于5月1日至2日在此举行。图为游客近距离参观飞行器。
可拍原子运动过程 揭秘地下30米的“国之重器” - 天天要闻

可拍原子运动过程 揭秘地下30米的“国之重器”

来源:央视新闻客户端坐落在上海张江的硬X射线自由电子激光装置是“十三五”国家重大科技基础设施建设规划优先启动项目,也是上海(长三角)国际科技创新中心核心空间载体——张江科学城重大科技基础设施集群的旗舰装置,是我国实现2035年建成科技强国战