提出世界第一个卷积神经网络!CNN之父福岛邦彦获鲍尔科学成就奖

2021年10月14日15:29:08 科学 1400

来源:网络

编辑:David、小咸鱼

【新智元导读】2021年4月29日,福岛邦彦(Kunihiko Fukushima)获得 2021 年鲍尔科学成就奖。他为深度学习做出了杰出贡献,其最有影响力的工作当属“Neocognitron”卷积神经网络架构。


近日,LSTM之父Jürgen Schmidhuber在自己的YouTube频道上发布视频,对2021年的鲍尔科学成就奖得主福岛邦彦(Kunihiko Fukushima)表示祝贺。


提出世界第一个卷积神经网络!CNN之父福岛邦彦获鲍尔科学成就奖 - 天天要闻


今年4月29日,福岛因其对深度学习的巨大贡献,尤其是他极具影响力的卷积神经网络架构获得2021年鲍尔科学成就奖。


提出世界第一个卷积神经网络!CNN之父福岛邦彦获鲍尔科学成就奖 - 天天要闻


其实,熟悉这位Jürgen Schmidhuber人都知道,他此前一直对自己在深度学习领域的早期原创性成果未能得到业界广泛承认而耿耿于怀。


不过,这个视频中虽然也花了不少篇幅介绍了他未获承认的原创成果,比如ResNet、AlexNet等,但同时也对福岛邦彦的获奖表示祝贺,并介绍了他的杰出成就。


那么,这个“鲍尔科学成就奖”有多厉害?福岛邦彦又是何许人也?

美国历史最悠久的科学奖,见证200年人类进步

说起这个“鲍尔科学成就奖”,它其实是久负盛名的研究机构“富兰克林学会”下设立的一个奖项。


富兰克林学会(Franklin Institute)成立于1824年的费城,是一个物理学教育与研究机构,其核心目标是促进科学和技术的发展,为公众和科学界提供有价值的服务。


该机构以美国国父之一、物理学家本杰明·富兰克林命名。自1826年1月起,颁发科学、工程和工业领域的杰出成就奖,是美国历史最悠久的综合性科学和技术奖励计划。


提出世界第一个卷积神经网络!CNN之父福岛邦彦获鲍尔科学成就奖 - 天天要闻


到目前为止,富兰克林学会奖共奖励了全球 2000 多位最具开拓性的科学家、工程师、发明家和创新者。


可以说,这个奖项的历史,就是过去近两个世纪以来人类发现和进步的历史。许多彻底颠覆我们今天生活方式的伟大发明,从柴油发动机到火星探测器,从打字机到手机,从 X 射线技术到基因组编辑,其发现者都获得过该奖。


富兰克林学会奖的获奖者名单就是一部人类“全明星”名录:


提出世界第一个卷积神经网络!CNN之父福岛邦彦获鲍尔科学成就奖 - 天天要闻

1915年,托马斯·爱迪生(前排左三)获得富兰克林工程奖


尼古拉·特斯拉、托马斯·爱迪生、居里夫人夫妇、爱因斯坦、马克斯·普朗克、亨利·福特恩里科·费米埃德温·哈勃斯蒂芬·霍金戈登·摩尔比尔·盖茨......


提出世界第一个卷积神经网络!CNN之父福岛邦彦获鲍尔科学成就奖 - 天天要闻


迄今为止,已有 121 位富兰克林学会奖的获奖者获得了诺贝尔奖。而且,多数诺贝尔奖得主在获诺奖之前,就已获得过富兰克林学会奖。


1988年,费城化学品制造商亨利·鲍尔 (Henry Bower) 向富兰克林学会捐款750万美元,鲍尔科学成就奖由此设立。鲍尔科学成就奖每年以不同的主题颁发,每年奖金不少于25万美元。


该奖项每年提名的截止日期是4月底,被提名者必须是在世者。


福岛邦彦:何许人也?福岛邦彦(Kunihiko Fukushima)这个名字听起来并不是如雷贯耳,但他的工作在神经网络的发展史上绝对不可磨灭的传奇一笔。


1979年,福岛博士在STRL开发了一种用于模式识别的神经网络模型:Neocognitron。


提出世界第一个卷积神经网络!CNN之父福岛邦彦获鲍尔科学成就奖 - 天天要闻


很陌生对吧?但这个Neocognitron用今天的话来说,叫卷积神经网络(CNN),是深度神经网络基本结构的最伟大发明之一,也是当前人工智能的核心技术。


什么?卷积神经网络不是一个叫Yann LeCun的大佬发明的吗?怎么又换成了福岛邦彦(Kunihiko Fukushima)了?


提出世界第一个卷积神经网络!CNN之父福岛邦彦获鲍尔科学成就奖 - 天天要闻


严格意义上讲,LeCun是第一个使用误差反向传播训练卷积神经网络(CNN)架构的人,但他并不是第一个发明这个结构的人。而福岛博士引入的Neocognitron,是第一个使用卷积和下采样的神经网络,也是卷积神经网络的雏形。


福岛邦彦(Kunihiko Fukushima)设计的具有学习能力的人工多层神经网络,可以模仿大脑的视觉网络,这种“洞察力”成为现代人工智能技术的基础。福岛博士的工作带来了一系列实际应用,从自动驾驶汽车到面部识别,从癌症检测到洪水预测,还会有越来越多的应用。

成长经历

福岛博士小时候家境贫寒,几乎没有多余的钱买玩具。一个叔叔给了福岛一个多余的变压器和一个拆卸下来的电动机来修补。好奇心让他对电线和电路充满激情,他也曾用废料制造了电动火车和收音机。


提出世界第一个卷积神经网络!CNN之父福岛邦彦获鲍尔科学成就奖 - 天天要闻


电子技术的热爱让他不断追寻,在1958年,他获得学士学位后继续攻读电子学,并于1966年获得京都大学电气工程博士学位。


从京都大学毕业后,福岛加入了日本广播公司NHK的研究部门,在那里他对电视信号高效编码的研究成为了他的博士论文的方向。


提出世界第一个卷积神经网络!CNN之父福岛邦彦获鲍尔科学成就奖 - 天天要闻


传奇的故事开始于1965年,那年,NHK建立了一个名为广播科学研究实验室的基础研究机构,福岛在那里加入了一个视觉和听觉信息处理研究小组。这个小组不仅包括工程师,还包括神经生理学家和心理学家。其目的是研究生物大脑,也是电视和广播传播的信号的最终目的地。

“Neocognitron”的诞生

如果你看到什么东西在动,其实那是你的大脑用一系列等级分类来最终判断他在动。


首先,你的大脑可能会处理物体的大小,然后你的大脑会通过定义颜色和形状等特征来缩小识别范围,同时将其他相关的记忆和过去的经历聚集在一起。

提出世界第一个卷积神经网络!CNN之父福岛邦彦获鲍尔科学成就奖 - 天天要闻


正是这种分层的模式处理和我们的个人生活经历,我们可以立即区分猫和狗。在蹒跚学步的时候,我们可能会错误地把狐狸叫做狗,或者把仓鼠叫做老鼠,但是我们的大脑很快就会重新学会正确的分类。


福岛的计划是建造和训练一个人脑识别系统的电子版本。


提出世界第一个卷积神经网络!CNN之父福岛邦彦获鲍尔科学成就奖 - 天天要闻

1976年,福岛博士在STRL做研究


在NHK,福岛与神经生理学家和心理学家通力合作,组装人工神经网络。他的第一个人工网络“Cognitron”展示了一种识别模式的能力,但它对移动、旋转或部分模糊无能为力。


基于对神经生理学的了解,福岛觉得应该需要一个更大的、具有更多层且有组织的网络来实现高级模式识别能力。


提出世界第一个卷积神经网络!CNN之父福岛邦彦获鲍尔科学成就奖 - 天天要闻


1979年,“Neocognitron”问世了,它的灵感来自于两种已知存在于初级视觉皮层的神经细胞,一种是简单的“S”细胞,另一种是复杂的“C”细胞,它们按照级联顺序排列,就可以用于模式识别任务。


福岛的“Neocognitron”通过堆叠多层人工“S”细胞和“C”细胞,并结合学习规则来修改细胞和这些内部隐藏层之间的相互作用。这第一个深度学习神经网络,成功地识别了从0到9的手写数字,而且可以适应书写中的变化。


虽然在今天来看,手写数字识别只是现在机器学习入门者的toy case,但如果时间回到1979年,“Neocognitron”的能力绝对是惊为天人的壮举。

躬耕一生,荣誉等身1989年搬到大阪大学后,福岛博士扩大了他对神经网络和机器学习的研究,不仅为视觉模式识别,还模仿生物大脑的许多其他功能制作神经网络模型。


如今,福岛博士主要在东京的家中工作,为神经网络开发新的训练方法和架构,以更小的计算需求更鲁棒地识别变形和移位的模式。虽然绝大多数人在83岁时早已退休,但福岛博士在2019年11月依旧发表了他的最新论文。

提出世界第一个卷积神经网络!CNN之父福岛邦彦获鲍尔科学成就奖 - 天天要闻


福岛博士一生荣誉等身,除了今年4月份的鲍尔科学成就奖,还有包括日本科学技术机构奖(1985年)、电气与电子工程师学会神经网络先锋奖(2003年)、亚太神经网络组装杰出成就奖(2005年)、国际神经网络学会亥姆霍兹奖(2012年)、电子、信息与通信工程师学会杰出成就奖(2017年)、日本神经网络学会学术奖(2017年)和高柳健次郎奖(2020年)等一系列奖项。

大师风范

在最近的采访中,福岛博士被问到他的研究方法时,说道:


提出世界第一个卷积神经网络!CNN之父福岛邦彦获鲍尔科学成就奖 - 天天要闻


“重要的是发挥你自己的创造力,而不是简单地追准当前流行的研究。为了获得新的想法,关注你的主题以及你自己的工作是很重要的。你必须保持专注于自己的目标,而不是让你的研究方向漫无目的地游荡。”


参考链接:

https://www.fi.edu/awards

https://www.fi.edu/laureates/kunihiko-fukushima

https://twitter.com/schmidhuberai/status/1448168005469413376?s=21

https://www.nhk.or.jp/strl/english/publica/giken_dayori/194/1.html

科学分类资讯推荐

中国交付全球最大“人造太阳”重要部件 - 天天要闻

中国交付全球最大“人造太阳”重要部件

近日,全球最大“人造太阳”国际热核聚变实验堆(ITER)计划磁体馈线采购包项目迎来关键节点,其最后一套校正场线圈内馈线部件在合肥竣工,并交付起运位于法国的ITER现场。这标志着ITER磁体馈线系统中所有超大部件的研制顺利完成。ITER磁体馈线系统由中国科学院合肥物质科学研究院等离子体物理研究所研制,被称为ITER磁体系...
张振丰调研温州学研究联合会 构建中国学视野下的温州学研究体系 - 天天要闻

张振丰调研温州学研究联合会 构建中国学视野下的温州学研究体系

4月13日,副省长、市委书记张振丰在温州学研究联合会调研时强调,要深入学习贯彻习近平文化思想和习近平总书记考察浙江重要讲话精神,坚持“立足温州、研究温州、服务温州”,深化时间维度、放大空间维度,贯通历史研究温州、跳出温州研究温州,努力打造温州建设高水平文化强市的重要窗口、具有全国影响力的地方学术研究的...
土拨鼠等动植物不得携带入境!关于国门生物安全,你要知道这些 - 天天要闻

土拨鼠等动植物不得携带入境!关于国门生物安全,你要知道这些

极目新闻记者 张秀娟通讯员 赵梦洁 黄晓彧 林敏“小朋友们,外来入侵物种包括哪些呢?”“在咱们出国旅游前,需注意哪些问题呢?”4月12日,在第十个全民国家安全教育日来临之际,武汉海关在武汉天河国际机场开展了一场别开生面的“海关开放日”活动。15名小学生化身“国门小卫士”,零距离体验、参与海关全民国家安全教育...
月球上跳一跳,轻松打破跳高世界纪录!这个展会,解密引力奥秘 - 天天要闻

月球上跳一跳,轻松打破跳高世界纪录!这个展会,解密引力奥秘

顶端新闻记者 杨逍 文 时硕 图如果你向往星辰宇宙,那你是否幻想过在其他星球上跳跃?在本次国防展的“星球重力”互动体验机前,你每次的纵身一跃,都会化身成屏幕中身穿宇航员服的小人,来到月球、金星、火星、火卫二、土卫一等星体上,屏幕的上方记录着你的跳跃高度。在月球,你轻轻一跃就能达到3米高度,轻松打破2.45米...
4月13日石家庄强风显著增强的原因 - 天天要闻

4月13日石家庄强风显著增强的原因

4月13日石家庄强风显著增强的原因,是多重气象条件和地理因素共同作用的结果。根据气象监测和专家分析,此次强风具有以下关键成因:一、极端天气系统的叠加效应1.
神十九乘组“太空出差”倒计时:各项空间科学实(试)验稳步推进 - 天天要闻

神十九乘组“太空出差”倒计时:各项空间科学实(试)验稳步推进

IT之家 4 月 13 日消息,据央视网报道,神舟十九号航天员乘组的“太空出差”之旅即将进入倒计时。上周,神十九乘组稳步推进各项空间科学实(试)验,在开展站内环境监测、设备检查维护等工作同时,积极开展健康维护。神十九乘组利用脑电设备开展了多项实验的测试工作,地面科研人员将利用获取的数据探究重力对视觉运动信息...
感受活力丨机器人正在进化中……这样的“生活搭子”,你喜欢吗? - 天天要闻

感受活力丨机器人正在进化中……这样的“生活搭子”,你喜欢吗?

模仿人类奔跑、跳跃、空翻,像人一样说话、思考甚至察言观色。这不是科幻电影对未来的虚构,而是2025中国机器人产业阔步向前的现实。小时候的你,是不是也曾畅想过:家里有一个机器人,能买菜、做饭、铺床、扫地,帮你干农活,还可以照顾家里老人……时至今日,这些“天马行空”的想象,正在变成现实。“12点了,您该吃药了...