2023年02月13日00:45:23 动漫 9102

因为chatgpt的出现，人类似乎找到了扮演上帝的感觉，给计算机注入了“灵魂”。

过去半个月来，chatgpt是社交媒体当之无愧的主角。和6年前同样横空出世的alphago不同，这次你我这样大众的感受更为强烈。这也是为什么，作为一款聊天机器人，它用仅仅2个月时间就收获了1亿用户。达到相同的成绩，tiktok用了9个月，更早时的instagram用了30个月。

在产业界，谷歌、百度、阿里等国内外科技巨头争相坐上牌桌，以推出自家版chatgpt为目标，证明自身在ai领域的深厚积累。

为什么chatgpt成了绕不开的话题？因为人工智能终于知道如何和人类进行自然交流，给出接近人类表达、认知、需求和价值观的回答，同时展现了成为普通人都能用的先进生产工具，以及未来如“水电煤”一般基础设施的可能性，尽管它依然不完美。

不过，它并不是从“石头缝里蹦出来”的。这是过去20年，以神经网络为主流，推动深度学习发展从量变到质变的结果。期间有无数人类群星和普通人为之闪耀。

了解这些人和事有助于进一步知道chatgpt是怎么来的，有什么问题，又将带领人类走向何方。

这段有些漫长的旅程从一段刺耳的声音开始。

大力出奇迹？

“chatgpt缺乏创新，没什么革命性。”这个评价来自一个叫杨立昆的人——在全球几乎一边倒的赞誉声中，颇为格格不入。

杨立昆不是中国人，他的英文名是yann lecun，出生在法国。2017年以前，他在中文互联网上有着各种称呼：杨乐昆、杨乐春、严乐村……直到那一年来中国演讲，他官宣了自己的中文名。

如果是单纯的键盘侠，这样的评价不值一笑。但杨立昆恰好是全球为数不多能够对chatgpt“指手画脚”的人物。

2019年，他和yoshua bengio、geoffrey hinton两位一起获得了计算机界的最高荣誉“图灵奖”，被称为“深度学习三巨头”。他们深信，计算机可以像人类一样，依靠神经网络进行“思考”。没有他们，就没有昨天的alphago和今天的chatgpt。

从左至右：yann lecun、geoffrey hinton、yoshua bengio

为什么lecun会发出这样的感慨呢？chatgpt的内核是大语言模型，从2018年openai发布的第一代进化到了chatgpt使用的第四代gpt-3.5，据说gpt-4也已经呼之欲出。

一路升级，openai没有对算法模型进行根本改动，更多是微调了训练机制，以及越来越多人力和算力的投入，从“大力出奇迹”到“更大力出更大的奇迹”。

chatgpt背后的投入远没有它给出的回复来得“举重若轻”。第一代gpt训练涉及的参数量为1.17亿，到了gpt-3这个数字变成了1750亿，扩容了近1500倍。对应的训练数据量，从5gb扩到了45tb，近万倍的增长。

为了训练gpt-3，openai投入可能达到1200万美元，这还不算背后的微软为它斥资5亿美元建立的超算中心。

所以，搜狐创始人张朝阳表示，chatgpt的成功是量的积累，包括了机器的算力、服务器的数量以及知识库，“因为训练成本投入过高，没能力的公司只会白白浪费资源。”

到了gpt-3.5，也就是chatgpt，openai引入了人类反馈强化学习（rlhf）机制。他们找了40个博士，对gpt-3.5针对不同问题给出的三个答案进行打分，建立奖惩模型，最终让机器知道怎样的回答更讨大部分人类喜欢——有人觉得chatgpt有“讨好型人格”，即来源于此。

不过，rlhf是deepmind首创的。拆解chatgpt背后的底层技术，类似的情况还有很多。比如，采用的transformer架构最早由谷歌发明，使用的神经网络语言模型是另一个巨头yoshua bengio20多年前提出的，他和lecun很早就提出让机器“自监督学习”的设想……

因此，在lecun看来，就底层技术而言，chatgpt并没有什么特别的创新，也不是什么革命性的东西，“与其说chatgpt是一个科学突破，不如说它是一个像样的工程实例。”

然而，对绝大多数人而言，这道不断站在巨人肩膀上，穿行了80年的微光已经足够耀眼。

至暗时刻里的三个臭皮匠

如今深度学习仰仗的神经网络，最早被提出是在1943年，距今刚好80年时间。期间，包括冯诺依曼在内的天才都做过探索，但收效甚微。上世纪80年代，整个科学界已是“符号主义”的天下，“神经网络”的研究已经停滞了近20年，整个人工智能的发展也陷入了寒冬。

符号主义认为，用符号运算和逻辑推理就能让计算机拥有人的智慧。神经网络的支持者则坚信，要参照人类大脑的神经网络让计算机智能起来。

那会儿神经网络的支持者，就像是挡在六大门派前的张无忌。其中的代表人物，就是“深度学习三巨头”。

geoffrey hinton，1947年出生，现任谷歌副总裁兼工程研究员。他出生在一个英国学术“豪门”，父亲是昆虫学家，母亲是教师，叔叔发明了“国民生产总值”（gnp）概念，高祖父发明的布尔代数奠定了现代计算机科学的基础。

然而，直到获得“图灵奖”，hinton也从未正式上过计算机课程。他学过生理学、物理学、哲学、心理学，却不怎么懂数学、神经科学和计算科学，研究过程中不断要向带的学生来请教。

就是这么一个“虽千万人吾往矣”的“门外汉”，凭借bp算法、玻尔兹曼机和改进卷积神经网络，不仅自己敲开了计算机最高殿堂的大门，还带着深度学习冲破了黑暗。

“反向传播算法”（bp算法）曾在80年代末为神经网络的研究注入了一针强心剂。在这一算法的支持下，计算机有了根据给出的参考答案进行“自我纠正”的能力。只是由于算法不完善和计算机算力不足，没能进一步发展。

yoshua bengio出生在1964年，和yann lecun一样是法国人，现在是加拿大蒙特利尔大学教授。他出生在一个嬉皮士家庭，童年是个典型的书呆子，最好的朋友是兄弟samy（谷歌大脑联合创始人），以及俩人通过卖报赚钱买来的计算机。

区别于另外两个巨头，bengio绝大部分精力放在学术研究上，和产业保持了一定的距离，相关论文被引用超17万次。

他凭借序列的概率模型、高维词汇嵌入和注意机制以及生成对抗网络（gan）获得了“图灵奖”。gan是2014年，bengio与ian goodfellow一同推出的，让计算机学会了“左右互搏”，捅破了机器成长的天花板，为“强化学习”奠定了基础。

俩人还和aaron courville等人合著了《deep learning》（《深度学习》）一书，成了人手一本的“ai圣经”。

然后就是yann lecun，1960年出生，现任meta首席ai科学家。他对于人工智能的兴趣，是在9岁观看《2001太空漫游》时种下的。现实世界里，他也是第一批让机器“睁眼看世界”的人，只不过看的是支票上的手写字。

这得益于1989年他构建的机器视觉卷积神经网络lenet。过去10年，卷积神经网络(cnn)已经成为深度学习的基础技术。除了cnn，他比hinton更早尝试构建bp算法，还拓展了神经网络的视野。

熟悉lecun的人，都不会惊讶他指责“chatgpt没什么革命性”。这个胖大叔一直以心直口快著称。他对媒体和业界动不动一惊一乍，把人工智能和“人类末日”联系在一起的做法嗤之以鼻，点名批评ai圈子里的一些专家“毫无建树”。

还有件趣事，上世纪90年代末，lecun开发了一套图像压缩系统，这项技术最后没能实现商业化，却给一位叫larry page的年轻人带来了启发。后来，他成了谷歌的联合创始人。前两天，因为chatgpt，谷歌发出“红色警报”，larry page被紧急召回商量对策。

无论是在学术上还是心理上，hinton都是bengio和lecun的领路人。1987年，lecun短暂加入过hinton的实验室。而bengio从本科开始，就站在了hinton的肩膀上，一路成长为巨人。

bengio 说hinton 有“穿透黑暗看清事物”的能力。他在潜心研究神经网络时长期受腰椎疾病困扰，两任妻子先后罹患癌症，但他始终坚信，错的是其他人，终成“深度学习之父”。

因此不难理解，在以lecun为代表的科学家眼里，真正的创新对应的是bp算法、gan、cnn等等，它们才构成了如今深度学习的基石。

极富个性的ai女神

到了2000年初期，研究神经网络的“傻子”更不受待见了：学术机构不允许他们发表论文，计算机视觉圈子将他们拒之门外。大量专家学者都觉得，这是一条行不通的道路。

2003年，lecun从产业界回归，成为纽约大学的教授。他和hinton、bengio结成非正式的联盟，共同合作研究神经网络。2006，hinton和学生终于完善了bp算法，此时距离它被提出已经过去了整整20年。

不过，真正让这套算法声名鹊起的，是6年以后的一场大赛，它和日后被称为“ai女神”的李飞飞有关。

1992年，李飞飞随父母从北京到新泽西，用她的话来说，“过往的一切被连根拔起”。肤色不同外加语言不通，很长一段时间她是被排挤的对象，好在她拥有惊人的毅力：每天只睡4小时恶补英语，17岁时每天花10多个小时在餐厅里当清洁工赚钱，用两年多的时间完成了美国高考课程。

期间她的数学天赋被老师发觉，经常在午休教她超纲的微积分。1995年，李飞飞以数学满分，总分1250分的高分吸引了无数名校的橄榄枝，最终她选择了普林斯顿大学。但她不是一个“不安分”的学生。本科学物理，因为对生物感兴趣还去研究了一年藏药，研究生学的是电子工程，博士研究的是当时还是冷门的机器视觉，足迹遍布普林斯顿、加州理工、斯坦福等高等学府。

丰富的经历也她最终成为美国三院院士（美国国家工程院院士、美国国家医学院院士以及美国艺术与科学院院士）。

早年间李飞飞的论文署名是feifei li，将姓放在后面，但很快这个署名变成了li feifei，但凡引用她论文的人都习惯性地用了feifei——这个世界有太多人姓li了，可在人工智能领域，feifei只此一位。

神经网络杀了回来

2009年，年仅33岁的李飞飞在斯坦福萌生了一个疯狂的想法，建立一个庞大的数据库用来教会计算机识别各种动物和物体。在此之前，计算机图片识别还仅限于汽车、飞机、豹子和人脸。

这个想法需要耗费大量的人和时间用于基础的标注工作，无论是产业还是学界都不愿意给资金支持，逼得李飞飞一度想重开爸妈当年的洗衣店——那会儿，她一度开出10美元一小时的价格，让名校学生参与标注。尽管这样，按照进度，完成项目至少要19年时间。

一次偶然的机会，她了解到了亚马逊的全球众筹项目amt，以较低成本让全球有空余时间的网友帮忙完成这个不可能的任务。

到了2009年，她携手这个名为imagenet的项目发布论文时，已经动用了167个国家的5万人，他们在两年半的时间里前赴后继，最终建立了一个涉及5247个类别，320万张图片的庞大数据库，其中图片数据是当时最大数据库的100倍。

等到2011年它停止扩建时，数据更新到了21841个类别，近1420万张图片。

2010年，imagenet开始举办大规模视觉识别挑战赛，利用自己海量的数据库检测各种人工智能机器视觉识别的能力。比如，给出一只东北虎的照片，允许机器给出5个判断，只要里面有“东北虎”就算正确，一个都没对算错。

第一年，冠军的识别错误率是28.2%，第二年错误率仅仅降低了2.4%。但在2012年，一个叫alexnet的模型将错误率一下子降低到了16.4%。

这个模型就是hinton和他的学生alex krizhevsky、ilya sutskever设计完成的。他们率先在机器视觉领域使用了卷积神经网络，在人工智能的夜空上砸下了一枚重量级的烟花。

砰地一声、火花四溅、光芒万丈。

自此，神经网络就像lecun曾预言的那样：杀了回来！

一场拍卖开启的军备竞赛

hinton他们将alexnet的实践整理成论文发表。没过多久，他们收到了一封来自中国的邮件。发件方是一个叫余凯的朋友，来自百度。他和hinton相识于一个学术研讨会，同样深信神经网络将改变人工智能发展的余凯告诉百度的高管们，不惜一切代价签下hinton。

来自东方的橄榄枝确实诚意十足。百度第一时间就给出了1200万美金的offer。与此同时，其他公司也表达了强烈的兴趣。这时，hinton做了一个大胆的尝试，以他们三个人成立了一家公司，邀请兴趣方来竞标。

从左至右：ilya sutskever、alex krizhevsky、geoffrey hinton

2012年12月，人工智能领域顶级会议neurips在美国太浩湖畔召开。和hinton他们一同前往的，还有自己开飞机的谷歌高级副总裁alan eustace，百度也派出了余凯等人到场，其他潜在买家还包括微软和新锐公司deepmind。

拍卖通过邮件进行，hinton亲自在房间里坐镇。为了方便他站立打字，两个学生把垃圾桶倒扣在床尾的书桌上，在上面架上笔记本。拍卖的规则也简单，每家公司每轮加价至少100万美元，1小时之后如果没人出价就结束。

最先出局的是成立才两年的deepmind，他们给出的回报是股票而非现金。等到报价上升到2200万美金时，微软选择彻底退出。到了2400万美金，百度总部的高管开始亲自接管。

随着拍卖的继续，hinton发现百度总是愿意不断加价，即便把报价时间缩短到半小时内，这家中国公司也没有表现出要放弃的意思。当报价来到4400万美元的时候，hinton喊了暂停。第二天，他通过邮件宣布拍卖结束，决定牵手谷歌。

这是谷歌和百度两个昔日对手在另类战场完成的一场角逐。决定结果的因素有很多，包括hinton腰椎和背部有伤，不适合长途出行。10年过去了，两家公司都选择在人工智能赛道上一路狂奔，几乎在每个领域都有交集。

这场拍卖的两个“炮灰”，微软和deepmind也没掉队。一年以后，deepmind投入了谷歌怀抱，和hinton站在了同一战壕，并且在2016年推出了轰动世界的alphago。

至于微软，在2019年投资了一家名为openai的公司，他们在去年11月30日推出了名为chatgpt的聊天机器人，是现在最耀眼的明星。

但回过头去看，包括hinton本人在内，多数人都低估了这场拍卖的意义——敏锐的科技巨头开始躬身入局，彻底打响了ai领域的军备竞赛。此后10年，深度学习将如同脱缰的野马，不断挑战人类对于人工智能想象力的极限。

认识一只猫

虽然错失了hinton，但一年多后，百度在一个叫吴恩达的华裔科学家身上扳回了一城。这位出生在伦敦，童年经常往来于香港和新加坡的年轻人，几乎踏足了美国所有顶尖的计算机学府。

本科在卡内基梅隆大学就读，硕士换成了麻省理工，博士是在加州伯克利获得的，后来加入斯坦福大学，担任人工智能实验室主任。

2010年他加入“谷歌大脑”项目，期间和同事做了一件趣事。让“神经网络”观看从youtube上随机选择的1000万段视频。一周之后，意想不到的事情发生了，机器居然自己认识了猫。在此之前，没人教过它猫是什么。

这是计算机在没有事先接到指令，在“无监督”的状态下知道了人类的常识。

关于这点，lecun曾经打过一个比方，如果将人工智能视为一块蛋糕，无监督学习才是蛋糕本体，有监督学习只是蛋糕上的一枚樱桃。

不过，仅仅为了让机器认识这只猫，当时谷歌动用了16000个cpu处理器，花费了近百万美元。

这是紧跟好消息的坏消息。如果不解决算力问题，神经网络推动深度学习就是天方夜谭。这时吴恩达的前同事，现任英伟达首席科学家的达利建议他们可以用gpu代替cpu。因为cpu更擅长一件一件做事情，做的事高大上但效率低，而gpu可以同时做很多事，事情本身难度不大，但胜在效率极高。

所以，对于深度学习里简单且重复的运算场景，gpu更适合。有多适合呢？后来吴恩达只用了12个gpu就完成了同等级的测试。

在2012年imagenet挑战赛上，alexnet运行时就使用了gpu进行运算加速。也就是说，那是神经网络在同时解决算法和算力问题之后给予人类的“惊鸿一瞥”。

2014年，吴恩达加入百度，开始打造“百度大脑”。后来通过一档《最强大脑》的综艺节目，成了家喻户晓的ai科学家。

算力即权力

gpu受到重视也彻底改变了英伟达的命运。这家近些年因为中美贸易摩擦，频频被推到风口浪尖的公司，主宰了全球的ai芯片市场，旗下最先进的a100、h100显卡几乎是每个顶尖ai研发机构的标配。

英伟达是美籍华人黄仁勋于1993年创办的显卡芯片公司。这个祖籍浙江青田，出生在台北的“中二”少年16岁就立下宏愿：成为全球的图形皇帝——尽管那会儿他取得的最好成绩是全美乒乓双打第三。

1999年，英伟达推出了全球第一块图形处理器，让gpu成为计算机中独立于cpu的另一个重要计算单元。第二年，黄仁勋大胆地提出了一个“黄氏定律”：英伟达的gpu每6个月升级一次，性能翻一番。对标的就是英特尔创始人摩尔的“摩尔定律”。

后来gpu更多运用于人工智能领域，“黄氏定律”也演化成“gpu将推动ai性能实现逐年翻倍”。

不过，这个坚信“算力即权力”的性能狂魔高估了主机的承载能力。无论是在pc时代还是手机时代，英伟达曾发布过多款具有爆炸性能的显卡，但因为工作温度过高，经常带着主机共赴黄泉。

尤其是一款名为gtx690的显卡，测试时让电容直接爆炸，被怒不可遏的网友称为“战术核显卡”，加入到百科词条里。后来国内一家电视台信以为真，将它写到了军事节目里，声称搭载它的导弹可以摧毁一个航母战斗群。

节目播出后，黄仁勋得到了一个“两弹元勋”的称号。

在吴恩达的测试曝光后，黄仁勋算是找到了集中释放算力的地方。英伟达开始斥重资投入深度学习，研发用于ai计算的gpu和运算平台cuda，挥动着倚天剑和屠龙刀大杀四方。目前，英伟达芯片占据了ai训练市场近100%的份额，全球top500的超级计算机中，其中的342台有英伟达的身影。

2019年前后，微软斥资5亿美元打造了一个超算中心，里面躺着10000张英伟达gpu。他们帮助微软投资的新锐人工智能公司openai，在2020年孕育出了一个叫gpt-3的人工智能。

当它进化到gpt-3.5，chatgpt诞生了。

我们打开了潘多拉盒子？

为了支持openai发展，微软已经投入了130亿美元。从gpt-3开始，openai不再对模型进行开源，被微软一家独占，极客们嘲笑它成为了closeai。这也引发了openai部分创始成员出走。

对于chatgpt，微软已经有了明确的规划。微软ceo纳德拉称：“这项技术将重塑几乎所有软件类别。”他们最新进展，是将chatgpt集成到旗下搜索bing（必应）里。

从国内外还不多的使用反馈来看，此举确实带来了颠覆性的体验。搜索不再是从一大堆结果里找寻想要的一个，更多时候变成了“所见即所得”。 它甚至可以作为分析工具存在，比如有人让升级后的bing计算阿里巴巴的现金流折现，机器也能迅速告知，并且能提供具体算法。它还可以帮忙总结刚浏览过一篇长文的要点。

与其说是这搜索，不如说它为每个人提供了一颗强大的辅助大脑。但随之而来的问题是，唾手可得的答案一方面实际上“剥夺”了人类分析和思考的能力，通常说的“脑子越用越灵”，对象变成了ai而不是人类。