2023年02月13日00:45:23 動漫 9102

因為chatgpt的出現，人類似乎找到了扮演上帝的感覺，給計算機注入了「靈魂」。

過去半個月來，chatgpt是社交媒體當之無愧的主角。和6年前同樣橫空出世的alphago不同，這次你我這樣大眾的感受更為強烈。這也是為什麼，作為一款聊天機器人，它用僅僅2個月時間就收穫了1億用戶。達到相同的成績，tiktok用了9個月，更早時的instagram用了30個月。

在產業界，谷歌、百度、阿里等國內外科技巨頭爭相坐上牌桌，以推出自家版chatgpt為目標，證明自身在ai領域的深厚積累。

為什麼chatgpt成了繞不開的話題？因為人工智慧終於知道如何和人類進行自然交流，給出接近人類表達、認知、需求和價值觀的回答，同時展現了成為普通人都能用的先進生產工具，以及未來如「水電煤」一般基礎設施的可能性，儘管它依然不完美。

不過，它並不是從「石頭縫裡蹦出來」的。這是過去20年，以神經網路為主流，推動深度學習發展從量變到質變的結果。期間有無數人類群星和普通人為之閃耀。

了解這些人和事有助於進一步知道chatgpt是怎麼來的，有什麼問題，又將帶領人類走向何方。

這段有些漫長的旅程從一段刺耳的聲音開始。

大力出奇蹟？

「chatgpt缺乏創新，沒什麼革命性。」這個評價來自一個叫楊立昆的人——在全球幾乎一邊倒的讚譽聲中，頗為格格不入。

楊立昆不是中國人，他的英文名是yann lecun，出生在法國。2017年以前，他在中文互聯網上有著各種稱呼：楊樂昆、楊樂春、嚴樂村……直到那一年來中國演講，他官宣了自己的中文名。

如果是單純的鍵盤俠，這樣的評價不值一笑。但楊立昆恰好是全球為數不多能夠對chatgpt「指手畫腳」的人物。

2019年，他和yoshua bengio、geoffrey hinton兩位一起獲得了計算機界的最高榮譽「圖靈獎」，被稱為「深度學習三巨頭」。他們深信，計算機可以像人類一樣，依靠神經網路進行「思考」。沒有他們，就沒有昨天的alphago和今天的chatgpt。

從左至右：yann lecun、geoffrey hinton、yoshua bengio

為什麼lecun會發出這樣的感慨呢？chatgpt的內核是大語言模型，從2018年openai發布的第一代進化到了chatgpt使用的第四代gpt-3.5，據說gpt-4也已經呼之欲出。

一路升級，openai沒有對演算法模型進行根本改動，更多是微調了訓練機制，以及越來越多人力和算力的投入，從「大力出奇蹟」到「更大力出更大的奇蹟」。

chatgpt背後的投入遠沒有它給出的回復來得「舉重若輕」。第一代gpt訓練涉及的參數量為1.17億，到了gpt-3這個數字變成了1750億，擴容了近1500倍。對應的訓練數據量，從5gb擴到了45tb，近萬倍的增長。

為了訓練gpt-3，openai投入可能達到1200萬美元，這還不算背後的微軟為它斥資5億美元建立的超算中心。

所以，搜狐創始人張朝陽表示，chatgpt的成功是量的積累，包括了機器的算力、伺服器的數量以及知識庫，「因為訓練成本投入過高，沒能力的公司只會白白浪費資源。」

到了gpt-3.5，也就是chatgpt，openai引入了人類反饋強化學習（rlhf）機制。他們找了40個博士，對gpt-3.5針對不同問題給出的三個答案進行打分，建立獎懲模型，最終讓機器知道怎樣的回答更討大部分人類喜歡——有人覺得chatgpt有「討好型人格」，即來源於此。

不過，rlhf是deepmind首創的。拆解chatgpt背後的底層技術，類似的情況還有很多。比如，採用的transformer架構最早由谷歌發明，使用的神經網路語言模型是另一個巨頭yoshua bengio20多年前提出的，他和lecun很早就提出讓機器「自監督學習」的設想……

因此，在lecun看來，就底層技術而言，chatgpt並沒有什麼特別的創新，也不是什麼革命性的東西，「與其說chatgpt是一個科學突破，不如說它是一個像樣的工程實例。」

然而，對絕大多數人而言，這道不斷站在巨人肩膀上，穿行了80年的微光已經足夠耀眼。

至暗時刻里的三個臭皮匠

如今深度學習仰仗的神經網路，最早被提出是在1943年，距今剛好80年時間。期間，包括馮諾依曼在內的天才都做過探索，但收效甚微。上世紀80年代，整個科學界已是「符號主義」的天下，「神經網路」的研究已經停滯了近20年，整個人工智慧的發展也陷入了寒冬。

符號主義認為，用符號運算和邏輯推理就能讓計算機擁有人的智慧。神經網路的支持者則堅信，要參照人類大腦的神經網路讓計算機智能起來。

那會兒神經網路的支持者，就像是擋在六大門派前的張無忌。其中的代表人物，就是「深度學習三巨頭」。

geoffrey hinton，1947年出生，現任谷歌副總裁兼工程研究員。他出生在一個英國學術「豪門」，父親是昆蟲學家，母親是教師，叔叔發明了「國民生產總值」（gnp）概念，高祖父發明的布爾代數奠定了現代計算機科學的基礎。

然而，直到獲得「圖靈獎」，hinton也從未正式上過計算機課程。他學過生理學、物理學、哲學、心理學，卻不怎麼懂數學、神經科學和計算科學，研究過程中不斷要向帶的學生來請教。

就是這麼一個「雖千萬人吾往矣」的「門外漢」，憑藉bp演算法、玻爾茲曼機和改進卷積神經網路，不僅自己敲開了計算機最高殿堂的大門，還帶著深度學習衝破了黑暗。

「反向傳播演算法」（bp演算法）曾在80年代末為神經網路的研究注入了一針強心劑。在這一演算法的支持下，計算機有了根據給出的參考答案進行「自我糾正」的能力。只是由於演算法不完善和計算機算力不足，沒能進一步發展。

yoshua bengio出生在1964年，和yann lecun一樣是法國人，現在是加拿大蒙特利爾大學教授。他出生在一個嬉皮士家庭，童年是個典型的書獃子，最好的朋友是兄弟samy（谷歌大腦聯合創始人），以及倆人通過賣報賺錢買來的計算機。

區別於另外兩個巨頭，bengio絕大部分精力放在學術研究上，和產業保持了一定的距離，相關論文被引用超17萬次。

他憑藉序列的概率模型、高維辭彙嵌入和注意機制以及生成對抗網路（gan）獲得了「圖靈獎」。gan是2014年，bengio與ian goodfellow一同推出的，讓計算機學會了「左右互搏」，捅破了機器成長的天花板，為「強化學習」奠定了基礎。

倆人還和aaron courville等人合著了《deep learning》（《深度學習》）一書，成了人手一本的「ai聖經」。

然後就是yann lecun，1960年出生，現任meta首席ai科學家。他對於人工智慧的興趣，是在9歲觀看《2001太空漫遊》時種下的。現實世界裡，他也是第一批讓機器「睜眼看世界」的人，只不過看的是支票上的手寫字。

這得益於1989年他構建的機器視覺卷積神經網路lenet。過去10年，卷積神經網路(cnn)已經成為深度學習的基礎技術。除了cnn，他比hinton更早嘗試構建bp演算法，還拓展了神經網路的視野。

熟悉lecun的人，都不會驚訝他指責「chatgpt沒什麼革命性」。這個胖大叔一直以心直口快著稱。他對媒體和業界動不動一驚一乍，把人工智慧和「人類末日」聯繫在一起的做法嗤之以鼻，點名批評ai圈子裡的一些專家「毫無建樹」。

還有件趣事，上世紀90年代末，lecun開發了一套圖像壓縮系統，這項技術最後沒能實現商業化，卻給一位叫larry page的年輕人帶來了啟發。後來，他成了谷歌的聯合創始人。前兩天，因為chatgpt，谷歌發出「紅色警報」，larry page被緊急召回商量對策。

無論是在學術上還是心理上，hinton都是bengio和lecun的領路人。1987年，lecun短暫加入過hinton的實驗室。而bengio從本科開始，就站在了hinton的肩膀上，一路成長為巨人。

bengio 說hinton 有「穿透黑暗看清事物」的能力。他在潛心研究神經網路時長期受腰椎疾病困擾，兩任妻子先後罹患癌症，但他始終堅信，錯的是其他人，終成「深度學習之父」。

因此不難理解，在以lecun為代表的科學家眼裡，真正的創新對應的是bp演算法、gan、cnn等等，它們才構成了如今深度學習的基石。

極富個性的ai女神

到了2000年初期，研究神經網路的「傻子」更不受待見了：學術機構不允許他們發表論文，計算機視覺圈子將他們拒之門外。大量專家學者都覺得，這是一條行不通的道路。

2003年，lecun從產業界回歸，成為紐約大學的教授。他和hinton、bengio結成非正式的聯盟，共同合作研究神經網路。2006，hinton和學生終於完善了bp演算法，此時距離它被提出已經過去了整整20年。

不過，真正讓這套演算法聲名鵲起的，是6年以後的一場大賽，它和日後被稱為「ai女神」的李飛飛有關。

1992年，李飛飛隨父母從北京到新澤西，用她的話來說，「過往的一切被連根拔起」。膚色不同外加語言不通，很長一段時間她是被排擠的對象，好在她擁有驚人的毅力：每天只睡4小時惡補英語，17歲時每天花10多個小時在餐廳里當清潔工賺錢，用兩年多的時間完成了美國高考課程。

期間她的數學天賦被老師發覺，經常在午休教她超綱的微積分。1995年，李飛飛以數學滿分，總分1250分的高分吸引了無數名校的橄欖枝，最終她選擇了普林斯頓大學。但她不是一個「不安分」的學生。本科學物理，因為對生物感興趣還去研究了一年藏葯，研究生學的是電子工程，博士研究的是當時還是冷門的機器視覺，足跡遍布普林斯頓、加州理工、斯坦福等高等學府。

豐富的經歷也她最終成為美國三院院士（美國國家工程院院士、美國國家醫學院院士以及美國藝術與科學院院士）。

早年間李飛飛的論文署名是feifei li，將姓放在後面，但很快這個署名變成了li feifei，但凡引用她論文的人都習慣性地用了feifei——這個世界有太多人姓li了，可在人工智慧領域，feifei只此一位。

神經網路殺了回來

2009年，年僅33歲的李飛飛在斯坦福萌生了一個瘋狂的想法，建立一個龐大的資料庫用來教會計算機識別各種動物和物體。在此之前，計算機圖片識別還僅限於汽車、飛機、豹子和人臉。

這個想法需要耗費大量的人和時間用於基礎的標註工作，無論是產業還是學界都不願意給資金支持，逼得李飛飛一度想重開爸媽當年的洗衣店——那會兒，她一度開出10美元一小時的價格，讓名校學生參與標註。儘管這樣，按照進度，完成項目至少要19年時間。

一次偶然的機會，她了解到了亞馬遜的全球眾籌項目amt，以較低成本讓全球有空餘時間的網友幫忙完成這個不可能的任務。

到了2009年，她攜手這個名為imagenet的項目發布論文時，已經動用了167個國家的5萬人，他們在兩年半的時間裡前赴後繼，最終建立了一個涉及5247個類別，320萬張圖片的龐大資料庫，其中圖片數據是當時最大資料庫的100倍。

等到2011年它停止擴建時，數據更新到了21841個類別，近1420萬張圖片。

2010年，imagenet開始舉辦大規模視覺識別挑戰賽，利用自己海量的資料庫檢測各種人工智慧機器視覺識別的能力。比如，給出一隻東北虎的照片，允許機器給出5個判斷，只要裡面有「東北虎」就算正確，一個都沒對算錯。

第一年，冠軍的識別錯誤率是28.2%，第二年錯誤率僅僅降低了2.4%。但在2012年，一個叫alexnet的模型將錯誤率一下子降低到了16.4%。

這個模型就是hinton和他的學生alex krizhevsky、ilya sutskever設計完成的。他們率先在機器視覺領域使用了卷積神經網路，在人工智慧的夜空上砸下了一枚重量級的煙花。

砰地一聲、火花四濺、光芒萬丈。

自此，神經網路就像lecun曾預言的那樣：殺了回來！

一場拍賣開啟的軍備競賽

hinton他們將alexnet的實踐整理成論文發表。沒過多久，他們收到了一封來自中國的郵件。發件方是一個叫余凱的朋友，來自百度。他和hinton相識於一個學術研討會，同樣深信神經網路將改變人工智慧發展的余凱告訴百度的高管們，不惜一切代價簽下hinton。

來自東方的橄欖枝確實誠意十足。百度第一時間就給出了1200萬美金的offer。與此同時，其他公司也表達了強烈的興趣。這時，hinton做了一個大膽的嘗試，以他們三個人成立了一家公司，邀請興趣方來競標。

從左至右：ilya sutskever、alex krizhevsky、geoffrey hinton

2012年12月，人工智慧領域頂級會議neurips在美國太浩湖畔召開。和hinton他們一同前往的，還有自己開飛機的谷歌高級副總裁alan eustace，百度也派出了余凱等人到場，其他潛在買家還包括微軟和新銳公司deepmind。

拍賣通過郵件進行，hinton親自在房間里坐鎮。為了方便他站立打字，兩個學生把垃圾桶倒扣在床尾的書桌上，在上面架上筆記本。拍賣的規則也簡單，每家公司每輪加價至少100萬美元，1小時之後如果沒人出價就結束。

最先出局的是成立才兩年的deepmind，他們給出的回報是股票而非現金。等到報價上升到2200萬美金時，微軟選擇徹底退出。到了2400萬美金，百度總部的高管開始親自接管。

隨著拍賣的繼續，hinton發現百度總是願意不斷加價，即便把報價時間縮短到半小時內，這家中國公司也沒有表現出要放棄的意思。當報價來到4400萬美元的時候，hinton喊了暫停。第二天，他通過郵件宣布拍賣結束，決定牽手谷歌。

這是谷歌和百度兩個昔日對手在另類戰場完成的一場角逐。決定結果的因素有很多，包括hinton腰椎和背部有傷，不適合長途出行。10年過去了，兩家公司都選擇在人工智慧賽道上一路狂奔，幾乎在每個領域都有交集。

這場拍賣的兩個「炮灰」，微軟和deepmind也沒掉隊。一年以後，deepmind投入了谷歌懷抱，和hinton站在了同一戰壕，並且在2016年推出了轟動世界的alphago。

至於微軟，在2019年投資了一家名為openai的公司，他們在去年11月30日推出了名為chatgpt的聊天機器人，是現在最耀眼的明星。

但回過頭去看，包括hinton本人在內，多數人都低估了這場拍賣的意義——敏銳的科技巨頭開始躬身入局，徹底打響了ai領域的軍備競賽。此後10年，深度學習將如同脫韁的野馬，不斷挑戰人類對於人工智慧想像力的極限。

認識一隻貓

雖然錯失了hinton，但一年多後，百度在一個叫吳恩達的華裔科學家身上扳回了一城。這位出生在倫敦，童年經常往來於香港和新加坡的年輕人，幾乎踏足了美國所有頂尖的計算機學府。

本科在卡內基梅隆大學就讀，碩士換成了麻省理工，博士是在加州伯克利獲得的，後來加入斯坦福大學，擔任人工智慧實驗室主任。

2010年他加入「谷歌大腦」項目，期間和同事做了一件趣事。讓「神經網路」觀看從youtube上隨機選擇的1000萬段視頻。一周之後，意想不到的事情發生了，機器居然自己認識了貓。在此之前，沒人教過它貓是什麼。

這是計算機在沒有事先接到指令，在「無監督」的狀態下知道了人類的常識。

關於這點，lecun曾經打過一個比方，如果將人工智慧視為一塊蛋糕，無監督學習才是蛋糕本體，有監督學習只是蛋糕上的一枚櫻桃。

不過，僅僅為了讓機器認識這隻貓，當時谷歌動用了16000個cpu處理器，花費了近百萬美元。

這是緊跟好消息的壞消息。如果不解決算力問題，神經網路推動深度學習就是天方夜譚。這時吳恩達的前同事，現任英偉達首席科學家的達利建議他們可以用gpu代替cpu。因為cpu更擅長一件一件做事情，做的事高大上但效率低，而gpu可以同時做很多事，事情本身難度不大，但勝在效率極高。

所以，對於深度學習里簡單且重複的運算場景，gpu更適合。有多適合呢？後來吳恩達只用了12個gpu就完成了同等級的測試。

在2012年imagenet挑戰賽上，alexnet運行時就使用了gpu進行運算加速。也就是說，那是神經網路在同時解決演算法和算力問題之後給予人類的「驚鴻一瞥」。

2014年，吳恩達加入百度，開始打造「百度大腦」。後來通過一檔《最強大腦》的綜藝節目，成了家喻戶曉的ai科學家。

算力即權力

gpu受到重視也徹底改變了英偉達的命運。這家近些年因為中美貿易摩擦，頻頻被推到風口浪尖的公司，主宰了全球的ai晶元市場，旗下最先進的a100、h100顯卡幾乎是每個頂尖ai研發機構的標配。

英偉達是美籍華人黃仁勛於1993年創辦的顯卡晶元公司。這個祖籍浙江青田，出生在台北的「中二」少年16歲就立下宏願：成為全球的圖形皇帝——儘管那會兒他取得的最好成績是全美乒乓雙打第三。

1999年，英偉達推出了全球第一塊圖形處理器，讓gpu成為計算機中獨立於cpu的另一個重要計算單元。第二年，黃仁勛大膽地提出了一個「黃氏定律」：英偉達的gpu每6個月升級一次，性能翻一番。對標的就是英特爾創始人摩爾的「摩爾定律」。

後來gpu更多運用於人工智慧領域，「黃氏定律」也演化成「gpu將推動ai性能實現逐年翻倍」。

不過，這個堅信「算力即權力」的性能狂魔高估了主機的承載能力。無論是在pc時代還是手機時代，英偉達曾發布過多款具有爆炸性能的顯卡，但因為工作溫度過高，經常帶著主機共赴黃泉。

尤其是一款名為gtx690的顯卡，測試時讓電容直接爆炸，被怒不可遏的網友稱為「戰術核顯卡」，加入到百科詞條里。後來國內一家電視台信以為真，將它寫到了軍事節目里，聲稱搭載它的導彈可以摧毀一個航母戰鬥群。

節目播出後，黃仁勛得到了一個「兩彈元勛」的稱號。

在吳恩達的測試曝光後，黃仁勛算是找到了集中釋放算力的地方。英偉達開始斥重資投入深度學習，研發用於ai計算的gpu和運算平台cuda，揮動著倚天劍和屠龍刀大殺四方。目前，英偉達晶元佔據了ai訓練市場近100%的份額，全球top500的超級計算機中，其中的342台有英偉達的身影。

2019年前後，微軟斥資5億美元打造了一個超算中心，裡面躺著10000張英偉達gpu。他們幫助微軟投資的新銳人工智慧公司openai，在2020年孕育出了一個叫gpt-3的人工智慧。

當它進化到gpt-3.5，chatgpt誕生了。

我們打開了潘多拉盒子？

為了支持openai發展，微軟已經投入了130億美元。從gpt-3開始，openai不再對模型進行開源，被微軟一家獨佔，極客們嘲笑它成為了closeai。這也引發了openai部分創始成員出走。

對於chatgpt，微軟已經有了明確的規劃。微軟ceo納德拉稱：「這項技術將重塑幾乎所有軟體類別。」他們最新進展，是將chatgpt集成到旗下搜索bing（必應）里。

從國內外還不多的使用反饋來看，此舉確實帶來了顛覆性的體驗。搜索不再是從一大堆結果里找尋想要的一個，更多時候變成了「所見即所得」。 它甚至可以作為分析工具存在，比如有人讓升級後的bing計算阿里巴巴的現金流折現，機器也能迅速告知，並且能提供具體演算法。它還可以幫忙總結剛瀏覽過一篇長文的要點。

與其說是這搜索，不如說它為每個人提供了一顆強大的輔助大腦。但隨之而來的問題是，唾手可得的答案一方面實際上「剝奪」了人類分析和思考的能力，通常說的「腦子越用越靈」，對象變成了ai而不是人類。