·ChatGPT背後的大規模預訓練模型GPT-3.5能力強大，領先國內大模型一個代差。國內大模型百花齊放，如果要追趕並生產出類ChatGPT產品，首先要有能跟國際比肩的高性能基座模型，並在基座模型上優化。與此同時要有長期投入的環境，解決高端GPU算力「卡脖子」問題。
·ChatGPT還存在不可避免的缺陷：常識缺失。究其原因，OpenAI在訓練ChatGPT時，每一次進步都是演算法+數據巧妙設計的結果，但這些訓練過程都沒有考慮常識知識的加入。
ChatGPT的火爆，已經引起了國內AI界的熱烈討論。
「全能網友」ChatGPT火出圈，國際科技巨頭布局AI聊天機器人，國內大小企業能否迎頭趕上？差距在哪？成立於2019年的人工智慧企業北京智譜華章科技有限公司（下稱「智譜AI」）CEO張鵬2月7日對澎湃科技（www.thepaper.cn）表示，ChatGPT背後的大規模預訓練模型GPT-3.5能力強大，領先國內大模型一個代差。國內大模型百花齊放，如果要追趕並生產出類ChatGPT產品，首先要有能跟國際比肩的高性能基座模型，例如類GPT-3模型。在基座模型上優化，包括加入代碼的訓練增強邏輯性，做監督性的訓練、強化學習的訓練和用戶反饋的數據監督訓練，或許能得到與ChatGPT背後的模型相媲美的大模型。
西安中科創星科技孵化器有限公司（下稱「中科創星」）創始合伙人米磊認為，國內差距主要在於資金長期投入和投入環境上，「OpenAI（ChatGPT的創建者）從2015年開始研發至今，背後是堅持不懈的長期巨額資金投入，不管是熱還是冷，都堅持不斷創新。最後十年磨一劍，坐冷板凳把ChatGPT做出來了。」與此同時，當前國內面臨的高端GPU算力「卡脖子」問題仍然待解。
通用人工智慧是指具有一般人類智慧，可以執行人類能夠執行的任何智力任務的機器智能。ChatGPT的出現能否說明人類已經接近通用人工智慧？張鵬認為，它離真正的通用人工智慧甚至認知智能仍有距離。通過大規模預訓練模型技術，ChatGPT實現了部分認知推理能力和內容生成能力。但它仍然欠缺認知中嚴謹的知識和邏輯，欠缺生成結果的可解釋性。
究其原因，OpenAI在訓練ChatGPT的時候歷經從最基礎的1750萬基座模型GPT-3到加入代碼的Code-Davinci-002再到加入了指令微調的InstructGPT，最後到最近加入強化學習的Text-Davinci-003和ChatGPT，每一次進步都是演算法+數據巧妙設計的結果，但這些訓練過程都沒有考慮常識知識的加入。因此對於認知大模型，張鵬表示，或許可以通過加入記憶模塊和自我反思機制，實現進一步突破。
ChatGPT曾在誘導下寫出毀滅全人類的計劃書，因此需要考慮監管問題。目前ChatGPT還存在不可避免的缺陷，暫時不太可能完全替代某一個職業，但隨著用戶量的急劇增加，給ChatGPT的反饋信息越來越多，模型迭代訓練後，張鵬表示，未來或可替代簡單重複、技術含量不大的工作。「總體上，目前技術已經跑在前頭了，安全、法律、道德等層面對它的約束和應對還是要跟上。」
以下是澎湃科技與智譜AI首席執行官張鵬、中科創星創始合伙人米磊的對話實錄。
【國內大模型百花齊放，底層技術與國外有代差】
澎湃科技：最近ChatGPT很火，國際科技巨頭都在布局這塊。
張鵬（智譜AI首席執行官）：ChatGPT最近挺熱的，但其實這個事兒不是很新鮮，往前推已經有幾年時間了，最早可以追溯到2018年左右開始做大規模預訓練模型，2020年OpenAI發布了GPT-3語言模型，引起對生成式AI的關注。去年生成式AI的另一個頂峰是圖像生成模型的推出，引起了AIGC（人工智慧生成內容）領域的火熱。但背後的根本是大規模語言模型技術，這個技術從國外起步，現在把這個模型推到了千億甚至萬億級別的規模之後會產生從量變到質變的變化。GPT-3之後，國內外的研究機構、廠商開始追捧這個技術，布局研發工作。
米磊（中科創星創始合伙人）：ChatGPT確實是人工智慧發展史上一個很大的突破，比較驚艷，標誌著人工智慧發展從量變走向質變。它是人工智慧在繼互聯網浪潮中異軍突起之後一次大的性能提升，不僅可以直接幹活提高生產效率，還能有很大的想像空間，超出了大家的預期，所以一下子就火了。從硬科技的視角來看，人工智慧的底層技術可以分為演算法、數據和算力，科技巨頭在這方面有明顯優勢，無論是資源平台，還是資金、人才，都佔有先機。ChatGPT就是數據和算力結合的一個代表性創新案例。
澎湃科技：國內目前的發展或追趕情況是怎樣的？
張鵬：ChatGPT火出圈確實有不太一樣的地方，它不是純研究，而是一個封裝得非常好的產品，而且選擇了聊天這樣一個泛用場景，所以引起非常廣泛的關注。
其實國內還有其他一些廠家也在做這個事，目前還是百花齊放的狀態。比如百度文心，華為有盤古模型，位元組跳動和達摩院也有自己的模型。這些模型大部分是語言模型，但也有一些多模態的模型，比如達摩院的M6模型是多模態的模型，它不光可以生成文本，也可以生成圖像。
但可能都限於某些比較小眾的應用，所以沒有形成非常大規模的市場影響力。其次，深究下來，我們在底層技術上跟國外還有一定的代差，ChatGPT背後的GPT-3.5模型確實非常強，領先國內大模型一個代差，在這點上還值得我們去追趕。
米磊：大模型是非常難的一個方向，對技術要求很高，投入也很大，所以國內做這方面的初創企業並不多。技術上，跟國外比，國內還是有一定差距，ChatGPT基本上可以商用了，但國內也沒有那麼弱。國內在數據量、預訓練模型、演算法方面緊跟國際，做得還是很強的，中國也還是很有機會的。
澎湃科技：具體差距是什麼？
張鵬：ChatGPT的能力源自於背後的基座模型，也就是大規模預訓練模型。ChatGPT的基座模型是GPT-3，在GPT-3和ChatGPT之間還有一系列模型，也就是在GPT-3的基礎上做了很多改進和優化，形成了GPT-3.5這樣的系列模型。這一系列模型的能力是ChatGPT能取得當前這樣的效果的基礎。
GPT-3.5和GPT-3之間就是一個代差，國內大量的工作大概是在GPT-3的水平甚至比GPT-3還差一些的水平，所以這就是我說的技術上的代差，國內外的差距就在於模型的基礎性能上。
去年，斯坦福大學基礎模型研究中心的負責人Percy Liang等開展了一項研究，對全球範圍內將近30個大模型橫向評測，列了7項評測指標，其中6項是關於模型本身的評測性能，代表了模型本身能力的強弱，包括準確性、魯棒性、公允性、偏見度、校準誤差、惡意性。這個榜單里的模型絕大部分都是國外的，包括和ChatGPT相關的InstructGPT模型。當然這裡面也有我們與清華多個實驗室共同訓練的大規模中英文預訓練語言模型GLM-130B，這是國內唯一一個入選、能跟這些頂尖模型一較高下的基座模型。
米磊：在資金投入和投入環境上也存在差異。OpenAI從2015年開始研發至今，背後是堅持不懈的長期巨額資金投入，不管是熱還是冷，都堅持不斷創新，最後十年磨一劍，坐冷板凳把ChatGPT做出來了。中國長期投入的這種環境跟美國還是有差距的。說到底還是要按客觀規律辦事，所以我們呼籲大家關注和支持硬科技，希望大家能多一些耐心，做長期資本來支持科技創新。
澎湃科技：國內企業如果要追趕，生產出類ChatGPT產品，要從哪些方面入手？
張鵬：我們一直在做關於千億模型和萬億模型的研究，也在思考我們與ChatGPT的距離。首先，我們認為要有能夠跟國際比肩的性能非常好的基座模型，也就是類似GPT-3和GLM-130B這樣的模型。有了基座模型之後，還要在基座模型上做優化，包括加入代碼的訓練，增強它的邏輯性，做監督性的訓練，做強化學習的訓練和用戶反饋的數據監督訓練。還要做很多這樣的工作，才能得到跟ChatGPT背後的模型相媲美的模型。然後在大模型的基礎上再去開發出產品，這是工程性的問題。
米磊：還是回到演算法、數據和算力上。國內要在軟硬體上同時下功夫，一方面把演算法做得更好一點，尤其是優化演算法，包括認知演算法、反思演算法。另一方面提升數據量，解決算力問題，因為現在還面臨高端GPU算力卡脖子問題。
【通向認知智能的重要一步，需受安全、道德等約束】
澎湃科技：現在人們會和ChatGPT交流自己的職業會不會被它替代。
張鵬：目前ChatGPT還有一些不可避免的缺陷，暫時還不太可能完全替代某一個職業或某一份工作。但隨著用戶量的急劇增加，給ChatGPT的反饋信息越來越多，模型迭代訓練後，是真的有可能替代一些簡單重複、沒有太大技術含量的工作。
米磊：人工智慧會逐步把人類低端、重複性的工作代替，但創新是代替不了的。
澎湃科技：ChatGPT的出現能否說明我們已經接近了通用人工智慧？
張鵬：說通用人工智慧還早，頂多算是通向通用人工智慧中的認知智能很重要的一步，通過大規模預訓練模型技術，實現了部分認知推理能力和內容生成能力。當然它仍然會「一本正經地胡說八道」，犯一些常規性和知識性的錯誤，這就是它的一個缺陷，它仍然欠缺認知當中嚴謹的知識和邏輯這個部分，它生成的結果的可解釋性還比較欠缺。
米磊：透過ChatGPT，我們已經能看到初級智能時代的曙光了，未來它將會帶來一場生產力的革命。過去60年是信息時代，未來60年是智能時代，到時候大概率是要替代掉現在的搜索引擎模式。
澎湃科技：你們去年聯合清華的幾個實驗室訓練出了GLM-130B模型，後續有哪些發展規劃？
張鵬：自2022年8月發布以來，GLM-130B收到了41個國家266個研究機構的使用需求，包括Google、Microsoft、Stanford、MIT、UC Berkely、CMU、Harvard、華為、百度、阿里巴巴、騰訊、頭條、智源、北京大學、浙江大學、香港大學等。當前OpenAI的GPT對中國禁用，英偉達的A100等高端晶元對中國禁售，我們在做大模型的過程中挑戰巨大，但同時也有這份責任心，要做大模型的中國創新，要做能媲美GPT系列的認知大模型。接下來從GPT-3到GPT-3.5到ChatGPT這條路徑中的必要工作我們會持續去做，基於GLM-130B模型提供基礎服務能力，比如文本生成、代碼輔助編寫等。
澎湃科技：在大模型中加入記憶模塊和自我反思機制嗎？
張鵬：這是我們的一個構想，團隊正在這方面持續探索。首先要解決犯知識性錯誤的問題，因為現在ChatGPT是純用生成的方式來回答問題，沒有結合常識知識和背景性質的數據，所以它回答問題的時候雖然語句上是通順的，但知識性的細節會出錯。這是模型本身的缺陷，在訓練時可能沒有加入更多的知識，或者生成這個結果後沒有用事實性的邏輯推理方式去檢查。記憶模塊就是為了解決知識內容犯錯的問題，把這些知識記住就不需要胡說八道，直接從記憶里檢索出來就好了。
澎湃科技：總的來說，ChatGPT會帶來哪些技術和社會挑戰？
張鵬：技術挑戰就是它離真正的通用人工智慧甚至認知智能這個目標還有一些距離，包括加入基於self-instruct的自我反思機制，需要從技術上持續突破。
對於社會問題，根據我們的觀察，首先要考慮安全風險，它曾經在誘導下寫出毀滅全人類的計劃書，因此需要考慮如何避免或受到監管。其次，每個技術的誕生都會存在濫用的問題，現在國外有些學校、科研機構、期刊雜誌禁止使用ChatGPT寫論文。此外，可能會引起工作崗位、職業的變更，甚至會引起一些不穩定因素。總體上，目前技術已經跑在前頭了，安全、法律、道德等層面對它的約束和應對還是要跟上。
澎湃科技：大小企業都在做大模型或類ChatGPT產品，怎樣的企業會勝出？
張鵬：做這件事需要幾方面要素，首先要有深厚的技術積累，持續深入研究，並有成果產出。
第二需要有大量資源，包括數據、算力。這一點上，國內和國際的大企業有天生的優勢。
第三需要生態建設，一項新的技術在投入使用過程中不能靠一兩個公司或者少量的人就能把整個事情做起來，它需要一個生態。比如大家願意在產品中嵌入並應用這些技術，技術本身會接收到更多反饋，然後不斷迭代，這需要一個良好的應用生態環境去促進不斷升級和迭代。
從這幾個要素可以判斷哪些企業或機構能夠在這件事上走得更遠。
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-