大模型價格「卷」起來了,幻方、位元組和智譜紛紛下場,GPT4一年降價超80%

2024年05月18日10:05:08 科技 1604

文 | 烏鴉智能說

不少人有這樣一個判斷:2024會是推理的元年。據英偉達2023年財報電話會議披露,公司全年數據中心裡已經有40%的收入來自推理業務,超出了絕大部分人預期。

讓人沒想到的是,推理端的爆發率先在大模型價格上卷了起來。今年5月,幻方位元組先後發布新模型,價格動輒市面上原有模型的1%。同時,智譜也官宣了新的價格體系,將入門級產品GLM-3 Turbo模型的價格下調了80%。

這樣的趨勢,同樣也在國外發生。自去年以來,OpenAI已經進行了4次降價。在剛剛結束的春季功能更新會上,OpenAI宣布了其最新模型GPT-4o,不僅性能有大幅提升,價格也下調了50%。

那麼,驅動這輪大模型推理成本下降的邏輯是什麼?我們又應該如何理解推理成本下降對產業的意義?

降本超預期!GPT4一年降價超80%

從5月召開的發布會來看,各家在大模型價格上卷得越來越厲害了。

5月6日,幻方量化旗下DeepSeek(深度求索)發布第二代MoE模型DeepSeek-V2,該模型API定價為每百萬Tokens輸入1元、輸出2元(32K上下文),價格為GPT-4 Turbo的近百分之一。

5月11日,智譜大模型官宣新的價格體系,新註冊用戶可以獲得額度從500萬 tokens 提升至2500萬 tokens,並且入門級產品GLM-3 Turbo模型調用價格從5元/百萬Tokens降至1元/百萬Tokens,降幅高達80%。

5月13日,OpenAI發布GPT-4o,不僅在功能上大幅超越GPT-4 Turbo,價格只有一半。

5月15日,豆包主力模型為0.0008元/千Tokens,即0.8厘就能處理1500多個漢字,宣稱比行業便宜了99.3%。在32K(千位元組)以下主力模型中,每1000 Tokens(大模型文本中的一個最小單位)的企業市場使用價格,GPT-4(美國AI研究公司OpenAI旗下的大模型)為0.42元,百度文心一言和阿里通義千問為0.12元。

可以看到,大模型降價既有GLM-3 Turbo這樣的入門模型,也有像性能接近GPT-4 Turbo的主力模型。而從OpenAI過去一年的動作看,降價也一直其升級的主線。

算上此次GPT-4o的發布,2023年年初以來,OpenAI已經進行了4次降價。去年3月,OpenAI開放了gpt-3.5-turbo,每1000個token的成本為0.002美元,價格比此前的GPT-3.5模型下降了90%。

到去年11月,OpenAI發布了GPT-4 Turbo的同時,也對整個平台的價格做出了調整。其中,GPT-4 Turbo輸入tokens價格是GPT-4的1/3,為0.01美元/1k tokens(摺合人民幣約0.07元),輸出tokens價格是其1/2,為,摺合人民幣約0.22元)。

大模型價格「卷」起來了,幻方、位元組和智譜紛紛下場,GPT4一年降價超80% - 天天要聞

今年1月,OpenAI推出了新版的GPT-3.5-Turbo,型號為gpt-3.5-turbo-0125,gpt-3.5-turbo-0125輸入的價格降低了50%,為0.0005美元/1000 tokens,輸出價格也降低了25%,為0.0015美元/1000 tokens。

此外,OpenAI還推出餓了兩個新一代embedding模型:text-embedding-3-small和text-embedding-3-large。其中,text-embedding-3-small遠比OpenAI之前的text-embedding-ada-002模型效率高,因此價格也大幅降低了5倍,從每千token的0.0001美元降至0.00002美元。

從去年3月OpenAI發布GPT4到現在,其產品從GPT4升級到GPT-4o,輸入價格從0.03美元/1k tokens下降到0.005美元/1k tokens,降幅為83%;輸出價格從0.06美元/1k tokens下降到0.015美元/1k tokens,降幅為75%。

根據此前預期,大模型大致將按照每年50-75%幅度降本,也就是說,現在大模型的降本速度遠超預期。

模型優化驅動下的成本下降

過去,大模型推理成本下降,很大程度要依賴於算力的升級。但縱觀過去一年,推理成本的下降,是在算力沒有升級的情況完成的,包括架構創新、推理優化、系統升級、甚至推理集群計算架構方面等等。

這意味著,除了算力升級外,模型優化本身也有著很大的空間。從目前看,演算法框架革新主要有兩條思路:輕量化和線性化。

其中,輕量化以Mixtral 8*7B模型為代表,其核心思路是採用混合專家模型MoE,架構中基於多個專家並行機制,推理時只激活部分專家,以稀疏性壓縮了參數數量和推理成本。

MoE架構主要由兩個關鍵部分組成:專家網路和門控機制。所謂的「專家網路」,就是傳統Tranformer架構的FFN(前饋網路)層是一個完全連接的神經網路,MoE架構的FFN層則劃分成稀疏性的神經網路,這些被稱之為「專家」的小FFN,每個都有自己的權重和激活函數,它們並行工作、專註於處理特定類型的信息。而門控機制則用來決定每個token被發送到哪個專家網路的調配器。

MoE架構強調「術業有專攻」,把不同的問題交給相應領域的專家來解決,就好比一家公司有多個部門,在做決策的時候,公司的CEO會把具體的問題分配到相關的部門進行討論,最終產生最優的決策。

與輕量化不同,線性化更注重對信息的壓縮。Transformer架構模型在推理時與上下文內容進行逐字對比,而線性化模型對前文信息進行了壓縮,實現了複雜度線性化,意味著更快的推理速度和更低的計算成本。

此次DeepSeek-V2的降價,就是其通過架構創新,實現了大模型成本尤其是推理成本下降的結果。具體來說,DeepSeek-V2在注意力機制和稀疏層方面做出了創新性的設計。

一方面,其稀疏MoE架構進行了共享專家等改進,相比V1的稠密模型,節約了42.5%的訓練成本。另一方面,DeepSeek-V2也創新性地運用先進的注意力機制MLA,壓縮token生成中對key value的緩存,極大降低了推理成本。

長期來看,在算力升級以及架構優化等一系列因素的推動下,模型推理成本下降的速度很有可能超出大家預期,並加速應用層的不斷創新和生態繁榮。

一場成本驅動型生產力革命

從過去看,科技變革本質上都是伴隨著邊際成本的大幅下降。根據A16Z的合伙人Martin Casado的觀點,過去幾十年人類大致經歷了兩次大的科技變革,分別是晶元和互聯網。

在新一波浪潮里,晶元的誕生,將計算的邊際成本降到了趨近為零。在微晶元出現之前,計算是通過手工完成的。人們在大房間里做對數表。然後ENIAC被引入,計算速度提高了四個數量級,然後發生了計算機革命。這一時期出現了IBM惠普等公司。

到了互聯網時代,互聯網技術將分發的邊際成本降到了零。以前無論你發送什麼(一個盒子或者一封信)都需要一定的成本,互聯網出現後,每bit的價格急劇下降。順便說一下,這也是四個數量級改進。這引領了互聯網革命。這一時期出現了亞馬遜谷歌Meta等公司。

與上述兩個技術類似,AI也同樣是一場成本驅動型生產力革命。大模型則是將創造的邊際成本降到了零,比如創建圖像和語言理解等等。

舉個例子,以前創造一個漫畫角色可能需要一個時薪100美元平面設計師,而現在大模型只需要0.01美元,而且只需要一秒鐘。再以客服行業為例,目前普遍的AI客服定價都隱含相比人工客服接近1:10的ROI,這意味著過去在美國一位年薪5萬刀的客服人員,在應用大模型產品後成本會降低到5000刀。

目前受限於模型推理成本較高,AI應用普遍面臨較大的成本壓力。

根據無問芯穹發起人汪玉,用公開數據做了一次針對算力成本數量級的測算,假設GPT-4 Turbo每天要為10億活躍用戶提供服務,每年的算力成本可能超過兩千億,這還不包括模型訓練的投入。

絕大部分公司的收入仍然還在億的級別,因此這種成本在打造商業閉環上,顯然是不成立的。

從這個角度上說,推理成本下降將成為打開AI應用的重要「開關」。更重要的是,過去的科技發展歷史,告訴我們,如果需求具有彈性,那麼隨著成本下降,使用量也會因為可及性提升而答覆增加。

幾乎可以肯定的是,互聯網大幅帶動了全球經濟的增長。而人工智慧大概率也將經歷同樣的故事。

科技分類資訊推薦

7月首款新機官宣:7月3日,正式發布 - 天天要聞

7月首款新機官宣:7月3日,正式發布

大家好!這是屬於我們的時刻!通過各種秘密渠道獲悉,7月3日將迎來一次科技界的巨變。一款備受期待、始料未及的首款新機即將橫空出世!相信你們的心都在狂跳不已,對吧?別急,我來告訴你們一切,使你們更加心潮澎湃!超強性能,攪動市場炫酷外觀,驚艷至極
Counterpoint 發 618 手機戰報:華為同比增42.4%、vivo 增 12.6% - 天天要聞

Counterpoint 發 618 手機戰報:華為同比增42.4%、vivo 增 12.6%

IT之家 6 月 26 日消息,市場調查機構 Counterpoint Research 昨日發布報告,表示 618 購物節期間(2024 年第 21 周至第 24 周),中國智能手機銷量同比增長 6.8%。今年的 618 購物節從 5 月 20 日持續到 6 月 20 日,持續時間比往年更長,IT之家簡要介紹下各家手機廠商的情況如下:華為主要得益於市場對其
上海機場貨郵吞吐中11%是跨境電商貨,「帶電」和美妝類,收運方式有突破 - 天天要聞

上海機場貨郵吞吐中11%是跨境電商貨,「帶電」和美妝類,收運方式有突破

對「帶電」(指含鋰電池的貨物如藍牙耳機等)、美妝等跨境電商貨物,上海機場口岸正式開啟便利化收運方式,以助力貨物高效出口。日前,東航物流CK223航班搭載著70噸跨境電商貨物自浦東機場起飛,前往美國洛杉磯,成為首個享受該便利舉措的航班。隨後,又有卡達航空、長榮航空等中外航司,攜「帶電」貨物陸續出運。中外航...
除塵耐磨彎頭基礎知識 - 天天要聞

除塵耐磨彎頭基礎知識

除塵耐磨彎頭是專為工業除塵系統設計的一種特殊管道配件,其主要特點是具有極高的耐磨性,以適應高磨損環境,如鋼鐵廠、水泥廠和燃煤發電廠的粉塵輸送系統。
一「探」到底,江鈴大道敢探者帶你探秘未知! - 天天要聞

一「探」到底,江鈴大道敢探者帶你探秘未知!

隨著夏日腳步的加快,涼爽的微風和燦爛的陽光為熱衷戶外探險的心靈注入了新的活力。秉持著夏日探險的激情,江鈴大道敢探者,這款傑出的硬核跨界大皮卡,憑藉其卓越的性能和華麗的配置,一經推出,便迅速成為越野愛好者與汽車消費者關注的焦點。