AI行業2024年的宏大敘事:把省錢貫徹到底

2024年04月07日16:45:22 科技 1386


AI領域,曾經是一擲千金的豪賭,如今卻變成了捉襟見肘的較量。當賈揚清點贊華人團隊JetMoE大模型以10萬美元成本媲美數十億美元的LLaMA2時,人們才驚覺:原來AI也可以這麼省錢!而這背後的功臣,正是默默無聞的MoE架構。


MoE,這個曾經被輿論邊緣化的技術,如今卻站在了AI的風口浪尖。人們突然發現,這個看似不起眼的架構,竟能像一把鋒利的劍,直插AI成本的軟肋。它就像一位低調的劍客,在AI江湖中默默修鍊,終於等來了大放異彩的時刻。


AI行業2024年的宏大敘事:把省錢貫徹到底 - 天天要聞

全球AI圈都在為資金短缺而發愁,無論是矽谷巨頭還是中國新秀,都在這場資金大戰中捉襟見肘。大模型就像個「碎鈔機」,讓人望而生畏。而MoE架構的出現,就像一道曙光,照亮了AI企業前行的道路。


MoE架構的神奇之處在於,它能在保證性能的同時,大幅降低訓練和推理成本。開發者可以在巨型模型上橫向擴展,增加參數量,而不需要承擔高昂的成本。同時,MoE架構還可以選擇只啟用部分專家子模型,實現性能與成本的平衡。這種靈活性和可擴展性,讓MoE架構成為了AI企業的救星。


然而,MoE架構並非完美無缺。它的訓練難度很大,尤其是如何保證每個「專家」都能得到充分訓練,這是一個棘手的問題。門控網路的選擇和樣本分配的不平衡,都可能影響模型的訓練效果和最終性能。但即便如此,MoE架構依然是當前AI領域最具潛力的技術之一。


對於國內AI企業而言,MoE架構更是意義非凡。在晶元和資金雙重壓力下,國內企業急需一種能夠降低成本、提高效率的解決方案。而MoE架構正好滿足了這一需求。國內已經有一些企業開始嘗試應用MoE架構,並取得了不錯的進展。MiniMax作為最早發力MoE架構的企業之一,已經獲得了頭部資本的認可和投資。而APUS聯合新旦智能訓練的大模型APUS-xDAN更是宣布即將開源,為行業提供了更多的選擇和可能性。


AI行業2024年的宏大敘事:把省錢貫徹到底 - 天天要聞

當然,並不是所有企業都選擇擁抱MoE架構。有些企業選擇了另一條路:開發小模型。面壁智能發布的端側模型Minicam就是一個例子。他們追求的是更合理的訓練方式,而不是單純的堆模型參數量。這種思路雖然與MoE架構不同,但同樣是為了降低成本、提高效率。


在這場AI省錢大作戰中,MoE架構無疑成為了最耀眼的明星。它以其獨特的優勢和潛力,為AI企業帶來了新的希望和機遇。但同時,我們也應該清醒地認識到,MoE架構並非萬能的解決方案。它也有自己的局限性和挑戰。未來,我們還需要不斷探索和創新,尋找更多適合AI發展的技術和路徑。

科技分類資訊推薦

探秘vivo影像之美,與X系列技術溝通會共同見證卓越藍圖 - 天天要聞

探秘vivo影像之美,與X系列技術溝通會共同見證卓越藍圖

前段時間的vivo X系列新品發布讓我們記憶深刻,而剛剛結束結束的「影像新藍圖X系列技術溝通會」也十分精彩,這次溝通會不僅告訴了大家vivo在影像領域的最新成果,也讓粉絲們對vivo影像背後的故事有更多了解,在vivo影像的發展歷程中可以分成兩方面,一方面,vivo通過自主研發,不斷提升自身的影像技術實力,另一方面,vivo...
華為再次亮劍,鴻蒙系統亮點多多 - 天天要聞

華為再次亮劍,鴻蒙系統亮點多多

5月15日,華為夏季全場景新品發布會簡直是一場視覺與科技的盛宴,看得我熱血沸騰!不得不說,華為這次真的是大招頻出,新品多到讓人眼花繚亂!先說說那個華為MatePad 11.5 」 S吧,一亮相就讓人眼前一亮!它的設計簡約而不失時尚,屏幕清晰得讓人彷彿置身其中。
【新機】升級了個寂寞?藍廠新機發布 - 天天要聞

【新機】升級了個寂寞?藍廠新機發布

昨天晚上藍廠發布了新機iQOO Neo9s Pro,機子採用了6.78英寸1.5K 8T LTPO直面屏,支持144Hz刷新率。搭載天璣9300+,前置1600萬像素,後置IMX920主攝+5000萬超廣角。電池容量5160mAh,支持120W快充。新增白色版本,用上了白色玻璃後蓋,顏值確實提升了不少。不過還是塑料中框+短焦指紋。12+256GB 2699元
AI Agent在哪些行業領域會產生影響? - 天天要聞

AI Agent在哪些行業領域會產生影響?

在如今飛速前進的科技浪潮中,人工智慧(AI)技術的創新正以前所未有的速度重塑我們的生活和工作的每一個角落。在這一浪潮中,Agent AI智能體以其卓越的能力脫穎而出,它通過模擬人類智能行為,能夠勝任一系列複雜任務,並在多個領域展現出了其無法替代的價值。
續航王者vivo Y200系列掀起購機狂潮,618購機可享多重福利優惠 - 天天要聞

續航王者vivo Y200系列掀起購機狂潮,618購機可享多重福利優惠

智能手機的選擇五花八門,但有一條賽道被vivo獨佔,那就是長續航。剛剛發布的vivo Y200系列憑藉其超長的續航能力和輕薄的設計,一經推出便受到廣大用戶的關注和好評,徹底改變了行業續航的基準線。如今Y200系列新品已正式開啟預售及首銷,期間購機可享多重福利優惠。
【現場】人工關節集采續約開標:企業代表「不緊張」,多家報價壓線進 - 天天要聞

【現場】人工關節集采續約開標:企業代表「不緊張」,多家報價壓線進

界面新聞記者 | 唐卓雅界面新聞編輯 | 謝欣5月21日,國家組織人工關節集中帶量採購協議期滿接續採購(下稱「人工關節續采」)在天津東麗湖恆大酒店國際會議中心開標。此次續標的產品範圍與2021年的首輪集采相同,包括髖關節(陶瓷-陶瓷類、陶瓷-聚乙烯類和合金-聚乙烯類)和膝關節,採購周期由兩年延長為三年,採購需求量為...
產品經理談一談:水果店應該怎麼開 - 天天要聞

產品經理談一談:水果店應該怎麼開

這幾年,不少人都計劃著整個副業,或者以後被畢業了去做什麼。有準備擺攤的,有準備開咖啡店開書店的,也有人準備開水果店的。只是工作這麼久了,相關的經驗能否平移過去?如果用產品思維來看,我們做一個店面,需要怎麼做呢?