新聞①：分析師稱 chatgpt 每天運行開銷達 70 萬美元，微軟開發自主晶元嘗試降低成本
北京時間 4 月 21 日早間消息，據報道，晶元行業研究公司 semianalysis 首席分析師迪倫・帕特爾（dylan patel）表示，由於 chatgpt 運行在價格昂貴的計算基礎設施之上，openai 每天為運行 chatgpt 投入的成本可能高達 70 萬美元（當前約 481.6 萬元人民幣）。
帕特爾指出，chatgpt 需要龐大的算力，才能基於用戶的輸入信息做出反饋，包括撰寫求職信、生成教學計劃，以及幫助用戶優化個人資料等。他表示：「大部分成本都來自於昂貴的伺服器。」
此外，帕特爾最初的估計基於 openai 的 gpt-3 模型，而在採用最新的 gpt-4 模型之後，chatgpt 現在的運行成本可能更高。
對此，openai 尚未對此做出回應。
帕特爾和 semianalysis 的另一位分析師阿夫扎爾・艾哈邁德（afzal ahmad）表示，此前外界已經注意到，訓練 chatgpt 背後的大語言模型可能要花費上億美元，但運營費用，或者說人工智慧推理的成本，以任何合理的部署規模來看都遠遠超過了訓練成本。他們指出：「事實上，按周來看，chatgpt 的推理成本超過了訓練成本。」
過去幾年，使用 openai 語言模型的公司也一直在承擔高昂的價格。創業公司 latitude 開發了一款基於用戶輸入信息生成故事情節的人工智慧地下城遊戲。該公司首席執行官尼克・沃爾頓（nick walton）表示，運行該模型，以及相應的購買亞馬遜 aws 雲伺服器的費用 2021 年達到每月 20 萬美元（當前約 137.6 萬元人民幣）。因此，沃爾頓最終決定改用 ai21 labs 支持的語言軟體提供商。這幫助他將公司的人工智慧成本降低了一半，至每月 10 萬美元（當前約 68.8 萬元人民幣）。
沃爾頓在接受採訪時表示：「我們會開玩笑說，我們有人類員工和人工智慧員工，在這兩類員工身上花費的成本大致相同。我們每個月在人工智慧上花掉數十萬美元，而且我們也不是一家大型初創公司，所以這是一筆巨大的開支。」
近期有報道稱，為了降低生成式人工智慧模型的運行成本，微軟正在開發一款代號為「雅典娜」的人工智慧晶元。該項目於 2019 年啟動。在此幾年前，微軟與 openai 達成了 10 億美元的投資協議，要求 openai 僅在微軟的 azure 雲伺服器上運行其模型。
微軟啟動這一晶元項目的背後有兩方面思考。知情人士透露，微軟高管意識到，他們在自主晶元開發方面落後於谷歌和亞馬遜。與此同時，微軟正在尋找更便宜的方案去替代英偉達的 gpu 晶元。
目前，微軟大約有 300 多名員工正在開發這款晶元。消息人士稱，該晶元最早可能在明年發布，供微軟和 openai 內部使用。微軟拒絕對此消息置評。
原文鏈接：https://m.ithome.com/html/687915.htm
問為什麼ai取代不了我？因為我更便宜實惠。之前我們也討論過，目前chatgpt還需要昂貴的nvidia專業卡提供支持，而這些顯卡的價格和功耗都是不低的成本。隨著gpt的迭代，可以預見的算力需求和成本也會更高。之前我們也說過，未來如果有企業應用，自然是要構建本地端，本地端的算力需求也不會小，就目前成本來看，還是人工更經濟實惠啊，還能被pua。
新聞②：微軟正在開發定製ai晶元，代號「雅典娜」，更具成本優勢
據the information的一份報告顯示，微軟一直在努力打造用於處理人工智慧（ai）的定製處理器，該項目代號為「雅典娜（athena）」。其基於台積電（tsmc）的5nm工藝製造，旨在加速人工智慧工作負載，並擴展到數百甚至數千個晶元並行運作。
隨著大型語言模型（llm）的蓬勃發展，進行訓練需要增加計算能力，從英偉達等公司處購買大量gpu。像亞馬遜、谷歌或者meta這種超大規模的企業，很早之前就開始為人工智慧訓練設計晶元，不過對於微軟而言，打造定製晶元方面只是剛剛起步。
暫時還不太清楚微軟這款定製ai處理器的具體信息，只知道該項目從2019年就開始了，目前這些晶元已經在微軟和openai的特定員工手中，從事對應的ai項目，以提升算力。有業內人士稱，一旦微軟能夠設計出與英偉達gpu性能相近的晶元，那麼將有明顯的成本優勢，僅為後者的三分之一，這將大幅度節省成本。
據了解，微軟計劃明年更廣泛地部署這些晶元，不過具體時間和項目仍不確定，可以預計的是，azure雲服務將是合理的切入點。此外，微軟並不認為定製ai處理器會全面取代英偉達gpu，兩者都會有適用的應用領域，以更好地發揮各自的優勢。
原文鏈接：https://www.expreview.com/87909.html
不過成本問題想來微軟也早就注意到了，早在2019年微軟就啟動了自研ai晶元的項目，為未來更廣泛的ai應用服務。如果微軟的自研晶元取得成功，那就將擺脫對nvidia的依賴，成本自然也能大幅下降。再往更遠處想一下，未來提供企業級服務時，將會是軟硬體整體的解決方案，自然會有更高的利潤。微軟關於ai晶元的長遠考慮從多年前就已經開始了，希望能有更好的結果。
新聞③：龍芯發布 3d5000 伺服器 cpu：採用自主指令系統龍架構，無需國外授權
2023 中國・鶴壁信息技術自主創新高峰論壇今日正式召開，龍芯中科技術股份有限公司副總裁張戈在論壇上發布了新款高性能伺服器處理器 —— 龍芯 3d5000。
龍芯中科張戈表示，龍芯 3d5000 通過芯粒（chiplet）技術將兩個 3c5000 的矽片封裝在一起，是一款面向伺服器市場的 32 核 cpu 產品。
龍芯 3d5000 內部集成了 32 個高性能 la464 處理器核，頻率 2.0ghz，支持動態頻率及電壓調節；片內集成 64mb 片上 l3 共享緩存以及 8 個 72 位 ddr 3200 內存控制器，支持 ecc 校驗；搭載 5 個 ht 3.0 高速介面，支持自研橋片及雙路、四路 cpu 擴展。
此外，龍芯 3d5000 片內還集成了安全可信模塊工程，spec 2006 分數超過 425，雙精度浮點性能可達 1tflops，是典型 arm 核心性能的 4 倍。
值得一提的是，龍芯 3d5000 採用龍芯自主指令集 loongarch，具備超強算力、性能卓越的特點，且無需國外授權，可滿足通用計算、大型數據中心、雲計算中心的計算需求。龍芯 3d5000 的推出，也標誌著龍芯中科在伺服器 cpu 晶元領域進入國內領先行列。
原文鏈接：https://m.ithome.com/html/685164.htm
值得一提的是，不久前龍芯發布了屬於我們自己的伺服器處理器— 龍芯3d5000。這顆處理器是類似於epyc那種mcm封裝的方式實現的，龍芯將兩顆3c5000處理器封裝在一起實現了32核的規格。從相對性能上來看，3d5000已經達到了主流水平，而且目前曝光出的消息中，3d5000還是在較低頻率上，不知道未來會不會有更高頻率的版本，那樣的話性能還會提升。近來ai技術逐步普及，我們也期待未來我們自研晶元能在這一領域有所建樹，期待龍芯的作為吧！
備註：
文章轉載自網路（鏈接如上）。文章出現的任何圖片，標誌均屬於其合法持有人；本文僅作傳遞信息之用。如有侵權可在本文內留言。
引用文章內容與觀點不代表電腦吧評測室觀點。
