劃重點
騰訊科技訊 5月11日消息，據國外媒體報道，在追求開發能像人類一樣交流的人工智能的競賽中，openai又有了新動作。該公司準備揭示一種全新的人機對話技術，該技術能同時使用聲音和文本，並具備識別物體和圖像的能力。據兩位有幸目睹這款新型人工智能的人士披露，chatgpt的開發團隊已經向特定客戶展示了其部分功能，其中包括比現有產品更為出色的邏輯推理能力。
這一技術成果是openai首席執行官山姆·奧特曼（sam altman）宏偉願景中的又一重要進化。他的最終目標是開發出一種類似於斯派克·瓊斯（spike jones）執導的電影《她》（her）中的虛擬助手那樣的先進人工智能，並努力使現有的語音助手，如蘋果的siri，變得更加實用和智能。
據一位內部消息人士透露，openai可能最早在下周一的一次公開活動中預覽這款升級後的人工智能。這一時間比谷歌i/o開發者大會早一天，此舉意在搶在谷歌發佈一系列人工智能產品之前，佔據市場先機。
openai認為，具備視覺和音頻功能的智能助手有可能像智能手機一樣，引發一場科技革命。從理論上講，這樣的助手將能勝任許多目前難以想像的任務，例如擔任學生撰寫論文或解決數學問題的導師，或在人們需要時提供周圍環境的信息，如翻譯路標或解釋如何修理汽車故障等。
由於這項新技術的規模龐大，目前還無法在個人設備上運行。然而，在不久的將來，客戶將能夠通過雲端的版本來改進openai軟件已有的功能，例如自動客戶服務代理。據一位知情人士透露，新軟件的音頻功能將幫助這些代理更好地理解呼叫者的語氣，甚至能察覺到他們在提出要求時是否帶有諷刺意味。
openai已經開發出可以轉錄音頻和將文本轉換為語音的軟件，但這些功能是通過獨立的會話ai模型實現的。而新模型則將這些功能融為一體，從而使得新的多模態模型在理解圖像和音頻方面表現更佳，並且相比功能較弱的模型，使用起來更為迅捷。
作為openai的最大資助者，微軟有權自由使用openai的技術。微軟可以利用openai的新型人工智能來改進自家的語音助手，或者嘗試將其縮小規模，以便在小型設備上運行，這包括帶有前置攝像頭的可穿戴設備，這些設備能夠捕捉客戶周圍的環境信息。
目前尚不清楚openai何時會向付費用戶提供這些新功能。但據一位使用過聊天機械人chatgpt的人士表示，openai最終計劃將這些功能整合到其聊天機械人的免費版本中。該人士還透露，openai的目標是使支持這些功能的新型ai模型比該公司目前銷售的最先進的gpt-4 turbo更為經濟實惠。在回答某些類型的問題時，新模型的表現甚至已經超越了gpt-4 turbo。然而，值得注意的是，新模型仍然會犯下錯誤，即出現所謂的「幻覺」現象。
gpt-5年底前發佈？
與此同時，谷歌的高管們也懷揣着利用人工智能開發卓越助手的宏偉願景。去年12月，谷歌展示了其對話式人工智能gemini的視頻，它能實時響應語音指令，並識別出人們正在注視的圖像。然而，隨後該公司澄清，這些高級功能實際上需要研究人員使用圖像和文本進行模型提示，而非視頻演示中展示的簡單對話。
此外，除了圖像和文本處理，gemini雖然增添了音頻分析能力，但它在理解許多傳統語音命令上仍有局限，也無法像siri或谷歌助手（google assistant）等傳統語音助手那樣流暢地與用戶交流。
openai同樣在奮力前行，以保持其相對於meta等競爭對手的領先地位。今年4月，meta發佈了開源人工智能模型llama 3，其性能超越了當前許多會話式人工智能模型，並贏得了人工智能應用開發者的廣泛讚譽。
openai即將推出的這款具備音頻和視覺功能的新模型，只是其眾多研發項目中的冰山一角。外媒消息稱，該公司正致力於開發一款與谷歌競爭的網絡搜索引擎，並研發名為計算機使用代理的自動化軟件，旨在加速軟件開發及其他基於計算機的任務。此外，儘管尚未公開，但openai已經發佈了人工智能視頻生成器sora的預覽版本，這一創新在好萊塢引起了巨大轟動。
尤為引人注目的是，openai正全力以赴開發gpt-5，並期望它能比一年多前發佈的gpt-4實現重大飛躍。據與openai高層有過深入討論的人士透露，該公司有望在年底前完成gpt-5的訓練並公之於眾。
openai的產品和人工智能模型開發速度相當快，這導致了一些先前宣布的項目並未得到足夠的關注。例如，儘管openai曾向開發者承諾，到今年第一季度，他們能夠通過為其商店開發定製聊天機械人來實現盈利，但至今該公司尚未推出具體的實施方案。
然而，提升視覺和音頻功能有望助力openai在數百萬乃至數十億台蘋果設備上運行其對話式人工智能。近幾個月來，蘋果與openai就下一代iphone操作系統如何整合openai的模型進行了深入探討。然而，這位chatgpt的製造者面臨著激烈的競爭，蘋果同時也在與谷歌進行類似的談判。
據悉，openai的ceo山姆·奧特曼（sam altman）還與知名iphone設計師喬尼·艾維（jony ive）攜手合作，共同研發一款人工智能消費設備。這款設備有望從艾默生集團和thrive capital等投資者那裡籌集高達10億美元的資金。這一舉措意味着，奧特曼將加入大型科技公司和初創企業的行列，競相發佈人工智能設備和可穿戴設備。
然而，目前最先進的人工智能模型由於體積龐大，必須在雲端運行，並依賴互聯網連接才能正常工作。因此，開發具備複雜視覺和音頻功能的對話式人工智能可能需要數月甚至數年的時間，才能將其縮小到足以在設備上運行的尺寸。
分級定價策略
據一位與openai高管密切交流的人士透露，openai今年有望創造數十億美元收入，該公司正計劃推出一種全新的定價模式。若客戶選擇預付費預訂token（用於大語言模型處理或生成的單詞），該公司將提供高達50%的折扣。
目前，openai主要採取按需定價策略，其大語言模型每生成百萬token的費用在幾美分至120美元不等，而一些大型客戶則能享受到批量折扣的優惠。提前付款以獲取折扣的策略在雲計算領域已相當普遍，如微軟azure、谷歌雲和亞馬遜aws的客戶，均能通過提前預訂服務器容量來顯著降低成本。
通過引入更靈活的定價機制，openai旨在與其他模型開發商以及旨在協助開發者以更低成本運行開源模型的初創公司展開更有力的競爭。這些初創公司，通常被稱為人工智能服務器經銷商或推理服務提供商，他們對成本效率的重視有時會導致他們以越來越低的價格提供同樣的大模型服務，有時甚至低於成本價。
為了進一步幫助開發者降低成本，openai已通過批處理api（batch api）為開發者提供了一種經濟高效的解決方案。這是openai在4月份推出的一種應用程序編程接口，允許開發者批量上傳模型查詢，並在願意等待長達24小時響應的前提下，享受更為優惠的價格。而像together ai和anyscale這樣的人工智能服務器經銷商則聲稱，在他們的平台上運行開源模型比使用openai的模型要便宜六倍之多。（編譯/金鹿）
