實測百度「文心一言」,4次迭代後還是翻車了?

2023年05月10日19:09:22 財經 7643

5月4日,百度創始人、董事長兼首席執行官李彥宏在內部活動演講環節表示,算力是可以買來的,創新能力是買不來的,需要自建。但目前來看,國產AI還沒有能得到廣泛認可的產品真正跑出來。


出品 | 微果醬(wjam123456)

作者 | 陳出木


在李彥宏近期的發言中,他提到,文心一言內測一個多月,完成4次大的技術升級,大模型推理成本降到原來的十分之一,或者說推理性能提升近10倍。「當別人剛剛開始思考如何進行訓練的時候,我們已經在推理上衝出了很遠。」

實測百度「文心一言」,4次迭代後還是翻車了? - 天天要聞

這十分自信里,不知道產品體驗能占幾分?

相較於Bing(必應)突然全面開放,文心一言現在仍然處於內測階段,此前申請過內測資格的小夥伴們正在排隊體驗,如果申請成功將收到短訊通知。

實測百度「文心一言」,4次迭代後還是翻車了? - 天天要聞

文心一言的界面和Bing是相似的,不過對於AI小白來說,文心一言的對話框還提供了快捷插入提問模板的功能,只需要輸入「/」即可獲取寫報告、畫畫、查知識的提問模板。

實測百度「文心一言」,4次迭代後還是翻車了? - 天天要聞

那麼,文心一言和Bing相比如何呢?果醬妹替大家測試了一下~


01#

中文理解

鑒於文心一言宣稱自己「擅長中文」,果醬妹向它提問了一個經典的中文腦筋急轉彎——能否把大象放進冰箱。但文心一言的腦筋似乎並不能很好地「轉彎」,回答認為大象不能放進冰箱。

經過進一步引導,將問題修改為更常規的謎面「把大象放進冰箱需要幾步」,文心一言才能給出果醬妹想要的答案,同時彷彿沒有意識到這是個腦筋急轉彎,不忘提醒要「充分考慮大象的福祉」。

實測百度「文心一言」,4次迭代後還是翻車了? - 天天要聞

果醬妹也問了Bing同樣的問題,它卻能識別出「這是一個著名的連環謎語」,並不需要引導就可以準確給出提問者真正想知道的答案。

實測百度「文心一言」,4次迭代後還是翻車了? - 天天要聞

腦筋轉不了彎沒關係,那麼作為中文寫作的輔助工具,文心一言的表現如何呢?

果醬妹將體驗文心一言的選題任務交給了它,直接生成的文章近似於初中生寫作水平,但遣詞造句顯得生硬,需要後期進行人工優化。

實測百度「文心一言」,4次迭代後還是翻車了? - 天天要聞

而面對果醬妹提出的細化要求,文心一言展現了簡單在原文章中加了一段的偷懶操作。

實測百度「文心一言」,4次迭代後還是翻車了? - 天天要聞

直到果醬妹質疑其不懂「細化」,文心一言開始出現聽懂命令但「婉拒」作答的情況——我理解細化但不想干,輸出的還是原文。

實測百度「文心一言」,4次迭代後還是翻車了? - 天天要聞

相比閃現反骨的文心一言,Bing更像是在乖巧中透着敷衍。面對寫文章的要求,Bing總是會先推薦相關閱讀文章,不打算接茬寫稿,等到提問者進一步要求,它會在認真交互一輪之後給出一篇不太及格的短文。

實測百度「文心一言」,4次迭代後還是翻車了? - 天天要聞

可見,兩者對於文字工作都只能做到匯總網絡資料的程度,更進一步則還是得依靠人類進行編排和串聯。而再細看會發現,文心一言生成的文章比Bing生成的文章會多一些連接詞和過渡句,更加符合中文創作習慣。

這一點在果醬妹讓兩者用「天氣真好」作一首藏頭詩時也有所體現。

Bing顯然不太能理解「藏頭詩」,給出的結果差強人意,只是反手給了一個可用的「藏頭詩在線生成器」鏈接。

實測百度「文心一言」,4次迭代後還是翻車了? - 天天要聞

而文心一言在傳統文化領域基本完勝,輕鬆生成符合要求的藏頭詩。

實測百度「文心一言」,4次迭代後還是翻車了? - 天天要聞


02#

信息檢索

作為都是接入了AI的搜索引擎,對於普通用戶來說,信息檢索或許是用得最多的功能。這就要求AI輸出的回答必須是準確的,否則其他功能玩得再花也難以獲得大眾的青睞。

在測試過程中,對於確定的信息,諸如某本書的作者、某個名人的生日等,文心一言和Bing都可以輕鬆駕馭。但如果提問最近的新聞或網絡熱梗等,兩位AI都可能會給出錯誤的答案。

比如關於「GPT-5什麼時候發佈」這個問題,此前有諸多媒體報道將在今年發佈,實際上OpenAI的創始人在前幾天對此作了闢謠。

而顯然,文心一言只注意到此前的信息,忽略了最新的內容。

實測百度「文心一言」,4次迭代後還是翻車了? - 天天要聞

Bing也犯了同樣的錯誤。

實測百度「文心一言」,4次迭代後還是翻車了? - 天天要聞


03#

AI繪畫

在這個環節的測試中,果醬妹讓文心一言和Bing分別畫畫:

畫一幅畫:一位扎着馬尾辮的美少女在陽光下奔跑,二次元畫風,色彩豐富,展現出快樂、自由的感覺,穿着白色背心、黃色短褲、白色運動鞋

Bing首先表示自己不能畫畫,但可以提供找靈感的渠道以及網絡圖片集合。就提供的圖片搜索結果來看,和果醬妹提出的要求屬實差得有點遠。

實測百度「文心一言」,4次迭代後還是翻車了? - 天天要聞

而有AI繪畫平台文心一格支撐着的文心一言,在經過幾輪交互、引導之後,能給出一張滿足部分要求的畫作。過程中,文心一言出現的較大缺陷集中在AI一直難以駕馭的手部和眼睛細節。

實測百度「文心一言」,4次迭代後還是翻車了? - 天天要聞


04#

解答數學題

果醬妹找了幾道數學題給兩個AI試手,結果半斤八兩,稍稍需要邏輯能力的題目基本都無法解答。

文心一言屬於一本正經胡說八道型,一堆數學符號之後得出錯誤答案。

實測百度「文心一言」,4次迭代後還是翻車了? - 天天要聞

在投餵了正確答案之後,文心一言通過錯誤的算式強行得出既定答案。無論果醬妹如何質疑,文心一言都保持着禮貌但瞎說的解題態度。

實測百度「文心一言」,4次迭代後還是翻車了? - 天天要聞

Bing則屬於碰運氣的差生,同樣的題目首次解答錯誤,在得到答案之後就順利地推導出了過程。

實測百度「文心一言」,4次迭代後還是翻車了? - 天天要聞

但當果醬妹興緻勃勃地提問了更難的題目之後,Bing便招架不住了,也出現了強行推導既定答案的情況。根據其底部出現的來源,果醬妹猜測是因為Bing沒有組卷網的會員,所以沒辦法輸出正確答案。(這一刻簡直能與AI共情)


05#

寫在最後

經過對文心一言和Bing的不完全測試,大家會發現,兩者仍然存在差距,但差距並沒有大家想像的那般如鴻溝。

目前AI普遍做不來的任務,文心一言和Bing都無法解決。而在AI的功能舒適區中,文心一言的交互會讓你感受到AI的生硬感,Bing的應答則更加流暢。

但作為一款工具,實用性應該在第一位。兩者都屬於接入AI的搜索引擎範疇,最關鍵的是能夠解決用戶提出的問題。就目前來看,完全依賴AI作答,以替代人工檢索,暫時還不能夠實現,如果只是作為工作輔助,它們確實已經展現出一定優勢。

可以說,經過一個多月的內測,文心一言有了更多的語料投喂,確實表現出了成長的效果。但其優勢如果只有對中文的理解,普通大眾很難放棄同樣支持中文且經過更長時間訓練的Bing。

不過,現在下定論仍然過早,文心一言還在發展初期,讓我們期待其正式開放那天,看看是否如李彥宏所說完成了國產AI的自建。而退一萬步說,比起Bing,文心一言的最大優勢應該是不需要科學上網吧。

財經分類資訊推薦

華電能源2024年扭虧為盈,扣非凈利潤仍陷虧損泥潭 - 天天要聞

華電能源2024年扭虧為盈,扣非凈利潤仍陷虧損泥潭

2025年5月5日,華電能源發佈2024年年報。報告顯示,公司2024年實現營業總收入181.51億元,同比下降3.68%;歸屬凈利潤1.66億元,同比增長281.93%,成功扭虧為盈。然而,扣非凈利潤仍為-1.497億元,儘管同比增長69.92%,但虧損問題依然嚴峻。華電能源作為一家以電力、熱力生產和銷售為主的企業,近年來在能源保供、提質增效和...
國脈科技2024年凈利潤飆升61.41%,但毛利潤下滑引關注 - 天天要聞

國脈科技2024年凈利潤飆升61.41%,但毛利潤下滑引關注

2025年5月4日,國脈科技發佈了2024年年報,數據顯示公司實現營業總收入5.49億元,同比增長3.15%;歸屬凈利潤1.69億元,同比增長61.41%,創歷史新高。然而,毛利潤從2023年的2.52億元下降至2.17億元,顯示出公司在成本控制方面存在一定問題。儘管凈利潤表現亮眼,但毛利潤的下滑值得警惕。凈利潤創新高,但毛利潤下滑2024年...
德龍匯能2024年業績大幅回升,凈利潤扭虧為盈 - 天天要聞

德龍匯能2024年業績大幅回升,凈利潤扭虧為盈

2025年5月4日,德龍匯能發佈了2024年年報。報告顯示,公司營業總收入達到17.37億元,同比增長8.53%;歸屬凈利潤為0.19億元,同比增長107.89%,成功扭虧為盈;扣非凈利潤為1129.93萬元,同比增長104.54%。公司通過深耕城市燃氣業務,拓展新能源領域,實現了業績的顯著增長。城市燃氣業務穩步擴張德龍匯能的核心業務城市燃氣...
東方環宇2024年營收增長20%,凈利潤微增0.04%,天然氣銷售成亮點 - 天天要聞

東方環宇2024年營收增長20%,凈利潤微增0.04%,天然氣銷售成亮點

2025年5月4日,東方環宇發佈2024年年報。報告顯示,公司實現營業總收入14.44億元,同比增長20.00%;歸屬於上市公司股東的凈利潤為1.97億元,同比微增0.04%;扣除非經常性損益後的凈利潤為1.82億元,同比增長2.13%。儘管營收增長顯著,但凈利潤增速明顯放緩,顯示出公司在成本控制和盈利能力方面面臨挑戰。營收增長顯著,但...
諾邦股份2024年財報:高端產品與品牌戰略雙輪驅動,凈利潤增長15.22% - 天天要聞

諾邦股份2024年財報:高端產品與品牌戰略雙輪驅動,凈利潤增長15.22%

5月5日,諾邦股份發佈2024年年報,公司全年實現營業總收入22.37億元,同比增長16.80%;歸屬於母公司所有者的凈利潤為0.95億元,同比增長15.22%。在全球經濟復蘇和國內政策利好的背景下,諾邦股份通過高端產品開發和品牌戰略,成功避開了行業內的價格戰,實現了穩健增長。然而,儘管整體表現亮眼,公司在凈利潤滾動環比增長...
山西焦化2024年財報:營收利潤雙降,焦炭市場低迷拖累業績 - 天天要聞

山西焦化2024年財報:營收利潤雙降,焦炭市場低迷拖累業績

2025年5月5日,山西焦化發佈2024年年報,全年實現營業總收入75.07億元,同比下降14.20%;歸屬凈利潤2.63億元,同比驟降79.37%。扣非凈利潤為2.39億元,同比下降81.24%。儘管公司在安全生產、環保管控等方面取得一定進展,但焦炭市場需求疲軟、價格下滑等因素導致業績大幅下滑,經營現金流凈額更是錄得-20.67億元,凸顯公司...
勝通能源2024年財報:營收增長但凈利潤持續虧損,LNG業務面臨挑戰 - 天天要聞

勝通能源2024年財報:營收增長但凈利潤持續虧損,LNG業務面臨挑戰

2025年5月4日,勝通能源發佈了2024年年報。報告顯示,公司全年營業總收入為53.48億元,同比增長11.32%;毛利潤為3116.26萬元,較上一年度扭虧為盈;歸屬凈利潤為-1700萬元,同比減少虧損57.29%;扣非凈利潤為-1795.09萬元,同比減少虧損60.68%。儘管營收有所增長,但公司仍處於凈虧損狀態,且凈利潤的滾動環比增長率為-144..
寶蘭德2024年財報:營收下滑7.18%,凈利潤暴跌504.43% - 天天要聞

寶蘭德2024年財報:營收下滑7.18%,凈利潤暴跌504.43%

2025年5月4日,寶蘭德公司發佈了2024年年報。數據顯示,公司2024年營業總收入為2.83億元,同比下降7.18%;歸屬凈利潤為-0.59億元,同比暴跌504.43%。儘管公司在人工智能領域取得了一些突破,但整體業績表現令人擔憂,尤其是凈利潤的持續下滑,暴露出公司在成本控制和盈利能力上的嚴重問題。營收與利潤雙降,盈利能力堪憂寶...
美關稅政策搞亂自家企業 多家美國公司暫停發佈盈利預測 - 天天要聞

美關稅政策搞亂自家企業 多家美國公司暫停發佈盈利預測

據美國有線電視新聞網當地時間5月4日報道,由於美國近期關稅政策反覆無常,全球多家大型車企推遲或暫停發佈盈利預測。報道稱,車企巨頭斯泰蘭蒂斯集團4月30日發佈報告表示,由於「不斷變化的」關稅政策帶來的影響,該集團暫停發佈2025年的盈利增長預
螺紋鋼 | 需求旺季尾聲將至,螺紋鋼價格震蕩承壓前行 - 天天要聞

螺紋鋼 | 需求旺季尾聲將至,螺紋鋼價格震蕩承壓前行

板塊導讀觀察上周黑色系列市場行情,供應端持續寬鬆態勢明顯,鋼廠開工率延續上升趨勢,鐵水產量創出新高,反映出生產端保持強勁動能,整個黑色系列走勢較弱,需重點關注減產政策的落地情況以及需求端的實際變化程度,這兩大因素將決定市場的運行方向。