实测百度“文心一言”,4次迭代后还是翻车了?

2023年05月10日19:09:22 财经 7643

5月4日,百度创始人、董事长兼首席执行官李彦宏在内部活动演讲环节表示,算力是可以买来的,创新能力是买不来的,需要自建。但目前来看,国产AI还没有能得到广泛认可的产品真正跑出来。


出品 | 微果酱(wjam123456)

作者 | 陈出木


在李彦宏近期的发言中,他提到,文心一言内测一个多月,完成4次大的技术升级,大模型推理成本降到原来的十分之一,或者说推理性能提升近10倍。“当别人刚刚开始思考如何进行训练的时候,我们已经在推理上冲出了很远。”

实测百度“文心一言”,4次迭代后还是翻车了? - 天天要闻

这十分自信里,不知道产品体验能占几分?

相较于Bing(必应)突然全面开放,文心一言现在仍然处于内测阶段,此前申请过内测资格的小伙伴们正在排队体验,如果申请成功将收到短信通知。

实测百度“文心一言”,4次迭代后还是翻车了? - 天天要闻

文心一言的界面和Bing是相似的,不过对于AI小白来说,文心一言的对话框还提供了快捷插入提问模板的功能,只需要输入“/”即可获取写报告、画画、查知识的提问模板。

实测百度“文心一言”,4次迭代后还是翻车了? - 天天要闻

那么,文心一言和Bing相比如何呢?果酱妹替大家测试了一下~


01#

中文理解

鉴于文心一言宣称自己“擅长中文”,果酱妹向它提问了一个经典的中文脑筋急转弯——能否把大象放进冰箱。但文心一言的脑筋似乎并不能很好地“转弯”,回答认为大象不能放进冰箱。

经过进一步引导,将问题修改为更常规的谜面“把大象放进冰箱需要几步”,文心一言才能给出果酱妹想要的答案,同时仿佛没有意识到这是个脑筋急转弯,不忘提醒要“充分考虑大象的福祉”。

实测百度“文心一言”,4次迭代后还是翻车了? - 天天要闻

果酱妹也问了Bing同样的问题,它却能识别出“这是一个著名的连环谜语”,并不需要引导就可以准确给出提问者真正想知道的答案。

实测百度“文心一言”,4次迭代后还是翻车了? - 天天要闻

脑筋转不了弯没关系,那么作为中文写作的辅助工具,文心一言的表现如何呢?

果酱妹将体验文心一言的选题任务交给了它,直接生成的文章近似于初中生写作水平,但遣词造句显得生硬,需要后期进行人工优化。

实测百度“文心一言”,4次迭代后还是翻车了? - 天天要闻

而面对果酱妹提出的细化要求,文心一言展现了简单在原文章中加了一段的偷懒操作。

实测百度“文心一言”,4次迭代后还是翻车了? - 天天要闻

直到果酱妹质疑其不懂“细化”,文心一言开始出现听懂命令但“婉拒”作答的情况——我理解细化但不想干,输出的还是原文。

实测百度“文心一言”,4次迭代后还是翻车了? - 天天要闻

相比闪现反骨的文心一言,Bing更像是在乖巧中透着敷衍。面对写文章的要求,Bing总是会先推荐相关阅读文章,不打算接茬写稿,等到提问者进一步要求,它会在认真交互一轮之后给出一篇不太及格的短文。

实测百度“文心一言”,4次迭代后还是翻车了? - 天天要闻

可见,两者对于文字工作都只能做到汇总网络资料的程度,更进一步则还是得依靠人类进行编排和串联。而再细看会发现,文心一言生成的文章比Bing生成的文章会多一些连接词和过渡句,更加符合中文创作习惯。

这一点在果酱妹让两者用“天气真好”作一首藏头诗时也有所体现。

Bing显然不太能理解“藏头诗”,给出的结果差强人意,只是反手给了一个可用的“藏头诗在线生成器”链接。

实测百度“文心一言”,4次迭代后还是翻车了? - 天天要闻

而文心一言在传统文化领域基本完胜,轻松生成符合要求的藏头诗。

实测百度“文心一言”,4次迭代后还是翻车了? - 天天要闻


02#

信息检索

作为都是接入了AI的搜索引擎,对于普通用户来说,信息检索或许是用得最多的功能。这就要求AI输出的回答必须是准确的,否则其他功能玩得再花也难以获得大众的青睐。

在测试过程中,对于确定的信息,诸如某本书的作者、某个名人的生日等,文心一言和Bing都可以轻松驾驭。但如果提问最近的新闻或网络热梗等,两位AI都可能会给出错误的答案。

比如关于“GPT-5什么时候发布”这个问题,此前有诸多媒体报道将在今年发布,实际上OpenAI的创始人在前几天对此作了辟谣。

而显然,文心一言只注意到此前的信息,忽略了最新的内容。

实测百度“文心一言”,4次迭代后还是翻车了? - 天天要闻

Bing也犯了同样的错误。

实测百度“文心一言”,4次迭代后还是翻车了? - 天天要闻


03#

AI绘画

在这个环节的测试中,果酱妹让文心一言和Bing分别画画:

画一幅画:一位扎着马尾辫的美少女在阳光下奔跑,二次元画风,色彩丰富,展现出快乐、自由的感觉,穿着白色背心、黄色短裤、白色运动鞋

Bing首先表示自己不能画画,但可以提供找灵感的渠道以及网络图片集合。就提供的图片搜索结果来看,和果酱妹提出的要求属实差得有点远。

实测百度“文心一言”,4次迭代后还是翻车了? - 天天要闻

而有AI绘画平台文心一格支撑着的文心一言,在经过几轮交互、引导之后,能给出一张满足部分要求的画作。过程中,文心一言出现的较大缺陷集中在AI一直难以驾驭的手部和眼睛细节。

实测百度“文心一言”,4次迭代后还是翻车了? - 天天要闻


04#

解答数学题

果酱妹找了几道数学题给两个AI试手,结果半斤八两,稍稍需要逻辑能力的题目基本都无法解答。

文心一言属于一本正经胡说八道型,一堆数学符号之后得出错误答案。

实测百度“文心一言”,4次迭代后还是翻车了? - 天天要闻

在投喂了正确答案之后,文心一言通过错误的算式强行得出既定答案。无论果酱妹如何质疑,文心一言都保持着礼貌但瞎说的解题态度。

实测百度“文心一言”,4次迭代后还是翻车了? - 天天要闻

Bing则属于碰运气的差生,同样的题目首次解答错误,在得到答案之后就顺利地推导出了过程。

实测百度“文心一言”,4次迭代后还是翻车了? - 天天要闻

但当果酱妹兴致勃勃地提问了更难的题目之后,Bing便招架不住了,也出现了强行推导既定答案的情况。根据其底部出现的来源,果酱妹猜测是因为Bing没有组卷网的会员,所以没办法输出正确答案。(这一刻简直能与AI共情)


05#

写在最后

经过对文心一言和Bing的不完全测试,大家会发现,两者仍然存在差距,但差距并没有大家想象的那般如鸿沟。

目前AI普遍做不来的任务,文心一言和Bing都无法解决。而在AI的功能舒适区中,文心一言的交互会让你感受到AI的生硬感,Bing的应答则更加流畅。

但作为一款工具,实用性应该在第一位。两者都属于接入AI的搜索引擎范畴,最关键的是能够解决用户提出的问题。就目前来看,完全依赖AI作答,以替代人工检索,暂时还不能够实现,如果只是作为工作辅助,它们确实已经展现出一定优势。

可以说,经过一个多月的内测,文心一言有了更多的语料投喂,确实表现出了成长的效果。但其优势如果只有对中文的理解,普通大众很难放弃同样支持中文且经过更长时间训练的Bing。

不过,现在下定论仍然过早,文心一言还在发展初期,让我们期待其正式开放那天,看看是否如李彦宏所说完成了国产AI的自建。而退一万步说,比起Bing,文心一言的最大优势应该是不需要科学上网吧。

财经分类资讯推荐

假期七大消息,明天谁领涨? - 天天要闻

假期七大消息,明天谁领涨?

这个节日终于要结束了,A股明天就要开盘迎客,你激不激动?主要原因就是外围股市普遍大涨,港股上周五提前复盘也是大涨,A股明天会大涨吗?现在重点还是要看今天的港股和晚间的美股,只要不出现特殊的意外,明天的红包应该是稳了!
华电能源2024年扭亏为盈,扣非净利润仍陷亏损泥潭 - 天天要闻

华电能源2024年扭亏为盈,扣非净利润仍陷亏损泥潭

2025年5月5日,华电能源发布2024年年报。报告显示,公司2024年实现营业总收入181.51亿元,同比下降3.68%;归属净利润1.66亿元,同比增长281.93%,成功扭亏为盈。然而,扣非净利润仍为-1.497亿元,尽管同比增长69.92%,但亏损问题依然严峻。华电能源作为一家以电力、热力生产和销售为主的企业,近年来在能源保供、提质增效和...
国脉科技2024年净利润飙升61.41%,但毛利润下滑引关注 - 天天要闻

国脉科技2024年净利润飙升61.41%,但毛利润下滑引关注

2025年5月4日,国脉科技发布了2024年年报,数据显示公司实现营业总收入5.49亿元,同比增长3.15%;归属净利润1.69亿元,同比增长61.41%,创历史新高。然而,毛利润从2023年的2.52亿元下降至2.17亿元,显示出公司在成本控制方面存在一定问题。尽管净利润表现亮眼,但毛利润的下滑值得警惕。净利润创新高,但毛利润下滑2024年...
德龙汇能2024年业绩大幅回升,净利润扭亏为盈 - 天天要闻

德龙汇能2024年业绩大幅回升,净利润扭亏为盈

2025年5月4日,德龙汇能发布了2024年年报。报告显示,公司营业总收入达到17.37亿元,同比增长8.53%;归属净利润为0.19亿元,同比增长107.89%,成功扭亏为盈;扣非净利润为1129.93万元,同比增长104.54%。公司通过深耕城市燃气业务,拓展新能源领域,实现了业绩的显著增长。城市燃气业务稳步扩张德龙汇能的核心业务城市燃气...
东方环宇2024年营收增长20%,净利润微增0.04%,天然气销售成亮点 - 天天要闻

东方环宇2024年营收增长20%,净利润微增0.04%,天然气销售成亮点

2025年5月4日,东方环宇发布2024年年报。报告显示,公司实现营业总收入14.44亿元,同比增长20.00%;归属于上市公司股东的净利润为1.97亿元,同比微增0.04%;扣除非经常性损益后的净利润为1.82亿元,同比增长2.13%。尽管营收增长显著,但净利润增速明显放缓,显示出公司在成本控制和盈利能力方面面临挑战。营收增长显著,但...
诺邦股份2024年财报:高端产品与品牌战略双轮驱动,净利润增长15.22% - 天天要闻

诺邦股份2024年财报:高端产品与品牌战略双轮驱动,净利润增长15.22%

5月5日,诺邦股份发布2024年年报,公司全年实现营业总收入22.37亿元,同比增长16.80%;归属于母公司所有者的净利润为0.95亿元,同比增长15.22%。在全球经济复苏和国内政策利好的背景下,诺邦股份通过高端产品开发和品牌战略,成功避开了行业内的价格战,实现了稳健增长。然而,尽管整体表现亮眼,公司在净利润滚动环比增长...
山西焦化2024年财报:营收利润双降,焦炭市场低迷拖累业绩 - 天天要闻

山西焦化2024年财报:营收利润双降,焦炭市场低迷拖累业绩

2025年5月5日,山西焦化发布2024年年报,全年实现营业总收入75.07亿元,同比下降14.20%;归属净利润2.63亿元,同比骤降79.37%。扣非净利润为2.39亿元,同比下降81.24%。尽管公司在安全生产、环保管控等方面取得一定进展,但焦炭市场需求疲软、价格下滑等因素导致业绩大幅下滑,经营现金流净额更是录得-20.67亿元,凸显公司...
胜通能源2024年财报:营收增长但净利润持续亏损,LNG业务面临挑战 - 天天要闻

胜通能源2024年财报:营收增长但净利润持续亏损,LNG业务面临挑战

2025年5月4日,胜通能源发布了2024年年报。报告显示,公司全年营业总收入为53.48亿元,同比增长11.32%;毛利润为3116.26万元,较上一年度扭亏为盈;归属净利润为-1700万元,同比减少亏损57.29%;扣非净利润为-1795.09万元,同比减少亏损60.68%。尽管营收有所增长,但公司仍处于净亏损状态,且净利润的滚动环比增长率为-144..
宝兰德2024年财报:营收下滑7.18%,净利润暴跌504.43% - 天天要闻

宝兰德2024年财报:营收下滑7.18%,净利润暴跌504.43%

2025年5月4日,宝兰德公司发布了2024年年报。数据显示,公司2024年营业总收入为2.83亿元,同比下降7.18%;归属净利润为-0.59亿元,同比暴跌504.43%。尽管公司在人工智能领域取得了一些突破,但整体业绩表现令人担忧,尤其是净利润的持续下滑,暴露出公司在成本控制和盈利能力上的严重问题。营收与利润双降,盈利能力堪忧宝...
美关税政策搞乱自家企业 多家美国公司暂停发布盈利预测 - 天天要闻

美关税政策搞乱自家企业 多家美国公司暂停发布盈利预测

据美国有线电视新闻网当地时间5月4日报道,由于美国近期关税政策反复无常,全球多家大型车企推迟或暂停发布盈利预测。报道称,车企巨头斯泰兰蒂斯集团4月30日发布报告表示,由于“不断变化的”关税政策带来的影响,该集团暂停发布2025年的盈利增长预