“论文疑似ai生成率82.54%。”
5月初,中国人民大学新闻学院副教授董晨宇将刚刚完成的研究秀场直播产业的论文,提交至某学术论文检测平台,得到的结果令他哭笑不得。他发现,系统标红的“高度疑似ai生成”段落,是他们研究团队耗时3年扎根基层、追踪多个真实案例写成的内容。
近期,西南交通大学、天津科技大学、湖北大学等多所高校提出,学生的毕业论文除了要通过查重、答辩外,还需检测aigc(ai生成内容)工具使用情况。这意味着,若论文的ai生成率过高,学生可能面临重新修改、二次答辩甚至无法毕业的情况。
有学生反映,自己辛苦撰写的论文被检测系统判定为“高ai率”。还有网友将《滕王阁序》《岳阳楼记》等名篇输入检测系统,发现ai率超过50%,由此引发公众对相关检测工具准确性和透明度的疑问。
ai检测论文是否会造成“误判”
谈及近期论文被“误伤”,董晨宇直言,ai检测工具不应成为判定论文学术性的硬性标准。
日前,中青报·中青网记者在社交平台上以“论文降ai率”为关键词进行搜索,发现有不少经验分享帖,还有一些应届毕业生在评论和留言中称,自己为了降低ai率花费达上百元。
西南交通大学3月12日发布《本科毕业设计(论文)规范使用人工智能工具的规定(试行)》,表示学校将对全部本科毕业设计(论文)使用ai工具的情况进行aigc检测,原则上本科毕业设计(论文)的aigc检测结果不能超过30%。
该校应届毕业生刘昱楷(化名)告诉中青报·中青网记者,学校的新规对他影响不大,“ai对我来说主要是启发思路,我不会照搬照抄”。不过,刘昱楷毕业论文的文献综述部分曾被判定ai率较高,“因为这段内容分点、分句较多,我把这部分修改成一些长句进行概括总结,检测情况就好了很多”。
四川师范大学应届毕业生贾悦(化名)的论文同样被误判为ai生成。经过一段时间的修改,她总结出一些经验,“使用排比句、押韵的对偶、带冒号的并列句子,容易被判定为ai生成”。
贾悦并不担心ai率检测,“论文主体内容是我自己撰写的,使用ai更多是为了获取灵感或求证观点,学院老师会协助我们解决被误判的问题”。
四川师范大学发布文件称,如有学生及指导教师反馈论文确实未使用任何ai工具,但“疑似aigc生成比例”较高,需填写《四川师范大学学士学位论文(设计)生成式人工智能使用情况说明表》,交学院存档,并由学院研判处理。
同济大学法学院互联网与人工智能法律研究中心主任张韬略认为,当前ai生成内容检测工具的技术成熟度存疑,若直接用于判定学生学术诚信,可能存在误判风险。他强调,学术能力培养需回归教育本质,技术检测应作为辅助手段,而非唯一评判标准。
张韬略表示,现有工具主要通过文本特征模型比对、概率阈值判定等方式识别ai生成内容,但其技术逻辑存在局限性。“ai本身学习的是人类表达,当人类模仿ai写作风格时,双方文本特征会逐渐趋同。”他举例,如果检测系统将工整对仗视为ai特征,可能会把《滕王阁序》等古文误判为ai生成内容。
“ai率”判定标准存争议
2024年秋季学期,中国传媒大学新闻学院教授詹新惠在为本科生开设《传播学概论》课时,发现了一些异常现象:一些大一学生提交的作业看起来十分专业,与平时教学中学生水平存在明显差异。
“这会让人怀疑这篇作业可能有ai的影子。”在詹新惠开设的课程中,期末基本以论文形式结课,“文科类课程论文使用ai撰写的可能性相对较高”。
2023年上半年,中国传媒大学引入ai辅助批改系统。詹新惠说,借助系统可以识别出一些可疑内容,但她并不会完全依靠该系统。
董晨宇查阅了近年来国内外有关ai检测工具实效性的论文,发现绝大多数研究表明,这些工具的检测结果并不理想,原因多种多样,但学界已形成广泛共识:判定论文是否由ai生成,不能将检测工具作为唯一标准。
董晨宇反对为降低ai率而刻意修改文章的表述。他说,检测工具常以语言是否工整、句式是否僵化作为判断依据,而论文写作本身就要求句式严谨,这导致检测工具容易出现误判,“但评价论文并不能单看形式,内容的创新才是关键”。同时ai模型在不断进化,其生成的文本越来越接近人类写作水平,使得检测工具难以准确区分。
“检测工具的训练样本可能无法跟上ai进化的速度,不同ai模型的输出结果也存在差异,这些都造成检测结果具有不可靠性。”董晨宇表示,openai在2023年因难以准确检测ai生成内容而暂停相关检测工具服务,而国内一些商业公司仍在开发相关检测工具。
一些高校对学生使用ai工具持审慎态度。
2024年4月,中国传媒大学发布《关于加强2024年毕业论文(设计)中规范使用人工智能管理的通知》,规定学生须明确披露是否使用生成式人工智能。如使用,须详述使用方式、细节,包括模型/软件/工具名称、版本及使用时间。
2024年12月,《复旦大学关于在本科毕业论文(设计)中使用ai工具的规定(试行)》发布,允许学生在征得指导教师同意的前提下,在文献检索与整理、二次创作图表类型推荐与辅助制图、参考文献格式整理等方面使用ai工具。
对于部分高校设定ai率阈值的做法,詹新惠的疑问是:“如何界定‘ai率’?若学生借鉴ai思路后自行改写,是否应计入‘ai率’?”她表示,文献综述、框架结构、观点提炼均可能涉及ai,无法简单规定“可用”与“禁用”,“是否要采纳ai提出的观点,取决于使用者的判断,这本身就是学术能力的体现”。
学术研究如何驾驭ai“双刃剑”
“有检测平台一边收费检测ai率,一边兜售‘降ai率’服务。”董晨宇认为,当前检测ai率的做法并不能有效解决问题,因为学术不端行为远不止让ai写论文这么简单。
张韬略表示,同济大学目前并未出台检测论文ai率的相关规定,学校在制定相关政策时应持审慎态度。一方面,aigc检测技术尚处于不稳定且快速迭代的阶段,不宜以其结论作为判定学生学术诚信的依据;另一方面,与查重系统相比,aigc检测缺乏明确且稳定的比对基础,容易导致误判。
他建议,在技术成熟之前,高校应避免将aigc检测作为强制性毕业环节,而应更多关注如何引导学生合理使用ai工具,将其融入学习和研究过程中,培养学生与ai建立协同的智慧生态,注重培养学生的创新思维与能力。
张韬略在法学课程中取消了期末论文作业,改为现场开卷考试,要求学生脱离电子设备完成作答。他认为,法学教育仍应强化基础能力培养,“扎实掌握专业知识才能评估ai生成内容正确与否,这是人机共存时代的核心竞争力”。
詹新惠注重引导学生正确使用ai,培养其逻辑思维能力,“如果学生上交的课程论文缺乏个人思考,无论是否使用ai,都可能拿不到高分;如果借鉴ai后产生了自己的思考,也有可能获得高分”。
“堵不如疏。”詹新惠说,“中国传媒大学鼓励学生探索ai应用,关键在于建立使用规范。”她建议借鉴国际期刊经验,允许学生合理使用ai辅助文献整理、数据处理。对于直接生成核心内容的情况,要明确标注工具及使用范围,对于具体问题具体分析。
董晨宇明确反对学生用ai直接撰写论文,“这违背学术规范”。他认为,应当认识到ai在学术研究中的辅助作用,教会学生合理使用ai,如使用ai搜索工具和专业文献阅读工具,帮助检索相关研究、提炼论文核心内容等。同时要让学生清楚ai的局限性,避免过度神化技术。他建议高校将考核从结果导向转向过程导向,关注学生在论文写作过程中阅读、思考以及与ai深层次互动的表现,有利于培养学生的综合思考和协同思维能力。
来源:中国青年报