AI生成内容检测工具没啥用?容易存在误判

作者:duke 日期: 分类:网络转载 浏览:271

站长之家4月6日 消息:据《 华盛顿邮报》报道,美国有多达210万名教师正在使用 Turnitin 的一种新的人工智能检测工具,试图揪出哪些使用 ChatGPT 等工具在课堂上作弊的行为的学生。

不过,从结果来看,这款检测工具并不是那么好用,可能存在误判学生使用 AI 工具来完成论文和作业。

当下,AI聊天机器人不断改进和升级,相比之下,能够区分人工智能生成的文本和人类编写的文本的工具却远远落后。这意味着,其实老师很难通过AI检测工具判断出哪些作业和论文是使用 AI 工具来完成的。

Turnitin 声称其检测器的准确率为98%。,但在对Turnitin的测试中,记过使用的16个检测样本(包括人工撰写的、人工智能生成的和混合来源的论文),该工具有一半以上检测结果是错误的。

尽管该公司确实在其网站上指出,其工具的结果不应该被用来指控学生作弊,但这并不能阻止老师现实中仍会借助这款工具来进行判断。如果你去看看reddit的ChatGPT版块,会发现无数学生被指控在论文中使用人工智能的例子。

像Turnitin这种AI检测器其实一直面临着困扰,即使是OpenAI自家开发的AI检测工具,检测的结果也远远达不到完美的标准。

鉴于人工智能模型的最新进展,这个问题注定会变得更加棘手。随着GPT-4和谷歌Bard等AI聊天机器人的升级,它们逃避检测的能力会越来越强。另外,聊天机器人和人类之间的界限越来越模糊。

曾在OpenAI和谷歌工作过的英伟达人工智能科学家吉姆·范(Jim Fan)告诉福勒:“我不认为AI检测工具是长期可靠的,人工智能会变得越来越强大,它的写作方式会越来越像人类。”

关键词: