作为“聊天机器人战争的问题在硅谷引起了轩然大波，因为专门用于生成数据的人工智能(AI)工具越来越多类似人类的文本有让很多人困惑．

尤其是教育工作者，他们正在努力适应现有的软件，这些软件可以随时就任何话题写出一篇尚可的文章。我们应该回到书面评估吗?加强考试监督?完全禁止人工智能的使用?

所有这些甚至更多的建议都已经提出。然而，如果教育工作者可以的话，这些不太理想的措施都不需要可靠的区分人工智能生成和人类书写的文本。

我们深入研究了几种识别人工智能生成文本的方法和工具。没有一个是万无一失的，所有这些都容易受到变通方法的影响，而且它们不太可能像我们希望的那样可靠。

也许你想知道，为什么世界领先的人工智能公司无法可靠地区分自己机器的产品和人类的工作。原因非常简单:在当今高风险的人工智能领域，企业的使命是训练“自然语言处理器”(NLP)人工智能，使其产生尽可能类似于人类写作的输出。事实上，公众要求在野外找到这种人工智能的简单方法似乎是矛盾的，就像我们错过了这个项目的全部意义一样。

平庸的努力

OpenAI——ChatGPT的创造者——推出了一个“分类器用于指示人工智能编写的文本1月下旬。

分类器是在外部人工智能和公司自己的文本生成引擎上训练的。理论上，这意味着它应该能够标记由布鲁姆人工智能或类似的，而不仅仅是ChatGPT创建的。

我们最多给这个分类器一个C级。OpenAI承认，它只能准确识别26%的人工智能生成的文本(真阳性)，而错误地将人类散文标记为人工智能生成的9%(假阳性)。

OpenAI尚未分享其关于人工智能生成文本被错误标记为人工生成文本(假阴性)的比率的研究。

有希望的竞争者

一个更有希望的竞争者是普林斯顿大学的一个学生在圣诞假期期间发明的分类器。

爱德华田她的专业是计算机科学，辅修新闻学GPTZero1月。

这款应用程序基于两个因素来识别AI作者:复杂性和突发性。Perplexity衡量文本的复杂程度，而burst则比较句子之间的差异。这两个因素的值越低，文本越有可能是由人工智能生成的。

我们让这个谦逊的大卫对抗ChatGPT的巨人。

首先，我们建议ChatGPT写一篇关于正义的短文。接下来，我们将文章原封不动地复制到GPTZero中。田的工具正确地确定了这篇文章很可能完全是由人工智能写的，因为它的平均困惑度和突发性得分非常低。

欺骗分类员

误导人工智能分类器的一个简单方法是简单地用同义词替换一些单词。为实现这一目的而提供改写人工智能生成文本工具的网站已经在互联网上遍地开花。

许多这些工具都展示了它们自己的一套人工智能赠品，比如在人类散文中穿插“折磨的短语(例如，用“伪意识”代替“AI”)。

为了进一步测试GPTZero，我们将ChatGPT的正义文章复制到GPT-Minus1——一个提供用同义词“打乱”ChatGPT文本的网站。左边的图片描述了原文。右边的图片显示了GPT-Minus1的变化。它修改了约14%的文本。

然后我们将GPT-Minus1版本的正义文章复制回GPTZero。它的判决?

你的文章很可能是人类写的，但有一些句子是低困惑。

它只突出了一个它认为很有可能是人工智能写的句子(见下图左图)，以及一份关于文章整体困惑度和爆发力得分的报告，这要高得多(见下图右图)。

像田先生这样的工具显示出了巨大的前景，但它们并不完美，也容易受到变通方法的影响。例如，最近发布的YouTube教程解释了如何提示ChatGPT生成高度(你猜对了)复杂和突发性的文本。

水印

另一个建议是让人工智能书写的文本包含一个“水印”，这种水印对人类读者来说是不可见的，但可以被软件识别出来。

自然语言模型是逐字逐句的。他们根据统计概率选择要生成的单词。

然而，他们并不总是选择同时出现的概率最高的单词。相反，他们从一个可能出现的单词列表中随机选择一个(尽管概率分数高的单词更有可能被选中)。

这就解释了为什么用户每次使用相同的提示生成文本时都会得到不同的输出。

简单地说，水印包括将一些可能出现的单词“列入黑名单”，并允许人工智能只从“白名单”中选择单词。考虑到人类书写的文本可能会包括“黑名单”中的单词，这可能会将其与人工智能生成的文本区分开来。

然而，水印也有局限性。如果人工智能生成的文本的词汇量受到限制，其质量可能会降低。此外，每个文本生成器可能都有不同的水印系统，因此文本接下来将针对所有这些系统进行检查。

水印也可以通过改写工具来避免，这些工具可能会插入黑名单单词或改写文章问题。

正在进行的军备竞赛

人工智能生成的文本探测器将变得越来越复杂。Anti-plagiarism服务TurnItIn最近宣布即将推出的人工智能书写检测器，据称准确率高达97%。

然而，文本生成器也将变得更加复杂。谷歌的ChatGPT竞争对手Bard也加入进来早期公开测试．OpenAI本身预期在今年晚些时候推出GPT-4的重大更新。

让人工智能文本标识符完美无缺是不可能的OpenAI承认，总会有新的方法来误导他们。

随着这场军备竞赛的继续，我们可能会看到“合同改写”的兴起:你花钱雇人来写你的作业，而不是雇人来重写你的人工智能生成的作业，让它通过检测。

对于教育工作者来说，这个问题没有简单的答案。技术修复可能是解决方案的一部分，但新的教学和评估方式(可能包括利用人工智能的力量)也会是解决方案的一部分。

我们不知道具体会是什么样子。然而，在过去的一年里，我们一直在为教育和研究构建开源人工智能工具的原型，以帮助在新旧之间找到一条道路——你可以在网站上访问测试版失败安全”的人工智能．

阿明Alimardani卧龙岗大学讲师

艾玛·a·简，新南威尔士大学悉尼分校副教授