人工智能探测器能把我们从聊天gpt中拯救出来吗?我尝试了5个在线工具来找到答案

作者专栏 编辑:admin 日期:2025-03-03 15:29:59 159人浏览

  

  人工智能探测器能把我们从聊天gpt中拯救出来吗?我尝试了5个在线工具来找到答案

  当我第一次考虑是否有可能反击人工智能产生的抄袭,以及它可能如何运作的问题时,那是在2023年1月,世界对生成人工智能的认识刚刚爆发几个月。现在,差不多一年过去了,感觉我们已经探索生成人工智能很多年了,但我们真正关注这个问题已经几个月了。

  无论如何,这是1月份那篇文章的更新版本。当我第一次测试GPT检测器时,我使用了三个:GPT-2输出检测器,Writer.com AI内容检测器和大规模AI内容检测器。来自GPT-2输出检测器的最佳结果是66%的正确率。这一次,我增加了三个:GPTZero、ZeroGPT(是的,它们是不同的)和Writefull的GPT检测器。

  不幸的是,我从我们的测试套件中删除了Writer.com AI内容检测器,因为它在1月份失败了,现在又失败了。下面是该公司的评论,这是他们的团队在原文于1月份发表后发给我的。

  在我继续之前,我们需要谈谈剽窃的概念以及它与我们的问题的关系。《韦氏词典》对“剽窃”的定义是“窃取并冒充(他人的想法或文字)为己有;使用(他人作品)而不注明出处。”

  这个定义适用于人工智能创造的内容。虽然使用人工智能工具(如Notion AI或ChatGPT)的人并不是在窃取内容,但如果这个人不认为这些词来自人工智能,并声称这些词是他们自己的,那么这仍然符合字典对剽窃的定义。

  在这篇实验文章中,我请求ChatGPT提供帮助。我的话都是粗体字。人工智能的文字是斜体的。在每个ai生成的部分之后,我将展示检测器的结果。在本文的最后,我们将查看检测器的总体性能。

  以下是我自己编写的上述文本的结果:

  GPT-2输出检测器:99.98%真实

  AI内容检测:100%极有可能是人类!

  GPTZero:你的文本很可能完全是由人写的

  你的文字最有可能是人类写的

  写式GPT检测器:1%可能来自GPT-3、GPT-4或ChatGPT

  人工写的内容:4 / 5正确

  有了这些,让我们继续深入研究。

  解释为什么当涉及到剽窃时,ChatGPT对教师和编辑来说是一个真正的问题

  ChatGPT是OpenAI开发的GPT(生成预训练转换器)语言模型的一个变体。它的目的是通过预测给定输入序列中的下一个单词或短语来生成类似人类的文本。虽然ChatGPT可以是生成文本和响应提示的有用工具,但当涉及到剽窃时,它也可能成为教师和编辑的一个问题。

  ChatGPT对教师和编辑来说是个问题的主要原因之一是,它可以生成与真正的人类作家非常相似的文本。这意味着学生或其他个人可能会使用ChatGPT生成文本,然后将其作为自己的作品提交,从而构成抄袭。

  对于教师和编辑来说,检测一段给定的文本是由ChatGPT生成的还是由人类编写的可能非常困难,因为生成的文本可能不包含任何明显的错误或差异,从而暴露其人为来源。这使得教师和编辑很难识别和防止抄袭,因为他们可能无法分辨一段给定的文本是原创的还是从其他来源复制的。

  总的来说,ChatGPT和其他类似的语言模型对于教师和编辑来说可能是一个问题,因为它们可以生成难以与人类编写的文本区分的文本,使学生和其他个人更容易在不被发现的情况下进行剽窃。

  GPT-2输出检测器:99.69%真实

  AI内容检测:3%极有可能是AI生成的!

  GPTZero: 我们建议进入一个lo更精确的预测

  你的文本是AI/GPT生成的

  写式GPT检测器:12%可能来自GPT-3、GPT-4或ChatGPT

  ai编写的内容:1 / 5的正确率(勉强)

  记住,斜体显示的文本是由AI生成的。

  向我展示至少三种可以检测ChatGPT用于生成一段文本的方法

  有几种方法可以检测是否使用了ChatGPT或其他语言模型来生成一段文本。以下是你可以使用的三种潜在方法:

  寻找文本中重复或不寻常的模式:检测语言模型是否用于生成一段文本的一种方法是在写作中寻找重复或不寻常的模式。例如,语言模型可能重复某些短语或单词组合,或者使用不寻常或inco句子结构一致。

  检查是否缺乏独创性:检测语言模型是否用于生成文本的另一种方法是检查写作中是否缺乏原创性。如果一段文字似乎是从其他来源复制的,或者如果它是包含在Internet或其他来源上广泛可用的信息,这可能表明它是由语言模型生成的。

  使用抄袭检查器:最后,你可以使用抄袭检查器来检查一段文字是否从其他来源复制而来。虽然抄袭检查器可能无法确定是否使用语言模型来生成一段文本,但它可以帮助您识别从其他来源复制或改写的实例。

  当答案明显错误时,请注意:我聊了一会儿。关于这一点,在我的概念AI评论,当我强调了AI写的一些看似权威的文本,但这显然是错误的。如果学生或作家没有完全掌握正在讨论的主题,他们可能不会发现不准确的地方,而只是把它们留在人工智能生成的回复中。当然,不正确的陈述不仅仅是人工智能写作工具的权限。例如,许多博主和评论者只是简单地重复其他博主的言论,制造了一个完全“错误事实”的回音室,表明尽管智能可能是人造的,但愚蠢是一个普遍的特征。

  请记住,很难确定是否使用语言模型来生成文本,并且这些方法可能并不总是有效的。但是,它们可以是帮助您识别语言模型生成文本的潜在实例的有用工具。

  在这组测试中,只有上面斜体的内容在检查器套件中运行。

  GPT-2输出检测器:99.98%假

  AI内容检测:99%极有可能是人类!

  GPTZero:你的文本可能包含AI编写的部分

  你的文本是AI/GPT生成的

  写式GPT检测器:77%可能来自GPT-3、GPT-4或ChatGPT

  ai编写的内容:4 / 5正确

  列出三个可以检测ChatGPT文本的抄袭检查器

  值得注意的是,目前还没有专门设计用于检测ChatGPT或其他语言模型生成的文本的抄袭检查器。虽然一些剽窃检查器可能能够识别语言模型生成文本的某些特征,这些特征可能表明其人为来源,但不能保证他们能够确定一段文本是否由语言模型生成。

  话虽如此,这里有三个剽窃检查器,你可以考虑使用它们来帮助识别语言模型生成文本的潜在实例:

  Turnitin:Turnitin是一种流行的抄袭检查工具,被学校和大学广泛使用。它将一段文本与一个数据库进行比较查看其他文本,以确定复制或改写的实例。虽然它可能无法确定一段文本是否是由语言模型生成的,但它可以潜在地识别语言模型生成文本的某些特征,这些特征可以表明其人工起源。

  PlagScan:PlagScan是另一个抄袭检查程序,它将一段文本与数据库进行比较查看其他文本,以确定复制或改写的实例。像Turnitin一样,它可能能够识别语言模型生成文本的某些特征,这些特征可能表明其人工起源,但它不是专门设计来检测语言模型生成文本的。

  Copyleaks:Copyleaks是一款抄袭检查软件,它使用先进的机器学习算法扫描一段文本,并将其与数据库进行比较查看其他文本,以确定复制或改写的实例。虽然它可能能够识别语言模型生成的文本的某些特征,但它并不是专门设计来检测语言模型生成的文本的。

  值得注意的是,没有任何抄袭检查器是完全万无一失的,并且总是存在一段语言模型生成的文本可以逃脱检测的可能性。因此,使用抄袭检查器作为检测和防止抄袭的大策略的一部分是很重要的。

  GPT-2输出检测器:99.58%真实

  AI内容检测:100%极有可能是人类!

  GPTZero:你的文本可能包含AI编写的部分

  ZeroGPT: 100% AI GPT你的文本是AI/GPT生成

  写式GPT检测器:88%可能来自GPT-3、GPT-4或ChatGPT

  人工智能编写的内容:3 / 5正确

  大多数抄袭检测器都是用来将文章与其他文章的语料库进行比较的。例如,当学生提交一篇论文时,Turnitin等产品会将提交的论文与数据库中庞大的其他论文库以及互联网上的其他文档和文本进行扫描,以确定提交的论文是否包含已经写过的内容。

  但至少在理论上,人工智能写作工具可以生成原创内容。是的,他们从他们所接受的训练中构建内容,但他们构建的实际单词在某种程度上是独特的。

  因此,上面提到的抄袭检查器可能不会起作用,因为人工智能生成的内容可能不存在于其他学生的论文中。

  在本文中,我们只关注GPT检测器。但是剽窃是一个大问题,正如我们所看到的,有些人选择将剽窃定义为你声称是你的,而不是你写的东西,而另一些人选择将剽窃定义为你声称是别人写的东西。

  直到现在,这种区别才成为问题。现在我们有了非人类作家,抄袭的区别就更加微妙了。这取决于每个老师、学校、编辑和机构来决定这条线到底画在哪里。

  GPT-2输出检测器:99.98%真实

  AI内容检测:100%极有可能是人类!

  GPTZero:你的文本很可能完全是由人写的

  你的文字是人类写的

  写式GPT检测器:1%可能来自GPT-3、GPT-4或ChatGPT

  人工写的内容:5 / 5正确

  在进行的五次测试中,五次中有四次基本准确。测试证明,总体而言,纯人类内容比纯人工智能内容更准确。有趣的是,各个检测器的差异很大,所以如果要使用GPT检测器,可能希望在一段文本上使用多个检测器并聚合结果。即使这样,也不能保证完全准确。

  测试

  整体

  人类

  人工智能

  人工智能

  人工智能

  人类

  GPT-2输出检测器

  60%

  正确的

  失败

  正确的

  失败

  正确的

  AI内容检测

  40%

  正确的

  失败

  失败

  失败

  正确的

  GPTZero

  80%

  失败

  正确的

  正确的

  正确的

  正确的

  ZeroGPT

  80%

  正确的

  失败

  正确的

  正确的

  正确的

  写式GPT检测器

  60%

  失败

  失败

  正确的

  正确的

  正确的

  回到一月份,我们做的最好的是66%的正确率。在这里,我们有两个工具在80%的时间里都是正确的。但我不愿意使用这些工具来验证学生的内容。正如我们所看到的,来自非母语人士的文章通常被评为由AI生成的,甚至我手工制作的内容也被评为AI。因此,我主张在依赖任何(或全部)这些工具的结果之前要谨慎。

  让我们来看看每个测试人员的表现。

  第一个工具是由纽约人工智能公司hugs Face管理的机器学习中心开发的。虽然该公司已经获得了4000万美元的资金来开发其自然语言库,但GPT-2探测器似乎是使用拥抱脸变形金刚库的用户创建工具。在我做的六次测试中,有四次是准确的。

  Writer.com是一个面向企业团队的人工智能写作服务。它的AI内容检测器工具可以扫描生成的内容。不幸的是,我发现这个工具不可靠,它无法产生结果——与1月份完全相同。

  在这篇文章最初于1月份发表之后,Writer.com的人联系了ZDNET。首席执行官May Habib分享了这样的评论:

  我发现的第三个工具也是由一家人工智能内容生成公司制作的。Content at Scale将自己定位为“我们通过自动化内容创建来帮助专注于SEO的内容营销人员。”它的营销口号是,“上传关键字列表,获得2600多字的博客文章,绕过人工智能内容检测——所有这些都没有人工干预!”令人不安的是,结果从1月份开始变得更糟——当时,它的准确率为50%。

  目前还不完全清楚是什么驱动了GPTZero。该公司正在招聘工程师和销售人员,并在AWS上运行,因此涉及到费用和销售。然而,我所能找到的所有服务都是一个地方,在那里你可以注册一个免费帐户,无需登录就可以浏览超过5000个单词。如果您对这项用于GPT检测的服务感兴趣,您必须看看他们是否会回复您更多细节。

  自从我们上次看到ZeroGPT以来,它似乎已经成为一种成熟的服务。当我们最后一次查看时,没有公司名称被列出,网站上充斥着谷歌广告,没有明显的盈利策略。这项服务实际上运行得相当好,但看起来很粗略。

  那种粗略的感觉现在已经消失了。ZeroGPT呈现为任何其他SaaS服务,包括定价、公司名称、联系信息以及所有其他内容。它仍然表现得很好,所以也许开发人员决定将他们的工作代码转变为更多的工作业务。对他们有好处!

  Writefull销售写作支持服务,并提供免费的工具体验。GPT探测器相当新,而且工作得相当好。也许它会随着时间的推移而改善。

  首先,我想让ChatGPT说说自己的看法:人工智能驱动的剽窃是一个日益严重的问题,因为像Notion AI和ChatGPT这样的人工智能工具可以生成难以与人类编写的文本区分开来的文本。有几种方法可以检测一段文本是否由人工智能生成,例如寻找重复或不寻常的模式,检查缺乏独创性,或使用抄袭检查器。像Turnitin, PlagScan和Copyleaks这样的抄袭检查器可能能够识别语言模型生成文本的某些特征,但它们并不是万无一失的。

  即使是我找到的专业工具也非常不适合这项任务。我在1月份的考试中取得了一些有限的进步,但我肯定不会因为这些工具的结果而威胁学生的学术地位或指责他们作弊。

  在这一点上,我认为我们还没有准备好让人工智能对抗人工智能。相反,我们将不得不依靠人类的感知(这意味着人们必须集中注意力)来识别由人工智能生成的作品。

  不要马上假设某些东西是机器生成的。不要仅仅因为某些东西很愚蠢或者非常不准确,就认为它不是人类写的。我们都知道,人类完全有能力自己写出一些令人难以置信的糟糕东西。

  那么,你觉得呢?你能分辨出一件作品是否是人工智能生成的吗?在这些人工智能写作工具突然出现的几个月里,你使用过它们吗?你认为他们是对教育和新闻业的帮助还是阻碍?请在下面的评论中告诉我们。ChatGPT是这样回答这个问题的:

  作为一种语言模型,我不能看到或与实体的文字互动,所以我不能判断一篇文章是否是人工智能生成的。然而,我可以告诉你,有几个可用的人工智能写作工具,它们可以用来生成广泛的书面内容,包括新闻文章、小说、诗歌等等。

  我没有使用这些工具的个人经验,因为我只是一个计算机程序,没有能力浏览互联网或使用物理工具。然而,我可以告诉你,有些人发现人工智能写作工具在教育和新闻领域很有帮助,因为它们可以通过自动化某些任务来节省时间和精力。其他人则担心这些工具可能被用来制作误导性或有偏见的内容,或者取代人类作家。最终,人工智能写作工具是一种帮助还是一种阻碍取决于它们的使用方式和使用环境。

  是的,就是这样。

  你可以在社交媒体上关注我每天的项目更新。一定要订阅我在Substack上的每周更新时事通讯,并在Twitter上关注我@DavidGewirtz,在Facebook上关注我Facebook.com/DavidGewirtz,在Instagram上关注我Instagram.com/DavidGewirtz,在YouTube上关注我YouTube.com/DavidGewirtzTV。

分享到

发表评论

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。