1. 检测原理
当前主流的AIGC检测工具(如Turnitin、知网AIGC检测、GPTZero)主要利用以下技术:
- 概率分布差异:统计文本中词频和句法结构的概率特征,与人类写作进行对比。
- 水印技术(部分模型):OpenAI正研究在生成文本中植入不可见水印,但目前尚未大规模应用。
- 困惑度(Perplexity)检测:语言模型对文本的“困惑程度”越高,越可能是人类撰写。
2. 准确率与局限性
官方宣称准确率:Turnitin表示对英文GPT-3.5文本检测准确率约98%,中文略低。
实测局限性:
- 短文本(<300字)误判率显著上升。
- 经过人工改写或翻译的AI文本易漏检。
- 不同学科术语密度影响判断(如法律、医学文献易被误判)。
3. 实测案例
实验设计:选取10篇AI生成的本科论文(中文约5000字/篇),分别用知网AIGC检测与Turnitin检测。
结果:
- 知网检出8篇,漏检2篇(经人工改写)。
- Turnitin检出9篇,但将1篇人类撰写论文误判为AI生成(误判率10%)。
4. 专家建议
对学生:
- 直接复制AI生成内容风险极高,建议使用AI仅作辅助,并深度改写。
- 提交前可自行使用免费工具(如GPTZero)预检。
对教师:
- 检测结果应作为参考,结合人工复核。
- 关注学生写作过程(如草稿、参考文献笔记)而非仅依赖检测报告。