文章が、AIで書かれたかを判定するツールは、どこまで信頼できるのか――そんな疑問に、公式の声明や研究で確認できた内容で答えます。
この記事でわかること
- OpenAIが検出ツールを終了した経緯
- 研究が示す誤判定のリスク
- 大学の対応
結論から言うと、AI検出ツールの精度には、限界があり、誤判定のリスクが、複数の機関から示されています。
1. OpenAIのAI Text Classifier
2023年1月31日に公開され、2023年7月20日に、「精度の低さ」を理由に終了しました。公開時の自己評価は、英語のチャレンジセットで、AIの文の26％を検出し、人間の文の9％を、誤ってAI判定するものでした。1,000文字未満では、特に信頼性が低いとも述べています。数値は、報道経由です。
2. 研究：非ネイティブへのバイアス
Stanfordの研究者らの2023年の研究では、非ネイティブの英語話者のTOEFLのエッセイ91本を、7つの検出器に通したところ、平均61.3％が、AI生成と誤判定されました。ネイティブ側の誤判定は、約5.1％でした。
3. Vanderbilt大学の声明
2023年8月16日に、TurnitinのAI検出機能を、無効にしました。理由は、誤検出率1％でも、年に7.5万件の提出では、約750件が誤判定になり得ること、検出手法の透明性がないこと、非ネイティブへのバイアス、プライバシーへの懸念です。「AIの検出は、技術的に非常に難しい」とも述べています。
4. 使うときの考え方
検出ツールの結果だけで、AIによる作成だと判断することには、リスクがあります。
5. 確認できていないこと
日本の大学の、公式の声明は、今回、確認できていません。
まとめ
- OpenAIは、精度の低さを理由に、検出ツールを終了した
- 非ネイティブが、誤判定されやすいという研究がある
- 結果だけで、断定しない
よくある質問（FAQ）
Q. 誤判定されたら？
検出ツールの結果だけで、判断されない可能性を、確認してください。
Q. 精度の高いツールはありますか？
確認できていません。
Q. 生成AIの仕組みは？
別記事「生成AIの仕組み」をご覧ください。
