- Bluesky ページを見る (新しいタブで開きます)
- Instagramページを見る（新しいタブで開きます）
- Facebookページで見る（新しいタブで開きます）
- YouTubeページを見る（新しいタブで開きます）
- Twitterページを見る（新しいタブで開きます）
- コピーしました
私たちは AI 革命の準備ができていないかもしれませんが、AI 検出器も同様です。
クレジット: ジェイク・ピーターソン
目次
多くの教師はAI革命に不満を抱いており、彼らを責めるのは難しい。ChatGPTは、例えば高校の作文のような課題をAIに与えれば、AIが数秒で結果を吐き出せることを証明した。もちろん、その作文には間違いだらけかもしれないが、まあ、宿題は終わったのだ。AIチェッカーがAIによる不正行為に対する新たな防御策として宣伝されているのだから、不正行為の影響を受ける人々が使い始めるのは理にかなっている。問題は、AIチェッカーが完璧ではなく、その不完全さが人々に害を及ぼしていることだ。
AI検出器の仕組み
現在人気のAIプログラム（例：ChatGPT）はすべて、大規模言語モデル（LLM）に基づいています。LLMは膨大な量のテキストで学習し、その知識を活用してユーザーに応答します。簡単に言えば、AIが行っているのは、学習で得た知識に基づいて、最後に言った言葉の後に続く単語を予測することだけです。「雪は冷たいが、火は熱い」の意味は分かりませんが、「火は」の後に「熱い」が続くことが多いことは知っています。（繰り返しますが、これも非常に単純化した説明です。）
AIチェッカーも同様に動作します。テキストデータセットで学習します。テキストには人間が書いたもの、ボットが書いたもの、そして両方が書いたものがあります。AI検出器は、LLMによって生成されたテキストの特徴的な特徴、例えば繰り返し表現、単語選択の可能性、語調などを探します。AIにパターンを認識させるように学習させることが期待されるのと同じように、開発者はAIチェッカーがテキストがロボットによって書かれたかどうかを認識できるようにしたいと願っています。
あなたも気に入るかもしれない
これらの開発者は、自社のチェッカーがそれを実現できると主張しています。しかし、私はそう確信していません。実際、ChatGPTに、与えられたテキストがAIによって書かれたものか人間によって書かれたものかを見分けられるかどうか尋ねたところ、次のような返答がありました。
AI言語モデルとして、人間が書いたテキストと区別が難しいテキストを生成することができます。しかし、特にテキストが適切に作成・編集されている場合、テキストがAIによって生成されたものか人間によって書かれたものかを明確に判断することは必ずしも可能ではありません。
テキストがAIによって生成されたかどうかを示唆する指標はいくつかあります。例えば、異常なパターンや反復的なパターン、一貫性の欠如、不適切な語彙の選択などです。しかし、これらの指標は常に存在するわけではなく、高度なAI技術によって克服できる可能性があります。
AI生成テキストの品質は常に向上しているため、将来的には人間が生成したテキストとAIが生成したテキストを区別することがますます困難になる可能性があることにも留意する必要があります。結局のところ、テキストがAIによって生成されたかどうかを判断する最良の方法は、その分野の訓練を受けた専門家に慎重に分析してもらうことです。
AIボットのゴッドファーザーによる、熱烈な支持とは言えませんが、これらの検出器が実際にどのように機能しているかを見てみましょう。
AI検出器の実際のパフォーマンス
剽窃チェッカーで恐怖を煽ったTurnitinは、自社のソフトウェアがAI生成コンテンツを98%の信頼度で検出できると主張しています。もしこれが本当なら、これは間違いなく高い数値です。BestCollegesがテストしたソフトウェアは、人間が生成したもの、AIが生成したもの、そしてそのハイブリッドな文章を区別することができました。しかし、この統計値でさえ、教師が50人に1人の学生がAIツールを使って不正行為をしていると誤って非難する可能性があることを意味します。
しかし、ワシントン・ポスト紙のTurnitinでの経験は、それ以上に非難されるべきものでした。学生たちは、人間が生成したもの、AIが生成したもの、そしてそのハイブリッドな文章を組み合わせた16の文章サンプルの作成に協力しました。最終的に、Turnitinはサンプルの半数以上を少なくとも部分的に誤りと判定しました。6つは正しく判定されましたが、残りの3つは全くの誤りでした。もしこれが実際の授業だったら、Turnitinはまさに混乱を招いたでしょう。
最初に話題になったAIジェネレーターの一つ、GPTZeroは、ほとんど実験もせずに精度テストに合格しませんでした。アイスクリームについて中立的な口調で文章を書いてテストしたところ、「この文章は完全にAIによって書かれた可能性があります」というメッセージが表示されました。
アイスクリームは、世界中で愛されている人気の冷凍デザートです。主に夏などの暖かい季節や暑い時期に食べられますが、一年中楽しめます。アイスクリームには様々なフレーバーがあり、キャンディー、ナッツ、フルーツ、シロップなどのトッピングが添えられることもよくあります。
しかし、私の曖昧な文章はほんの始まりに過ぎません。紛らわしいことにZeroGPTという別の検出器は、Redditユーザーがアメリカ合衆国憲法を解析しようとした際に機能不全に陥りました。ZeroGPTによると、憲法の92.26%はAIによって書かれたそうです。フィラデルフィア会議が国の法律を制定する際に、これほど人工知能に依存していたとは誰が想像したでしょうか。（少なくとも、いくつかの修正条項については、これで説明がつくと思います。）
これまでのところどう思いますか?
このツイートは現在利用できません。読み込み中か削除された可能性があります。
しかし、AI検出装置を欺く一つの方法は、AIが生成したテキストをもう一度AIに通すことです。例えば、QuillBotはテキストを書き換えるロボットで、既に生徒たちがチェッカーを回避するために利用しています。AI検出装置がテキストの「平均性」を調べてAIによって書かれたかどうかを判断する場合、別のAIがテキストに多様性を加えることで、そのシステムに支障をきたすことになります。QuillBotは、学校でのAI検出装置について議論するTikTokのコメント欄に頻繁に登場します。生徒たちはきっと方法を見つけるでしょう。
AI検出器が罪のない学生を傷つけている
これまでのところ、これらの例はすべて理論上のものです。しかし、これらのチェッカーはプロトタイプではありません。すでに存在し、実際の学生に対して使用されています。これらの検出ツールによって、ChatGPTなどのツールを使って不正行為をした多くの学生が摘発されたことは間違いありませんが、同時に、無実の学生が同じことをしたと誤って非難しており、それが大きな問題となっています。
このツイートは現在利用できません。読み込み中か削除された可能性があります。
このツイートは、講師が間違いを認め、非難を撤回したため、「良い」解決を迎えました。しかし、他の状況では、講師たちはAIチェッカーを万能薬のように扱い、「AI生成」の結果が出るたびに議論を封じ込めています。
このツイートは現在利用できません。読み込み中か削除された可能性があります。
私たちが新たな世界に直面していることは否定しません。大規模言語モデルのおかげで、学生はエッセイの課題を入力するだけで、（質は様々ですが）完成したエッセイを受け取ることができます。しかし、学生がシステムをこれほど簡単に騙せるという事実は、罪のない学生を罪のある学生と同じように罰するという場当たり的な解決策ではなく、システムそのものを変える必要があることを示しているのかもしれません。
Turnitinは、人間が作成したテキストをAIが作成したと判定した場合を「誤検知」と呼んでいます。面白いですね。しかし、同社は「不正行為の判定は行いません」と強調し、データを提供し、最終的な判断は教育者に委ねていると述べています。この免責事項は多くの人には理解されていないようです。彼らの目には、AIチェッカーが不正行為者だと判定すれば、あなたは不正行為者なのです。
ダウンロードニュースレター 技術ニュースを見逃さない
ジェイク・ピーターソン シニア技術編集者
ジェイクとチームからの最新の技術ニュース、レビュー、アドバイスを入手してください。
ダウンロードニュースレター テクノロジー 関連のニュースを見逃さないでください。ジェイクとチームからの最新のテクノロジーニュース、レビュー、アドバイスをお届けします。
次の記事へスクロールしてください
