メールを開いて、特に変わった点はないことに気づきます。しかし、メールが長すぎるので、Gemini に要約を依頼することにしました。要約の上部は表示されているメッセージに焦点を当てているようですが、末尾には非表示のテキストが要約されます。ある例では、非表示のテキストによって、Gemini はアラートを表示し、Gmail のパスワードが侵害されたことをユーザーに警告しました。その後、「サポート」への連絡用の電話番号がハイライト表示されました。

この種の悪意ある行為は特に危険です。Gemini を使っている人が、特に AI による要約を額面通りに受け取っている場合、このような警告を信じてしまうのも無理はありません。詐欺の仕組みを知らない限り、まるで Google がパスワードが侵害された際にユーザーに警告するように AI を設計したかのように、Gemini からの公式出力のように思えます。

GoogleはBleepingComputerからのコメント要請に応じ、Geminiのこのような操作の証拠は確認していないと主張し、プロンプトインジェクション攻撃への対策に関するブログ記事をBleepingComputerに紹介した。担当者は次のように述べた。「私たちは、レッドチーム演習を通じて、既に堅牢な防御体制を継続的に強化しています。この演習では、モデルをこの種の敵対的攻撃から防御できるよう訓練しています。」同社は、いくつかの戦術が展開されようとしていることを確認した。

ジェミニのセキュリティ欠陥から身を守る方法

この脆弱性を発見したセキュリティ研究者のマルコ・フィゲロア氏は、セキュリティチームに対し、この脆弱性に対処するためのアドバイスを提供しています。フィゲロア氏は、ユーザーから隠蔽されたテキストを削除すること、そしてリンク、電話番号、警告など、Geminiの出力をスキャンするフィルターを実行することを推奨しています。

しかし、Workspace エンドユーザーとしては、このアドバイスをあまり当てにすることはできません。しかし、何に注意すべきかがわかったので、そうする必要はありません。Gemini の AI サマリーを使用する場合は、そこに含まれる緊急メッセージには十分注意する必要があります。特に、それらの警告がメール自体とは全く関係がない場合はなおさらです。確かに、データ侵害に関する警告を含む正当なメールを受け取ることもあり、AI 生成のサマリーも同様の内容を伝えるでしょう。しかし、サマリーに問題のメールは来週あなたの街で開催されるイベントに関するものであり、サマリーの下部に Gmail パスワードが侵害されたという警告が表示されている場合は、何らかの不正行為を受けていると考えて間違いないでしょう。

他のフィッシング詐欺と同様に、警告自体に警戒すべき点があるかもしれません。BleepingComputerが強調した例では、Gmailが「GMail」と表記されています。Gmailの表記に慣れていない場合は、この点に気付かないかもしれませんが、他の不一致や間違いにも注意してください。また、Googleにはサポートに関する問い合わせ用の直通電話番号がありません。Googleに連絡を取ったことがある人なら、担当者と連絡を取る手段が事実上ないことをご存知でしょう。

このフィッシング詐欺以外にも、AIによる要約には疑念を抱くべきです。完全に避けるべきというわけではありません。AIによる要約は役に立つこともありますが、AIによる要約は誤りやすく、場合によっては失敗することもあります。読んでいるメールが重要な場合は、要約機能を避けるか、少なくとも元の文章をざっと読んで、要約が正しいかどうかを確認することをお勧めします。

次の記事へスクロールしてください