Gemini Liveは、GoogleのGeminiアプリ内で自然な会話を楽しむことができる機能です。今回、大幅なアップグレードを行いました。AIがスマートフォンのカメラや画面を通してリアルタイムで捉えた情報を基に、ユーザーの質問に即座に回答できるようになりました。この機能は、Google Pixel 9とSamsung Galaxy S25で先行して利用可能となります。

Geminiに写真やスクリーンショットを提供して分析することは以前から可能でしたが、今回のアップグレードで最も興味深いのは、リアルタイム性です。まるでAIボットがあなたの周りの世界を実際に見ているかのようです。この機能の一部は、昨年GoogleがProject Astraという名前で公開したことを覚えているかもしれません。

サムスンは「いつでも助けてくれる信頼できる友人のような感覚」だと述べており、Googleは改善された機能を使って、パーソナライズされたショッピングアドバイスをもらったり、壊れたものを修理したり、散らかった空間を整理したりできると述べている。カメラを向ければ、どんなことでもGemini Liveと会話できる。

Pixel 9とGalaxy S25では無料アップデートとして提供されており、他のAndroidデバイスにも近日中に提供される予定です。ただし、より広範なデバイスへの提供はGemini Advancedのサブスクリプション契約が必要です。現時点では、アップデートの対象となる機種の明確なリストは発表されていませんが、動作には一定レベルのローカルプロセッサ能力が必要になると思われます。iPhone用のGeminiアプリへの対応については、まだ発表されていません。

いつものように、公式のアドバイスは「回答の正確性を確認する」ことです。そのため、新しくて洗練されたインターフェースを利用できるからといって、Gemini AIの信頼性が以前よりも向上しているわけではありません。また、このアプリが動作するにはインターネット接続が必要です。アプリがウェブからサポートを受けるためです。

この機能は簡単に見つけられます。Geminiチャットの入力ボックスの右端にあるボタン（音波のような形）をタップすると、Gemini Liveインターフェースが起動します。そこから画面下部に2つの新しいアイコンが表示されます。1つはカメラにアクセスするためのアイコン（ビデオカメラアイコン）、もう1つはスマートフォンの画面にアクセスするためのアイコン（四角形の中に矢印）です。

Gemini Liveインターフェースを閉じると、会話が通常のテキストチャットとして記録されているので、必要に応じて後で確認できます。Google Pixel 9に新機能が搭載されたので、既に答えを知っている質問を使ってテストし、役に立たない幻覚がないか確認しました。

Gemini Live をテストする

まず、カメラインターフェースを読み込み、ノートパソコンで視聴していた「Severance」のエピソードについてGemini Liveに尋ねました。AIは最初、私が「YOU」を視聴していると勘違いしました。おそらくペン・バッジリーとアダム・スコットを混同したのでしょう。しかし、すぐに間違いを修正し、正しい番組を識別して画面上の俳優の名前を教えてくれました。

次に、UN3481ラベルの荷物について尋ねました。これは機器（この場合はオーバーイヤーヘッドホン）内に梱包されたリチウムイオン電池です。Gemini Liveは、リチウムイオン電池が含まれていることは正しく認識し、取り扱いには「特別な注意」が必要だと説明しましたが、それ以上の情報は提供しませんでした。さらに質問すると、これらの電池は機器内ではなく、別途梱包されていると返答されました。Gemini Liveさん、回答は間違っています。UN3480コードについてお考えなのですね。

Gemini Liveは、Fitbit Charge 6にスマートフォンのカメラを向けると、リセット方法を教えてくれました（ただし、AIは最初Fitbit Charge 5だと認識していたので、これはよくある間違いです）。ガジェットのトラブルシューティングをしようとしていて、デバイスのメーカーや型番がよくわからない場合、この機能が役立つことは容易に想像できます。

Gemini Live で画面を共有する機能は面白いです。アプリが小さなウィジェットに縮小されるので、普段通りスマートフォンを使いながら、画面に表示されているものについて質問できます。Gemini Live は、私が使用しているアプリや、映画のポスターやバンドの写真といったアプリ内のコンテンツを正確に認識してくれました。また、外国語のソーシャルメディアの投稿も正確に翻訳してくれました。

最近のレスター対ニューカッスルのサッカーの試合を放送しているウェブサイトについてですが、Gemini Liveはスコアとゴールを決めた選手を正確に教えてくれました。これらの情報はすべて画面上に既に表示されていました。ところが、試合日時を尋ねると、AIは混乱し、2023年5月22日（同じチームが対戦しますが、ほぼ2年前）と答えました。

Gemini Live の回答の速さや、落ち着いて安心感を与えるような対応には文句のつけようがありませんが、結果の質には依然として課題が残ります。もちろん、複雑な Google 検索で答えるよりも、カメラを向けて「どうすれば直せるの？」と尋ねるだけで済むので、間違いがあっても多くの人が好んで使うかもしれませんが、それでもやはり懸念材料です。

本質的には、これはビジュアル検索の強化版、インスタント版に過ぎません。以前は、同じ検索クエリに対してGoogleに「UN3481 ラベル」と入力するだけで済んでいました。しかし、従来の青いリンクの検索結果リストでは、検索対象の情報を確認し、その信頼性と権威性を判断できますが、Gemini Liveは、その仕組みが見えない、閉じた箱のようなものです。まるで魔法のように感じられることもありますが、そのインターフェースのせいで、表示される内容をすべて再確認しなければならないのは理想的とは言えません。