Google GeminiやChatGPTといった生成AIツールが、私たちが日常的に使うテクノロジーのほとんどに浸透しつつあることに、おそらく気づいているでしょう。これらのツールは、巨大な大規模言語モデル（LLM）に基づいています。LLMとは、膨大な量の人間のデータで学習されたネットワークで、リアルなテキスト、画像、動画を生成できるものです。

これらのLLMにアクセスするためにクラウドアプリは必要ありません。自分のコンピューターでも実行できます。オフラインでもこれらのモデルが提供するすべての機能を活用でき、GoogleやOpenAIのようなサービスにプロンプ​​トや会話を渡す必要もありません。

NVIDIAは、RTX 30およびRTX 40シリーズのグラフィックカードのパワーを活用した独自のローカルLLMアプリケーション「Chat with RTX」をリリースしました。これらのGPUをお持ちであれば、生成型AIチャットボットをコンピューターにインストールし、ニーズに合わせてカスタマイズできます。

始め方

始める前に、お使いのNvidia GPUの最新ドライバーがインストールされていることを確認してください（PCのGeForce Experienceアプリがサポートします）。その後、「Chat with RTX」のダウンロードページにアクセスしてください。ツールを実行するには、Windows 11、GeForce RTX 30/40シリーズGPU（または8GB以上のVRAMを搭載したRTX AmpereまたはAda世代GPU）、そして16GB以上のRAMが必要です。

Nvidiaはこれを「デモアプリ」と呼んでいますが、これはまだ完成版ではないことを意味していると考えられます（そのため、バグや不具合が発生する可能性があります）。また、ダウンロードサイズも約35GBとかなり大きく、LLMがいくつか含まれているため、ディスク容量やインターネット速度に制限がある場合は注意が必要です。インストールツールもすべてのタスクを完了するまでに時間がかかります。

最終的に、スタートメニューにChat with RTXアプリケーションが追加されているはずです。実行すると、しばらく処理が進むと、デフォルトのウェブブラウザにプログラムインターフェースが表示されます。左上で、使用するオープンソースAIモデル（MistralまたはLlama）を選択できます。これで、ChatGPTやGoogle Geminiと同じようにプロンプ​​トを送信できるようになります。

以前に LLM を使用したことがある場合は、これらの生成 AI エンジンの能力がわかるでしょう。電子メール、ドキュメント、テキスト メッセージなどの作成を支援してもらったり、複雑なトピックを簡素化したり、通常は Web 検索で調べるような質問をしたりすることができます (「大人 4 人で楽しめるパーティー ゲームは何ですか?」など)。

標準的なAIボットのルールが適用されます。できる限り具体的かつ詳細な回答を心がけ、返答を過度に信用しないように注意してください（特にこれは「デモ」であるため）。Chat with RTXはWeb上の最新情報を検索できないため、最新の情報に基づいた回答を生成するのには適していませんが、学習済みの膨大なオンラインテキストに基づいて常に回答を提供しようとします。

インターフェースの下部には、前回のプロンプトから新しい回答を生成するボタン（現在の回答に満足できない場合）、元に戻すボタン（前のプロンプトに戻る）、そして会話履歴を消去して最初からやり直すことができるチャット削除ボタンがあります。現時点では、テキストをコピー＆ペーストする以外に回答をエクスポートする方法はありません。

独自のデータとYouTube動画を追加する

Chat with RTX には、まだ初期段階ですが、いくつか便利な機能があります。その一つが、提供されたドキュメントに基づいて回答を生成する機能です。例えば、1週間分の調査結果、分析が必要な一連のレポート、あるいは執筆中のファンフィクション全体など、様々なドキュメントが対象になります。「データセット」の見出しの下で「フォルダパス」を選択し、使用したいドキュメントを含むフォルダをプログラムに指定してください。

アプリは指定されたフォルダをスキャンします（フォルダ内にファイルが多い場合は1～2分かかる場合があります）。その後、クエリの入力を開始できます。ボットはテキストをスキャンして適切な回答を探し、回答の最後に使用したファイルの名前を表示します。要約を尋ねたり、事実を確認したり、入力したテキストに基づいてボットに新しいテキストを生成させたりすることも可能です。

繰り返しになりますが、これは100%の精度ではないことが知られている技術の初期バージョンであり、取締役会の意思決定の根拠としてはまだ適切ではありません。しかし、インタビューの記録や詩集など、提出した文書から分析できる法学修士号（LLM）を試してみるのは楽しいものです。

トランスクリプトと言えば、Chat with RTXはYouTube動画を分析し、クリップにリンクされたトランスクリプトを介してそれに基づいた応答を提供することもできます。（私たちが行ったテストによると、まだトランスクリプトがない動画でも、自動的にトランスクリプトを生成できます。）これはYouTubeのプレイリスト全体にも対応しているので、一連のクリップ全体を同時にプログラムで再生することも可能です。

データセットとしてYouTube URLを選択し、動画または再生リストのアドレスを下のボックスに貼り付けます。再生リストを使用する場合は、右側のボックスで再生リストに含める動画の数を指定できます。最後に、右端のダウンロードボタンをクリックすると、Chat with RTXがトランスクリプトテキストをダウンロードして処理し、あらゆるプロンプトに対応できるようになります。

ドキュメントスキャン機能と同様に、これは概要を取得したり重要な情報を抜き出したりするのに便利ですが、このプログラムの中で最もバグが多いと感じました。公平を期すために言うと、このプログラムはまだバージョン0.2です。アプリが時折、どの動画を指しているかを誤認識することもありましたが、視聴する時間がない長い動画やプレイリストについてすぐに回答が必要な場合は、「Chat with RTX」が便利なツールになるでしょう。