Anthropicの最新AIモデルがあなたのコンピューターを制御可能に

Anthropicの最新AIモデルがあなたのコンピューターを制御可能に
Anthropicの最新AIモデルがあなたのコンピューターを制御可能に

ライフハッカーのロゴ

  • Bluesky ページを見る (新しいタブで開きます)
  • Instagramページを見る(新しいタブで開きます)
  • Facebookページで見る(新しいタブで開きます)
  • YouTubeページを見る(新しいタブで開きます)
  • Twitterページを見る(新しいタブで開きます)
  • コピーしました

座って、クロードに単調な仕事をさせてください。

クロード・AI

クロードAIがマウスとキーボードを操作できるようになりました。 クレジット: Anthropic

目次


退屈なコンピューター作業の一部を人工知能に任せたいとずっと思っていたなら、その未来が少し近づきました。Anthropic がリリースしたばかりのアップデート版 Claude 3.5 Sonnet AI モデルは、マウスとキーボードを操作して、タスクを自動で完了できます。

現在、これはベータテスト段階であり、Claude API にアクセスできる開発者のみが利用できますが、将来的には、フォームへの入力、ファイルの移動、Web 上での情報の検索など、これまで指や親指に頼っていた他のすべてのタスクを AI に任せることができるようになるかもしれません。

まず、更新された Claude モデルについてです。Anthropic は現在、Claude 3.5 Sonnet ユーザーをリリースしました。同社によると、このモデルは「全面的な改善」と、特にコーディング機能の面で大幅なアップグレードを提供し、標準的なベンチマーク テスト (GitHub に基づく SWE ベンチを含む) 全体でパフォーマンスが大幅に向上しています。

ライフハッカーのロゴ

あなたも気に入るかもしれない

さらに、Claude 3.5 Haikuがあります。これは、Anthropicが提供する、より高速で軽量、低価格、そして低消費電力のAIモデルの最新版です。Anthropicによると、全体的なパフォーマンスが向上しており、Sonnetと同様に、コーディング能力の面で特に優れた点があるとのことです。

しかし、最も注目を集めるのは、Claude 3.5 Sonnetアップデートで有効化され、デスクトップ自動化を新たなレベルに引き上げるコンピュータ操作機能です。ただし、Anthropicは現時点では、これはあくまでベータ版であることを強調しています。

クロード3.5ソネットにおけるコンピュータの使用

下のAnthropicのデモ動画では、Claude AIがフォームに入力する様子を見ることができます。このフォームに必要な様々な情報は、複数のデータベースやブラウザのタブから取得する必要がありますが、ユーザーはフォームへの入力を指示し、必要な情報がどこにあるかを示すだけで済みます。

クロードはタスクを実行する際にスクリーンショットを撮り、何を見ているのかを解析します。これは、AIが既に広く知られている画像認識・分析機能と類似しています。そして、画面に表示されている内容と与えられた指示に基づいて、次に何をすべきかを判断します。

この場合、AIは賢く、探している情報を見つけるには別のブラウザタブに切り替えて会社名を検索する必要があることを認識します。カーソルの移動、クリック、そして入力はすべてクロードによって処理されます。ボットは適切なデータを識別し、フォームの適切なフィールドにコピーすることができます。

これまでのところどう思いますか?

最後に、クロードは画面上のフォーム送信ボタンを見つけて選択し、タスクを完了させるほど賢く、ユーザーが見ている間に完了します。AIモデルは最初から画面上の内容を理解し、それを操作してタスクを完了できる能力を備えているようです。

しかし、Anthropicは、スクロール、ドラッグ、ズームといった基本的なタスクはClaudeにとって依然として「課題」であると指摘しており、ベータテスターに​​は当面「低リスク」のシナリオでテストするよう推奨している。AIがコンピューティングタスクをどれだけ正確に実行できるかを測定するOSWorldベンチマークでは、Claude 3.5 Sonnetのスコアは14.9%(人間のスコアは通常70~75%程度)とされている。

クロード・AI

クロードは今では指示に従ってコンピューターのタスクを実行できる。 クレジット:アントロピック

新機能の開発者たちは、発生する可能性のあるエラーのいくつかを遠慮なく指摘しています。あるテストでは、クロードが何の理由もなく画面録画をキャンセルしました。また別のテストでは、ボットが突然、ランダムにコーディングタスクからイエローストーン国立公園のオンライン写真の閲覧に切り替えました。

アンスロピック社は、AIの進歩に伴い、新たな安全性の懸念が生じる可能性があると指摘しています。社内の信頼性・安全性チームによる監査によると、現状のコンピューター利用機能はシステムセキュリティに重大なリスクをもたらすものではありませんが、これは継続的に再評価される予定です。さらに、ユーザーが送信したデータ(キャプチャしたスクリーンショットを含む)は、Claude AIモデルのトレーニングには使用されません。

ダウンロードニュースレター 技術ニュースを見逃さない

ジェイク・ピーターソンのポートレート ジェイク・ピーターソン シニア技術編集者

ジェイクとチームからの最新の技術ニュース、レビュー、アドバイスを入手してください。

ダウンロードニュースレター テクノロジー 関連のニュースを見逃さないでください。ジェイクとチームからの最新のテクノロジーニュース、レビュー、アドバイスをお届けします。

次の記事へスクロールしてください