Photoshop スタイルの変更には、切り抜き、回転、背景の変更などの操作が含まれます。グローバル写真最適化には、画像の明るさ、コントラスト、鮮明度など、画像全体の効果の調整が含まれます。一方、ローカル編集は、画像の形状、サイズ、色など、画像の特定の領域に影響します。

MGIEは主にMLLM（マルチモーダル大規模言語モデル）を基盤としています。MLLMは、テキストに加えて画像や音声も解釈できるLLMの一種です。この場合、MLLMはユーザーコマンドを受け取り、適切な編集指示として解釈するために使用されます。MGIEの研究論文では、ユーザーコマンドは多くの場合曖昧すぎて、追加のコンテキストなしではシステムが適切に理解できないため、これが従来困難であったことが説明されています。（「ピザをよりヘルシーに見せる」という指示は、プログラムにとってどのような意味を持つのでしょうか？）しかし、研究者たちは、MGIEのようなMLLMがここで効果的であると述べています。

研究論文によると、MGIEは多種多様なビジュアル編集が可能です。例えば、水域の画像に稲妻を追加して水面に稲妻を反射させたり、画像の背景にある物体（例えば、意図せず写真に写り込んでしまった人物）を削除したり、ドーナツの皿をピザのように別のものに加工したり、ぼやけた被写体にフォーカスを当てたり、綺麗な写真からテキストを削除したり、他にも様々な編集が可能です。

完全な研究論文を熟読すれば、この技術がどのように機能するかがわかります。この研究論文には、エディターの動作例も含まれています。こちらからご覧いただけます。

もちろん、これは写真編集におけるAIの応用としては初めてではありません。Photoshopには、ユーザーの指示に基づいて生成されるものも含め、これまで多くのAI編集ツールが搭載されてきました。しかし、MGIEは、コマンドベースのAI画像エディターというビジョンを最も実現したものと言えるでしょう。

AppleのMGIE画像エディタを自分で試す方法

このモデルはオープンソースなので、誰でもダウンロードして自分のツールに統合できます。しかし、私のようにどこから始めたらいいのかわからない場合は、プロジェクトの研究者の一人がホストしているデモを試してみてください。編集したい画像をアップロードし、コマンドを入力するだけで、処理できます。

しかし、現時点ではデモへのリクエストがかなり溜まっています。私は現在237人のうちの1人ですが、このモデルを試してみたいという人が増えれば、この数はさらに増えていくと思います。

AppleがMGIEを自社プラットフォームに統合するかどうか、またどのように統合するかは不明です。しかし、もしAppleがMGIEを統合する時期があるとすれば、それは間違いなく2024年でしょう。

次の記事へスクロールしてください