皆さんも既にお分かりかと思いますが、これらのAIは本質的に確率機械です。未来の都市景観を数多く収集することで、未来の都市景観がどのようなものであるべきかをある程度予測できます。しかし、現実世界の構成要素を理解しておらず、世界についての固定観念を記憶に留めておくことができません。そのため、AIは絶えず世界を想像し直し続けているのです。

Runway は、フレーム内の他のすべてを発明する間、参照できるイメージを何度も使用してこの問題を修正することを目指しています。つまり、フレームごとに人物が同じに見えるようにし、主要キャラクターが家具を通り抜けたり壁に変身したりすることによる問題を減らす必要があります。

ランウェイ社によると、新しい第4世代モデルは、これまで以上に「世界を理解し」、「現実世界の物理法則をシミュレート」できるという。実際のビデオカメラを持って外に出かける利点は、橋を片側から撮影し、次に渡って反対側から同じ橋を撮影できることだ。AIでは、毎回異なる橋の近似値が得られる傾向がある。ランウェイ社はこの点に取り組みたいと考えている。

Runwayが作成したデモ動画を見れば、一貫性という点では彼らがかなり良い仕事をしていることがわかるでしょう（もちろん、これらは幅広い選択肢から厳選されたものですが）。このクリップに登場するキャラクターは、髭、服装、見た目の年齢に多少の違いはあるものの、どのショットを見てもほぼ同じように見えます。

他にも「The Lonely Little Flame」（上）という動画があります。これは、他のRunwayの動画と同様に、実際のアニメーターや映画製作者の努力によって合成されたと言われています。非常にプロフェッショナルな仕上がりですが、スカンクの形や模様はシーンごとに変化し、物語の後半に登場する岩のキャラクターの形も変化します。最新のモデルを使っても、まだ改善の余地はあります。

Gen-4モデルは現在、Runway有料ユーザー向けに画像から動画を生成するために利用可能ですが、シーン間の一貫性機能はまだリリースされていないため、個人的にテストすることはできません。Soraで短いクリップをいくつか作成してみましたが、オブジェクトが空中から現れたり消えたり、キャラクターが壁や家具をすり抜けたりするなど、一貫性と現実世界の物理法則が依然として問題となっています。以下に私の作品の一例を掲載します。

Soraの公式ショーケースページを見ればわかるように、洗練されたクリップを作成することも可能です。この技術は既に高い水準に達しており、プロの制作現場で限定的に使用され始めています。しかし、昨年取り上げたタクシーの消失や変形の問題は依然として残っています。

もちろん、1年前のAIビデオ技術を見れば、これらのモデルがますます向上していくことがわかります。しかし、ビデオの生成はテキストや静止画像の生成とは異なります。ビデオの生成には、AIが学習するのが難しい現実世界の物理学の理解だけでなく、はるかに多くの計算能力と「思考」が必要になります。

次の記事へスクロールしてください