・Runwayが高精細でコントロール性の高い動画生成モデル「Gen-3 Alpha」を発表。写真と動画を統合して学習し、様々なタスクに対応可能。
・時間軸の細かな制御が可能で、創造的なトランジションやシーン内の要素を正確にキーフレーミングできる。また、表情豊かな人物キャラクターの生成にも優れている。
・大手エンタメ・メディア企業と協業し、業界特化モデルのカスタマイズにも対応。スタイルの統制性や一貫性、特定の芸術的・物語的要件への対応が可能に。
AIによる動画生成技術で先駆的な存在であるRunwayが、新たな動画生成モデル「Gen-3 Alpha」を発表しました。Gen-3 Alphaは、高精細でコントロール性の高い動画生成を実現する画期的なモデルです。
写真と動画を統合して学習
Gen-3 Alphaの大きな特徴は、写真と動画を統合して学習している点です。これにより、テキストから動画を生成する「Text to Video」、画像から動画を生成する「Image to Video」、テキストから画像を生成する「Text to Image」といった様々なタスクに対応可能となりました。
また、「Motion Brush」や「Advanced Camera Controls」、「Director Mode」といった既存の制御モードに加え、構造やスタイル、モーションをより細かく制御するための新しいツールにも対応する予定だそうです。
時間軸の細かな制御が可能に
Gen-3 Alphaは、時間的に密度の高い説明的なキャプションを用いて学習されています。これにより、創造的なトランジションやシーン内の要素を正確にキーフレーミングすることが可能になりました。
具体例として、「丘の向こうに広がる街並みが見えるアリの巣からアリが出てくる超接写」や「ブルガリアの路地に津波が押し寄せるダイナミックな動き」といったプロンプトから生成された動画を公開しています。
表情豊かな人物の生成にも対応
Gen-3 Alphaは、様々なアクション、ジェスチャー、感情を持つ表情豊かな人物キャラクターの生成にも優れているとのことです。
例えば、「テレビの光に照らされた男性の映画的なワイドポートレート」や「横から照らされた女性のクローズアップ」といったプロンプトから、リアルな人物が生成されています。
業界特化モデルのカスタマイズにも対応
大手エンタメ・メディア企業と協業し、Gen-3のカスタムバージョンを開発しているそうです。
Gen-3モデルのカスタマイズにより、スタイル面でより統制がとれ一貫性のあるキャラクター生成や、特定の芸術的・物語的要件への対応が可能になるとのことです。
