ディープラーニングによる機械学習によって、現在のAIは一部の分野で既に人間の仕事を代替できるほどの能力を獲得しつつあります。これは映像制作の領域においても例外ではなく、最新のAIによる映像編集技術は既に実用段階であると言えるでしょう。本記事では、AIによる映像編集がどこまで進化を遂げているのかを解説します。
進化を続ける「AI映像編集」
そもそも「AI（Artificial Intelligence）」とは「人工知能」と訳され、人間の知能をコンピューター上で人工的に再現する取り組みを指します。ディープラーニング（深層学習）という新たな機械学習の普及によって劇的に発達したAIは、以前とは比べ物にならないほど汎用的な情報処理能力を獲得し、人間の仕事を代用できるようになりました。それどころか、膨大なビッグデータを用いた機械学習を経た高性能AIは、一部の領域ではすでに人間に比肩、あるいは凌駕する知能の獲得に至っています。AIがチェスや将棋などで人間のプレイヤーを負かしたニュースを見て衝撃を受けた人も多いのではないでしょうか。
AIによる機械学習は自然言語処理や画像認識にも及んでおり、これによってAIはまるで人間のように会話したり、特定の画像・映像を抽出したりすることも可能です。例えば医療の分野においては、AIに大量の脳の画像データを機械学習させることで、脳の正常/異常の精緻な区別をAIにさせる画像診断技術が実用化されています。このようなAIの画像解析機能が、映像制作の現場にも応用可能であることは明らかでしょう。
AIによる画像・映像編集技術は、簡易的なものであればすでに私達にとって身近なものになっています。例えば、画像や映像を加工できるスマートフォンのアプリの中には、AI技術が使われているものも数多く存在するのです。
また、スポーツの試合の撮影などプロフェッショナルな現場においてもAIの技術が活用されています。イスラエルのPixellot社が販売しているAIカメラは、選手やボールの動きを正確にトレースしながら試合を自動撮影し、CMの挿入も含めた中継用の映像編集まで仕上げてくれます。つまり、AIカメラがプロのカメラマンやディレクターの仕事を代行しているのです。
こうしたAIの技術は、映像編集だけでなく試合分析などにも役立てられています。スポーツアナリストが使用するプレーの映像分析ソフトウェアにAI技術が活用されているのです。試合映像の中から特定のプレーシーンを自動的に抽出したりタグ付けしたりして、プレー分析に役立てています。例えばサッカーの試合であれば、フィールド上の選手やボールの軌跡をマッピングしたり、パスやタッチなど個々の動きを抽出したりすることも可能です。スポーツ視聴の楽しみとしては様々なプレーを分析することも含まれますが、AIはこうしたデータの提供にも寄与するのです。
このようにAI技術は映像の撮影を始め、特定のシーンの抽出、編集、分析など広い用途に活用することが可能です。AIによる映像編集は、人間による映像編集に比べてメリハリがなく個性が乏しいため、ドラマ性などが伝わりにくいといった指摘もあります。しかし、AIに任せられる部分はAIを利用し、肝心な部分だけ人間が手を入れるといった「分業」をすることで、従来よりも遥かに効率的な映像編集が実現できることでしょう。
AIによる映像編集はどのように行われるのか
ソニーは、AIによる映像編集を可能にするAIプラットフォーム「Media Analytics Portal」を提供しています。このサービスを活用することで、ユーザーはデータ分析やワークフローの効率化が実現可能です。
Media Analytics Portalの代表的な機能としては、AIとコンテンツ管理システムを連携させた「ダイジェスト自動編集機能」が挙げられます。複数のAIエンジンを組み合わせ、各エンジンに解析条件を設定してそれぞれの解析結果を統合して判定することで、特定シーンを自動抽出してハイライトを自動的に編集されます。
AIプラットフォームによる統合管理
Media Analytics Portalは「AIプラットフォーム」と名付けられているように、複数のAiモデルを組み合わせて統合管理することが可能です。連携できるAIモデルはソニー製だけに限定されるものではなく、マイクロソフトなどの他社製品も含まれます。Media Analytics Portalによって複数のAIモデルを統合的に管理・活用することで、ユーザーは簡単かつ手軽にAIを活用できるのです。
ワークフローとの結合
Media Analytics Portalは、「Media Backbone NavigatorX」などのコンテンツ管理システムと連携させることもできます。こうした連携によって、データ検索や分析だけでなく、データの取得、素材の切り出し、ダイジェストの自動編集、さらにはSNS投稿までワンストップで実現できます。このようにMedia Analytics Portalでワークフローを結合することで、作業者の作業負担を削減することが可能です。
AIによる映像編集の利用例
ここまで紹介したように、AIによる映像編集技術はすでに高度なレベルに達しており、企業活動において利用する企業は増えつつあります。ここからは、AIによる映像編集の具体的な利用例として株式会社NTTぷらら様の事例をご紹介します。
既存プラットフォームの進化
NTTぷらら様は、インターネット接続サービス「ぷらら」や映像配信サービス「ひかりTV」を軸に事業を展開している企業です。NTTぷらら様がソニーの提供する映像・音響解析プラットフォームを採用するに至ったのは、ひかりTVのプラットフォームを進化させ、次世代の映像コンテンツを牽引しようという狙いによるものでした。
AIで映像・音声を解析、ダイジェスト映像を自動作成
NTTぷらら様は、特にAIの映像・音響解析技術を用いた「ダイジェスト映像の自動作成技術」に着目し、スポーツの試合のダイジェスト映像を自動作成するためにAIの映像編集技術を活用しています。
スポーツのダイジェスト映像は、試合の流れなどスポーツに内在する「物語」のエッセンスを集約したものである必要があります。それゆえ、例えば卓球の試合であれば、激しいラリーの応酬や観客が盛り上がった場面などを適切に抽出し、「物語」を魅力的に構成していく必要があります。
ソニーはこうした試合のハイライトの抽出を、AIによる音声解析技術を用いることで可能にしました。卓球ボールが跳ねる音を検出してラリーとそれ以外の場面を自動で区別したり、観客の歓声から「盛り上がり」を解析したりできるようにしたのです。
このような方法でAIが試合の各シーンからダイジェストに適したシーンを抽出するため、人間の作業はAIが用意してくれた素材を基にストーリーを組み立てて編集し、最後に配信形式に合わせてエンコードするだけで済むようになります。
現状ではダイジェストシーンの抽出作業の場面でAIを用いていますが、今後はシーンの抽出後のワークフローも自動化できるようになることを目指しています。AIによるダイジェストの自動作成を発展させた先には、新たな価値を持つビジネスの創出も期待されることでしょう。
まとめ
本記事ではAIによる映像編集技術の進化について解説しました。ディープラーニングによって高性能化したAIの映像編集技術は、スポーツの試合の撮影やダイジェスト映像の編集作業に用いられるなど、すでに実用段階に達しています。現在はまだ人による編集が必要な場面も多いですが、今後さらに進化していくのは間違いないでしょう。
