つぶやく【ACADEMY】Epic Gamesによるパフォーマンスキャプチャのビギナーズガイド
 |
ゲームデベロッパがキャラクターの動きにリアリティを持たせる方法の1つに，モーションキャプチャ技術がある。俳優が特殊なスーツを着てモーションを行い，そのモーションをデータストリームとしてキャプチャし，デジタルアバターにリターゲットする。その結果，ゲーム内のループやカットシーンで，よりリアルなキャラクターアニメーションを実現している。
ゲーム開発において，モーションキャプチャ（mocap）が最も早く使われたのは1994年にさかのぼる。それ以来，mocapはGears of War，Grand Theft Auto，Mortal Kombatなどの大成功を収めたシリーズでプロセスの一部となっている。
しかし，このプロセスでは，伝統的にボディアニメーションとフェイシャルアニメーションの間に切り離された部分があった。
最近のモーションキャプチャ技術の進歩により，このような断絶はもはや必要ない。顔のキャプチャシステム ― かつては不便で，固定式で，大予算のスタジオにしか手が届かなかったが，今では，より感度が高く，安価で，俳優がmocapセッション中に簡単に着用できるポータブルなものになっている。iPhone Xをヘルメットに装着して使用するだけのシステムもある。
 |
ボディモーションキャプチャとフェイシャルキャプチャを組み合わせることで，俳優のパフォーマンス全体を，あらゆる身体的なニュアンスを含めてキャプチャし，デジタルキャラクターに転送することが可能になった。パフォーマンスキャプチャと呼ばれるこのタイプのキャプチャは，俳優がキャラクターに命を吹き込むためにあらゆるスキルを駆使することを可能にするだけでなく，クリエイターが作業するためのデータセットをはるかに充実させることができる。
ゲームのシネマティクスにおけるパフォーマンスキャプチャの影響は，Ninja TheoryのHellblade: Senua's Sacrificeのようなタイトルですでに感じられており，セヌアが内なる悪魔との感情を揺さぶる台詞を，女優のMelina Juergens氏の演技から直接的に得ている。これらのカットシーンでのセヌアの混乱の生々しい感覚は，デジタルキャラクターに高度な人間性をもたらすパフォーマンスキャプチャの力を物語っている。
なぜリアルタイムパフォーマンスキャプチャなのか？
Juergens氏のパフォーマンスのもう1つの興味深い点は，パフォーマンスキャプチャセッション中にリアルタイムでセヌアにリターゲットされたことだ。
セヌアの動揺の生々しい感覚は，デジタルキャラクターに高度な人間性をもたらすパフォーマンスキャプチャの力を物語っている。
しかし，カットシーンに使うだけなら，リアルタイムキャプチャを設定する意味があるのか？ キャプチャデータを記録して，そのデータをキャラクターにリターゲットするだけでいいのではないだろうか？
リアルタイムシステムを使うメリットは，アクターがスーツを着ている間に，mocapスタジオの中でパフォーマンスを微調整できることだ。セッション中，監督のTameem Antoniades氏は，Juergens氏のパフォーマンスがSenua氏のリグと環境の両方でどのように機能するかを即座に確認することができ，映画のセットのようにJuergens氏に演出の支持を出すことができた。そして，最後のテイクが終わったときには，自分たちが必要としているものを手に入れたことを確信できる。
驚くことではないが，プロジェクションのリアルタイム グラフィックスは，ゲーム エンジン（この場合は Unreal Engine）を使用している。Unreal Engine の Live Link プラグインは，mocapシステムのデータを直接エンジンにストリーミングしてリアルタイムでプレビューできるように設計されている。Ninja Theoryのパフォーマンスキャプチャ分野での取り組みは，ゲームの続編であるSenua's Saga: Hellblade IIでも継続されている。
 |
独自のパフォーマンスキャプチャシステムの設定
もしかしたら，あなたはモーションキャプチャに手を出したことがあるかもしれないし，スーツの研究をしたことがあるかもしれない。もしかしたら，あなたの映画のための可能性としてリアルタイムmocapを見たことがあるかもしれない。しかし，どこから手を付ければいいのだろうか？
Epic Games は最近，「Choosing a real-time performance capture system」というホワイトペーパーを発表した。これは，ボディキャプチャとフェイシャルキャプチャの両方に対応するシステムの種類を調査したものだ。このホワイトペーパーでは，小道具の使用や複数のキャラクター間のインタラクションなど，プロダクションのニーズに基づいてシステムを選択する方法について詳しく説明している。
 |
顔のキャプチャシステムがどのように機能するかについての説明もあるが，これはボディキャプチャとはいくつかの重要な点で異なる。
ボディキャプチャが基本的に骨格の動きを探すのに対し，フェイシャルキャプチャは皮膚の形を見る。顔の中で唯一動いている骨は下あごだけで，ほとんどの顔の表情は，顔の筋肉が皮膚の下で動いて，比較的小さな膨らみや溝を引き起こすことから来ている。すべての人間に起こりうる肌の形の変化は，ある範囲に収まっているので，システムはその範囲内だけを見ていればいいのだ。iPhone X以降のAnimojisは，この技術を活用して，任意の顔の表情や発話をリアルタイムでアニメーションキャラクターにリターゲットしている。
この論文では，異なるプロダクションが，それぞれの非常に明確なニーズに基づいて，どのようにして異なるシステムを選択したかを示すケーススタディが含まれている。
Bebylonのためのシンプルなリアルタイムシステム
しかし，すべてのパフォーマンスキャプチャが人間のアクターを模倣することを目的としているわけではない。ロサンゼルスを拠点とするKite ＆ Lightningは，近日発売予定のBebylon Battle Royaleのクリエイターで，ゲームのスタイル化された赤ちゃんキャラクターをアニメーション化するための比較的シンプルなシステムを開発した。
同社の創設者の1人である Cory Strassburger 氏は，iPhone X をヘルメットに装着したリアルタイム パフォーマンス キャプチャ システムを開発した。SIGGRAPH 2018でデモを行い，同年のReal-Time Live！では1位を獲得している。
 |
レゴ ミニフィギュア リアルタイムパフォーマンスキャプチャ
Warner Bros. Pictures，The LEGO Movie 2の公開直前に，デジタルスタジオのAnimal Logicに，毎日ライブでトリビアコンテストを開催している大ヒット携帯ゲームHQ Triviaとの提携を依頼した。
その結果，元気いっぱいの司会者としてHQ Triviaのプレイヤーにお馴染みのScott Rogowsky氏が，レゴのミニフィギュアになって登場した。通常，ゲーム中の質問や回答，プレイヤーのコメントをライブで参照しながら，Rogowsky氏自身がスクリーンに登場する。
映画の公開に合わせたHQ Triviaの特別エピソードでは，Rogowsky氏の代わりにレゴのミニフィギアを登場させ，Rogowsky氏はmocapのスーツを着てiPhoneと向き合い，ミニフィギュアの発話や動きをリアルタイムで駆動させた。その様子はこちらの動画で見ていただける。
手頃な価格のハードウェアと Unreal Engine のようなフリーソフトウェアでパフォーマンス キャプチャが可能になったことで，この技術はゲームだけでなく，映画制作でも大きな広がりを見せている。このエキサイティングで成長著しい分野に参入するために必要なことについては，ホワイトペーパー「Choosing a real-time performance capture system」を見てほしい。
David Hibbitts は，Epic Games の特別プロジェクト チームのバーチャル プロダクション エンジニアだ。詳細については，Epic Games のWebサイトの Virtual Production Hub を見てほしい。
GamesINdustry.biz ACADEMY関連翻訳記事一覧
※本記事はGamesIndustry.bizとのライセンス契約のもとで翻訳されています（元記事はこちら）
