つぶやく【ACADEMY】リモートワーク時代のパフォーマンスキャプチャ
 |
この数か月，COVID-19の大流行が我々の日常生活の些細な部分にまで及んだが，ゲーム業界はいつも通りの生活を送ろうと頑張っていた。しかし，ゲームの多くの分野では，共有スペースの利便性がなければ，効率的に進行することができなかった。パフォーマンスキャプチャもその1つだ。
通常の状況では，パフォーマンスキャプチャのニーズがあるデベロッパは，社内にスタジオを持つか，外部のパートナーの敷地内で作業をするかのどちらかになる。 ―しかし，どちらもリモートワークや社会的な距離感がある中では実現不可能だ。
「モーションキャプチャは我々の課題でした」とDeck Nine GamesのパフォーマンスディレクターであるWebb Pickersgill氏は語る。「我々は，いつもコロラド州デンバー郊外のスタジオに，20フィート×20フィート程度の適度な大きさのキャプチャステージを使っています。そのため，リーダーから『これをどうやってリモートで取ればいいんだ？』と聞かれたとき，我々の頭脳は少し爆発しました。というのも，どうやってやればいいか見当もつかなかったからです」
 |
1か月間の試行錯誤の末，Deck Nineは自宅でのパフォーマンスのキャプチャを可能にするハードウェアキットをまとめて，主役の俳優に出荷した。
「とくにウイルスの影響で，機材を出荷するのに多くの時間がかかりました」とPickersgill氏は付け加える。「正直なところ，機材を搬入するだけでほとんどの時間が過ぎてしまいました。今は俳優の家の地下室で撮影をしていますが，これは非常に小さく，10フィート×12フィート以下で，壁の1つの大部分は機材とカメラと照明だけです」
「普通のMO-CAPのステージでは考えもしなかったようなことをやっています」-Chad Gleason氏, Deck Nine
Deck Nineのイノベーションテクノロジーディレクター，Chad Gleason氏は続ける。「最初に着手したときは，この結果として生産の側面を根本的に変えなければならないのではないか，という疑問がありましたが，我々はすぐに，これはやらなければならないことであり，さもないと終わらないと確信したのです。『やるか死ぬか』という状況でしたが，それが脚本の幅を広げてくれました。普段は考えないようなことも考えて，比較的，近寄りがたいことも考えて…… すべてが消えてなくなりました。我々は普通のMO-CAPステージでは考えもしなかったようなことをやっています」ハードウェアキットの作り方や使用できるソフトウェアの種類から，俳優とリモートで作業したり，スケルトンクルーとセッションを実行する方法まで，このガイドでは，リモートワークの時代のパフォーマンスキャプチャのさまざまな側面を探っていく。
- リモートパフォーマンスキャプチャのさまざまなアプローチ
- 正しいリモートキャプチャソフトを見つける
- 俳優と遠隔で仕事をする方法
- 効率的に，適切なクルーとコミュニケーションをとる
- リモートパフォーマンスキャプチャのコスト
リモートパフォーマンスキャプチャのさまざまなアプローチ
3月末にオンタリオ州が非常事態宣言を出したことで，Ubisoft Torontoは事務所を閉め，リモートで制作を進める方法を探さなければならなかった。
「キーフレームの使用を増やし，既存のモーションキャプチャデータの再利用を行いました」と，パフォーマンスキャプチャディレクターのTony Lomonaco氏は語る。「また，フロアでのリモートコミュニケーションを容易にするために，ビデオシステムを大幅にアップグレードしました。これらの方法を組み合わせることで，チームを安全に保ち，生産を軌道に乗せることができました」
キーフレーミングもDeck Nineが検討した選択肢の1つだったが，Life is Strange: Before the Stormのデベロッパは，最終的にポータブルなハードウェアキットに落ち着いた（下の写真を参照）。
 |
「これは我々が設計することにしたラックの写真ですが，実際には2つのラックになっています」とPickersgill 氏は語る。「重さも考慮しました。俳優が自分でケースを持ち運び，スペースに収納できるようにすることも考慮したのです。そこで我々は，オーディオに特化したケースとMO-CAPに特化したケースに分けることにしました。そのほうが持ち運びが楽ですが，オーディオ専用のパッケージに分割できるようにもしました」
Deck Nineは，モーションキャプチャに移行する前にリモートボイスオーバー（アテレコ）を始めたため，キットをオーディオとモーションキャプチャの2つのパッケージに分けることができるようにしたいと考えていたのだ。
「キットの半分は，VO セッションをキャプチャした数人の俳優に送られ，兄弟キットである MO-CAP キットと合流して主演俳優のところに到着しました」と Pickersgill 氏は説明する。
「俳優にこれらのケースを自分で運んでもらい，スペースに入れることができるかも考慮されていました」-Webb Pickersgill氏, Deck Nine
パンデミックが発生する以前，Deck Nine はパフォーマンスキャプチャに Vicon の光学システムを使用していた。なお，用語や通常利用可能なキャプチャシステムの種類について不明な点がある場合は，Epic Gamesのホワイトペーパーを参照してほしいのだが（参考URL），この光学システムは，俳優の体に置かれたマーカーを "見て，各マーカーの3D位置を1秒間に何度も計算するカメラで動作する"と説明されている。使用するには複数のトラッキングカメラが必要なので，光学システムは通常非常に高価で，さらに重要なことに，自宅からのパフォーマンスのキャプチャには適していなかった。
「明らかに光学システムではうまくいかないので，カメラを必要としないXsensシステムを利用することにしました」とGleason氏は語る。「Facewareを使用して顔のキャプチャを行い，システム全体が非常にポータブルであることが分かりました。また，指のキャプチャにはManus VRグローブを使用していますが，これはXsensシステム（参考URL）やそのソフトウェアと直接インタフェースするため，非常に迅速に立ち上げることができました」
「つまり，これらが（自宅でのパフォーマンスキャプチャに）採用しているコア技術であり，信じられないほどうまくいっています」
 |
Deck Nineが考慮した主な事項は，次のとおりだ。
- いかにして役者にとって技術的な負担を少なくするか？
- 俳優が自分で着ることができるか？
- Deck Nineの自作ソフトとの互換性があるか？
参考までに，Deck Nineがポータブルソリューションに使用した主な機器のリストをこのpdfに掲載しており，その他のリソースも掲載している（以下ではソフトウェアについて詳しく触れる）。Deck Nineはパンデミックが始まる前にその機器の約半分を所有していたが，残りの半分を購入する必要があった，とPickersgill氏は語っている。
「AJAレコーダーを持っていましたが，それは現在のインスタジオのセットアップの一部で，コンバータボックスとタイムコードボックスもいくつか持っていました。我々が持っていなかったものの中には，ケースやラックマウント機器，内部配線などがありました。適切に配線するためには，巨大なケーブルではなく，本当に短いケーブルが必要でした。
「また，すでに使用している機器がある場合もありましたので，たとえばオーディオインタフェース機器などのバックアップユニットを注文する必要がありました。普通のノートPCはあったのですが，そのためには専用のノートPCが必要だったので，専用のものを注文する必要もありました。その場合は，MO-CAPケース用に1台，オーディオケース用に1台のラップトップを注文しました」
適切なリモートキャプチャソフトウェアを見つける
ソフトウェアの面では，ハードウェアと一緒に提供されるもの以外にも，リモートパフォーマンスキャプチャのニーズに役立つフリーウェアを簡単に見つけることができる。
「ラップトップを遠隔操作できるようにする必要があるため，遠隔操作ソフトウェアを検討しました」とPickersgill氏は語る。「我々は，俳優にラップトップを操作させることはありません。 ― 彼らは電源を入れて立ち去るだけです。我々はさまざまな（リモートコントロールオプションを）調べましたが，どれも高価なものばかりでした。結局のところ，特別な設定をしなくてもファイアウォールを通過して誰かの家のラップトップをリモートコントロールできるので，Chromeリモートデスクトップを使い始めました。 言うまでもなくそれは無料です」
「我々は1周回って，他の人たちと同じように Zoom に戻ってきました」-Webb Pickersgill氏，Deck Nine
Deck Nineはまた，チームがリモートカメラを通して見ることができる必要があったため，さまざまなビデオストリーミングのオプションを検討した。「我々は，他のみんなと同じようにZoomに戻っていました」とPickersgill氏は語る。俳優の声をフルクオリティで聞くことができるので，演技ができているかどうかが分かるだけでなく，同時に画面を共有できる。そのため，技術的にすべてが機能しているかどうかを確認してから行動に移すことができるのだ。
チームにとってもう1つの重要なソフトウェアはReaperで，これはパフォーマンスキャプチャのオーディオ側に関連している。
「Reaperはオーディオを録音するためのオーディオツールです。ReaStreamはReaperに組み込まれたプラグインで，VPNを介して高品質のオーディオを完全にストリーミングできます。我々はReaperとReaStreamを使って，コロラド州の地下室からミシガン州のオーディオエンジニアに高品質のオーディオをストリーミングしています」
「もう1つ，Source Connectと呼ばれるものも使っています。これもリアルタイムのビデオをストリーミングするためのオーディオツールです。これも状況によっては使用していますが，同じように，フルクオリティの音声を聞くことができます。Zoom通話のようなものですが，高品質で，実際に高品質（のオーディオ）を録音できるのです」
Deck Nineが使用した機材をリストアップしたpdfファイルには，ソフトウェアに関するいくつかのリソースが掲載されている。
 |
俳優と遠隔で仕事をする方法
しかし，自宅でパフォーマンスキャプチャを行う際の課題は，キットを構築してソフトウェアをマスターするだけに留まらない。また，キャスティングした瞬間から，俳優との仕事の仕方も根本的に変わってくる。
「我々は，ビデオ会議によるリモートオーディションだけでなく，セルフテープ提出によるキャスティングも継続して行いました」と，Ubisoft Torontoのキャスティングプロダクションマネージャー，Angela Bottis氏は述べている。「この時期にゲームにタレントをキャスティングしようとしているチームには，提案されたプロダクションの安全性に関する詳細なガイドラインを事前に提示しておくことをお勧めする。これはUbisoft Torontoで行ってきたことであり，タレントやエージェントに，全員の健康と安全を最優先に考えているチームと一緒に仕事をすることを知ってもらうためのものだ。
「タレントやエージェントに，みんなの健康と安全を優先しているチームと一緒に仕事をすることを知らせます」-Angela Bottis氏, Ubisoft Toronto
複数のハードウェアキットを作成する余裕がない場合は，俳優に複数の役を演じてもらう必要があるかもしれない。「キットをセットアップするのは大変な努力でしたし，自分の役だけでなく，おそらく他の俳優の役も演じることになるということを俳優に伝えるために，その俳優と一緒に多くの時間を費やす必要がありました」と氏は語る。「我々はこのプロジェクトで他の俳優の多くとアテレコの仕事をしています。それは他の誰かの家にVOキットを取得するだけなので（※モーションキャプチャより）はるかに簡単です。実際のモーションキャプチャでは，その後，この1人の俳優ごとに再キャプチャされますので」
これは一般に "RECAP "と呼ばれる。Pickersgill氏は続ける。
「つまり，地下室に俳優がいるということです。彼らは，サウンドコントロールされた環境の中で，顔，体，声を同時に完全にキャプチャします。しかし，他の俳優が自宅で音声を録音したり，リモートセッションで録音したりすることもあります。そして，その音声を主役の俳優に送ります。彼らはそれをリハーサルします。基本的には，ビデオ撮影に慣れている人ならば， Automated Dialog Replacementのようなものです（参考URL）。彼らは声のケイデンスを学習し，それを習得したら，基本的にはリップシンクでVOの演技を行い，自分の顔を使って物理的に再演します。我々はそのようにコンテンツの手助けをする必要があります」
「もしかして，誰かの話すケイデンスなどを正確に再現できるような，本当に優れたものまねをできる人がいる場合には，この方法が良い選択肢になるかもしれません。FacewareキットとXsensスイートを使えば，俳優ではない私でも，自宅でVOを再演してゲームに反映させることができます。これは我々が適応したコンテンツをキャプチャする別の方法であり，他の人にも適応できますし，非常に有益なものになると思います」
 |
Ubisoft Torontoが俳優たちに働きかける際のアプローチは，顔のパフォーマンスのみをキャプチャし，それをアニメーションのリファレンスとして使用するというものだった。
「固定カメラを使ってタレントの自宅で顔の演技を撮影することができました」とLomonaco氏は説明する。「そのためには，タレントが既存のセリフトラックに合わせてリップシンクすることで，顔の演技を正確に捉えることができました。そして，その顔の演技をアニメーションの出発点として使用します」
もちろん，アクターを訓練するために時間をかけて，セットアップ全体の動作を理解させ，キャプチャセッションの前にすべてが機能していることを確認する必要がある。
「プリビジュアライゼーションとリハーサルは，計画性の低い撮影の再撮影よりも確実に優れています」-Tony Lomonaco氏, Ubisoft Toronto
「我々が採用しているベストプラクティスは，セッション録音の前に技術テストのスケジュールを立てることです」とBottis氏は語る。「カメラやマイクなどの機材をタレントに提供する場合は，事前に彼らのセットアップが機能するかどうかを確認しておきます。技術的なセットアップがスムーズに行われたら，次の課題は，タレント，ディレクター，クルーの間で良好なコミュニケーションのリズムを維持することです」Lomonaco氏は付け加える。「スタジオにいても，自宅で仕事をしていても，パフォーマンスキャプチャ撮影の準備には，計画とリハーサルが欠かせません。プリビジュアライゼーションとリハーサルの使用は成功に不可欠であり，セットに入っている間の時間を最大限に活用できます。ポストプロダクションでは，撮影時のリファレンスビデオを編集し，タイミングを固定し，必要なデータだけを注文します」
そして，もちろん，俳優をリモートで監督する必要がある。
Lomonaco氏は，「物理的に，セットの中にいるという一般的な雰囲気を再現するのは，自宅で仕事をするうえでは難しいことです」と語る。「才能ある人たちと顔を合わせて交流できることは，同僚と物理的に一緒にいるときと同じように，確かに利点があります」
Ubisoft Torontoは現在，厳格な安全プロトコルに従ってゆっくりと制作を再開しているが，それでもスタジオは安全なソーシャルディスタンスを維持するために，シーンを別の方法で計画しなければならないので，注意する必要がある。
「たとえば，通常よりも離れた場所で俳優を撮影していますが，アニメーションではその距離やアイラインを調整しています」とLomonaco氏は語る。「そのため，シーンの撮影にも時間がかかり，必要なものを得るために余分な時間を作っています」
 |
俳優と遠隔で仕事をすることは困難だが，乗り越えられないことではない。そして，この状況には少なくとも1つの明るい兆しがある。
「一般的に言えば，大規模なプロダクションでは，俳優の都合は非常に大きな制約要因となります」とGleason氏は語る。「スケジュールは決まっているので，それを維持したいのですが，3つの州から3人の俳優を連れてくる必要があり，来月には都合がつかないので，来月はそのコンテンツを撮影しないことにしました」
「今回の取り組みで少し歯車が回ってきたのは，MO-CAPのステージに来られなかったら，MO-CAPのステージのほうが来るかもしれない，ということです。今後のスケジュールを維持するためには，これが有効な手段になると真剣に考えています」
効率的に，適切なクルーとコミュニケーションをとる
Deck Nineは，リモート期間中にパフォーマンスキャプチャに取り組む人数を削減したが，それでもまだ大規模なチームを必要とする作業であることは注目に値する。
「通常は10人，ときには11人のスタッフがMO-CAPクルーのステージにいます」とPickersgill氏は語る。「今のクルーは，俳優，パフォーマンスディレクター，システムディレクター，オーディオエンジニア，顔と体の両方を扱う1人のキャプチャエンジニア，そして撮影に応じて出入りするライターで構成されています。遠隔地での撮影であることを考えると，かなりの人数になりますね」
「これだけの人の耳と目を持っていることは非常に重要なことですが，それに伴う欠点としてコミュニケーションがありました。MO-CAPの部屋では，部屋の隅にいる2人の人が同時に5人の会話をしても，それをこなしていくことができます。一方，（リモートキャプチャ）セッションでは，Zoom通話というシリアル回線が1本あり，一度に話せるのは1人だけです。他の人と別の会話をしたい場合は，待ってから会話を始めなければなりません。そのため，我々のコミュニケーションは，できるだけ早く物事を進めるために，非常に簡潔で明確で正確なものでなければなりませんでした」
 |
コミュニケーションを円滑にするためには，技術的な面で協力してくれる強力な外部の協力者がいることの利点を過小評価してはいけない。
「このような取り組みを行う場合は，良いパートナーを見つけることです」とGleason氏は語る。「我々は，Xsensスーツを触ったことがない状態から，数週間後には（リモートキャプチャの）状況に展開するまでになりました。我々は次のように考えていました：我々が扱ったことのないこの技術を使いたい，資格のない人に操作してもらいたい，自分の家で自分で設定したい，です。何がうまくいかないのでしょうか？」
「ですから，XsensやFacewareと実際に電話で話をすることができたことは非常に貴重なことでした。良いパートナーを見つけることを強くお勧めします」
「できるだけ早く物事を進めるためには，コミュニケーションは非常に簡潔で明確かつ正確である必要がありました」-Webb Pickersgill氏，Deck Nine
完璧なクルーと適切なパートナーを見つけることは，長期的に新しい働き方を発見するのに役立つかもしれない。Ubisoft Torontoが厳格なガイドラインのもとでパフォーマンスキャプチャの取り組みを再開できたあとも，多くの協力者はリモートワーカーのままであり，それが新しいプロセスの導入につながった。「セットにいる物理的なチームメンバーを大幅に減らして，リモートで関わる人の数を増やしました」とLomonaco氏は語る。「これにより，パフォーマンスキャプチャセッションに参加できないチームメンバーからのアイデアやフィードバックを共有するための共同作業環境が生まれたのです」リモートワークに移行したことで，吹雪や公共交通機関の問題などでも，必要に応じて自宅で仕事を続けることができるベストプラクティスを追加で実装する機会を得ることができました」
 |
リモートパフォーマンスキャプチャのコスト
パフォーマンスキャプチャは，歴史的にゲーム開発において非常に高価なものだった。しかし，現在ではその両極端に新しいモデルが登場している。
Ubisoft TorontoのキャプチャマネージャであるBradley Oleksy氏は，「パフォーマンスキャプチャは，必要な分だけコストがかかります」と語る。「小さなモーションキャプチャソリューションをつなぎ合わせても，ある程度までしかできません。AIの活用で勝負の場が変わりつつありますが，ハイエンドのモーキャプチャシステムの良いキャプチャデータは，AIデータをトレーニングしてくれるので，今でも有効です。4Dのようなシステムも出てきていますが，ツールの不足や処理に必要なストレージの量などから，我々の目的にはまだ完全には実用化されていません」
Deck NineもUbisoft Torontoも，リモートパフォーマンスキャプチャの取り組みの正確なコストについてはかなり秘密主義のままだった。しかし，XsensのシニアマーケティングマネージャーであるRemco Sikkema氏は，同社のソリューションについていくつかの詳細を語っている。「Xsensのモーションキャプチャは1万2000ドルからですが，インディーズのデベロッパ向けに7000ドルからの特別プログラムを用意しています。投資額は，あなたの特定の状況に最も適したハードウェアとソフトウェアのオプションを選択するかによって異なります」
Facewareに関しては，そのさまざまなライセンスは年間179ドルからだ（参考URL）。しかし，明らかな面以外にもコストがかかるとGleason氏は指摘する。
「多くの点で，モーションキャプチャのコストは，キットの値札だけではありません」-Chad Gleason氏, Deck Nine
「モーションキャプチャのコストは，多くの点でキットの価格だけではないと思います。スーツとフェイスリグを接続して，データを取得できます。それはとてもエキサイティングなことです。しかし，そのデータをどうするか，どのようにして多くのデータを管理するか，また，これらの異なる人々がそれを使って何をする必要があるのか，どのようにしてインタフェースを取得するのか，まだ研究開発が少し必要です」「そのためには，ギアそのものよりも研究開発が必要になると思います。装置は実際には非常に手頃な価格で，結果は非常に高品質ですが，次のステップに進み，テラバイトのデータを扱うことになります。それをどこに置き，どのように管理し，どのようにして適切な人の手に渡すのでしょうか？」
Pickersgill氏は語る。「そして，それをどうやってパイプラインで移動させるのか？ 俳優は自宅のスペースにいるのですが，そこでは最低限のアップロード速度しかありません。そして，企業にアップロードする必要のあるギガバイト，テラバイトのデータがあります。実際にこのような状況になるまでは想像もつかないような小さなことを発見しています」
「しかし，大企業がこのホームキャプチャソリューションを考え出すことで今までに行ってきたことは，道を切り開くのに役立つでしょう。それは，おそらく低予算の人々に有効ないくつかの構成を示すのに役立つでしょう」
Facewareのパフォーマンスキャプチャ技術者であるCatarina Rodrigues氏は，現在の状況がパフォーマンスキャプチャの将来的なアクセス性を向上させると確信している。
「そのときに必要とされるものですから，何かをする方法を考えなければならないときは，何としてでもそれをする方法を考えるだけです。このような時代になって初めて自分たちの能力に気づくことができるような気がして面白いですね」
「スタジオがオープンして，誰もが自由に外に出て，1つのスペースで大人数で仕事ができるようになったら，どれだけの人がこの方法で仕事を続けるのかと考えてしまうでしょう。リモートキャプチャが制作の世界でも標準になるのはどれくらい先のことになるのでしょうか」
GamesIndustry.biz ACADEMYのゲーム制作ガイドでは，適切なゲーム エンジンの見つけ方からビデオ ゲーム税控除の申請，VR 開発のベストプラクティスやデザイン原則，ワールドビルディングの改善方法まで，幅広いトピックをカバーしている。ぜひ見てほしい。
GamesINdustry.biz ACADEMY関連翻訳記事一覧
※本記事はGamesIndustry.bizとのライセンス契約のもとで翻訳されています（元記事はこちら）
