つぶやくバーチャルプロダクションの具体的な導入事例が紹介された「SIGGRAPH Asia 2021」のセッションをレポート
2021年12月16日，コンピュータグラフィックスとインタラクティブ技術に関するカンファレンスと展示会「SIGGRAPH Asia 2021」にて，セッション「今すぐ始めるバーチャルプロダクション 柔軟性と導入コストを両立させながら始めるには？ 〜今後を見据えた映像事業を成功に導こう〜」が行われた。このセッションでは，ユニティ・テクノロジーズ・ジャパン テクニカルディレクター アニメ/フィルム 林 和哉氏が，自身の経験を踏まえ，柔軟性と導入コストを両立させながらバーチャルプロダクションを始めるポイントを，解説した。
林氏は，まず映像表現の発展について言及した。現在はNetflixやAmazonプライム・ビデオ，Huluなどネットを介した映像配信の隆盛期で，市場では常に新しいコンテンツが求められており，それに伴って新しい映像制作手法も模索されている状態である。
ただそうした模索は，過去から連綿と続いている。林氏は，1895年にリュミエール兄弟が公開したシネマトグラフに始まり，それがシネマとして世界中に伝播し，テレビ映画へと発展していった映像表現の歴史をなぞった。またその流れと並行して，映像が白黒からカラーへ，音声がサイレントからトーキーへと進化していったことを示し，以上をまとめて「毎日が映像革命だったし，現在も革命は続いている」と表現した。
そうした映像制作の発展の中で大きなマイルストーンとなったのが，1977年の映画「スター・ウォーズ」だ。林氏は，それまでの映像制作には「“等身大の人間”で撮影可能なもの」という制約があったのに対し，「スター・ウォーズ」はVFXを駆使することにより「人間の想像するものを映像化できる」ことを示したエポックメイキングな映像作品だったと説明。それ以降，VFXを活用した映像作品が大量に制作されるようになったと続けた。
VFXに次ぐ映像制作の革命が，このセッションの本題となるバーチャルプロダクションである。
林氏は，バーチャルプロダクションを「壁一面のLEDパネルやグリーンバックに3D映像をリアルタイムに映し出し，カメラと連動させることでスタジオ内にあらゆる環境を再現する技術，またはバーチャル空間でのコンテンツ制作の総称」と定義した。
また現在，バーチャルプロダクションと呼ばれているものは，主に「リアルタイム合成」を指しているため，このセッションもそれに倣った内容となっている。
バーチャルプロダクションは2018年頃から映像制作業界にて注目を集め始めたが，それ以前にも同じようなものとして「バーチャルスタジオ」があったとのこと。バーチャルプロダクションが脚光を浴びたのは，LEDパネルからの環境光の反射などを活用できることなどが理由だという。
そのきっかけとなったのは「スター・ウォーズ」のスピンオフ作品である「マンダロリアン」の撮影にバーチャルプロダクションが採用されたからだそうで，林氏は「VFXを生んだのが『スター・ウォーズ』，それを次のステージに押し上げたのがそのスピンオフというのは，感慨深いものがある」と話していた。
バーチャルプロダクションのメリットとしては，まず「ロケーションのアセット化（＝資産化）」が挙げられた。すなわちロケーションは3DCGとして保存できるので，資産化して再利用することができるわけである。
また，「時間の制約から解放される」こともそうだ。例えば日の出や日の入りといった特定の時間を固定化できるので，さまざまな演出などを施せるようになる。同じく天候も固定化できるので，晴れ日を待つといったことがなくなるし，逆に雨や雪を自在に降らすことができる。
そして林氏が「一番のメリットかもしれない」として挙げたのが，「移動からの解放」だ。つまり，ロケ隊をロケーションまで運ぶ必要がなくなるので，空いた時間を使って何シーンも撮影できるようになるのである。林氏は「撮影においては時間をコントロールすることがキモになるし，本当に難しい」とし，「バーチャルプロダクションを使うことによって時間の課題を一気に解決できるようになったことは，制作する映像体験を大きく向上させることにつながる」と語った。
とくにコロナ禍の影響を受けている今の時代に，巣ごもり撮影ができるバーチャルプロダクションはマッチしているという。
代表的なバーチャルプロダクションの手法も，以下のスライドのとおり紹介された。とくに3つめのLEDウォールを使うインカメラ VFXの手法は，役者も含めてその映像制作に関わる人すべてが目指すべき映像の完成形を共有できるので，林氏によると今までにない制作体験になるとのこと。
一方，映像制作には，クライアントの依頼を請け負って行う「クライアントワーク」と，自身や自身の所属するグループが自主的に行う「クリエイティブワーク」があると，林氏は定義。
前者は，クライアントの要望する映像を，期日を決めて完成させる案件を指し，当然ながら納品までの時間管理が厳密になる。また，「撮った画のOKを撮影時にもらう」など，クライアントの了承を得ながら進行していくので，基本的に手戻りがない。そして請負仕事であるため，手離れのよさと効率化も大事な要素となる。
それに対して後者のクリエイティブワークは，意思決定者が自分自身，または近い関係の人物となる。そして時間管理も自主的になるが，納得できるまで試行錯誤を繰り返すことができるというメリットもある。その一方で，効率化よりも試行錯誤がメインになるため，ピクチャーロック（編集の完了）は完成ギリギリに行われる。それらの結果，クリエイティブワークのほとんどは手離れが悪いものとなる。
現在のバーチャルプロダクションのトレンドとなっている手法は，LEDウォールを使うインカメラ VFXである。それは上記で挙げたメリットに加え，見た目の新しさや分かりやすさが従来のVFXより上だからだ。
林氏は，インカメラ VFXを使ったバーチャルプロダクションには「完成形がその場で確認できる」「手戻りがない」「時間と予算の管理がしやすい」というメリットがあり，またデメリットは「アセットが撮影日までにそろっている必要がある」だけであることから，クライアントワーク向きであると説明。
林氏はバーチャルプロダクションを導入するにあたって検討すべきこととして，「合成方法」「合成機材」「撮影機材」「リアルタイムエンジン」の4つを挙げた。
これらを組み合わせてバーチャルプロダクション環境を構成するわけだが，大事なのは「予算に応じたトータルバランス」と「拡張性」だという。すなわち，限られた予算の中で優先して実現すべき要素を決め，そしてゆくゆくは当初優先順位の低かった要素も実現できるように設計しておくというわけである。
林氏が手がけた，東映の特撮番組「TTFC産直シアター 仮面ライダーセイバー」および「機界戦隊ゼンカイジャー」の撮影における，バーチャルプロダクションの導入事例も紹介された。このプロジェクトは，多くの企業や人物が関わるものだったため，全員が合議したうえでバーチャルプロダクションの構築・導入を実施したという。
まず合成方法には，グリーンバックまたはブルーバックを使うキーイングの手法を採用。その一番の理由は，LEDウォールを導入するための時間がなかったからだという。また撮影に入る前に，すべてのアセットを完成させることが困難だったとのことで，仮アセットで撮影したあとに再度本アセットで合成し直す必要が生じたそうだ。したがって柔軟性を担保するという点において，キーイングがベストだと判断された。
合成機材には，キーイング専用機材のUltimatte 13を採用。その理由は，この現場における撮影がタイトなスケジュールの中で行われるため，いちいちPCを開いて調整するのは好まれないこと，またPCが壊れてしまう恐れもあるため，ハードウェアはできるだけシンプルなものが望ましいことだった。
撮影機材は，カメラがSONY FX6。これは出力信号が綺麗であること，本体のサイズがコンパクトで，かつ必要な機能がそろっていること，さまざまなデバイスを装着するマウンティングポイントも追加しやすいこと，4K撮影が可能なセンサーサイズで出力フォーマットも林氏らの検討していたものと合致したことなどが理由だったという。
カメラトラッキングセンサーは，慣性型のREALSENSE T265を採用。これは東映のツークン研究所にて，数年前からバーチャルスタジオが実践しているPoC（概念実証）でも採用しており，ノウハウの蓄積があったことが大きな理由だった。
レンズエンコーダーの採用はなし。理由は，早急にシステムを構築する必要があったこと，そして移動ショットがメインになると想定されたことである。
そして可聴性と安定性を重視し，リアルタイムエンジンにはUnityが採用された。このシステムが稼働してから約1年経つが，林氏によると大きな事故もなく安定して撮影できているという。林氏は，今回紹介されたシステムを「柔軟な体制かつ堅牢で，十二分な結果を出している」と評し，「総予算で考えると，かかった費用はそれほど高くない。スリムな予算で構築できて，最大限の効果を発揮できているという点で，ぜひ皆さんに紹介したいと考えた」と語った。
セッションの終盤には，林氏の考える今後の映像制作が示された。現在はリアルタイムエンジンや安価な機材といった技術の新しい活用方法としてバーチャルプロダクションが登場し，映像制作の新しいワークフローが生まれた状況である。
それを踏まえて林氏は「バーチャルプロダクション，あるいはリアルタイム合成は，映像制作を早く，安く，おいしくする魔法の杖ではない」と指摘し，「何でもできるわけではなく，表現の1手法に過ぎないことを常々忘れないようにしている」と語った。
すなわち，時間や場所といった制約からの解放により利便性が上がるのは確かだが，リアルなロケーションでの撮影やデジタルで表現しきれない空気感はまだまだあるというわけである。それらをすべてバーチャルプロダクションで賄おうとすると，逆に時間やコストがかかってしまうことになりかねないというのが，林氏の意見だ。
林氏は，バーチャルプロダクションが脚光を浴びることになった要因を，現実を置き換えることではなく，あらゆる部分で時間を節約できるようになることにあったとし，「それだけ試行錯誤に使える時間が増えた。時間がなくて諦めなければならなかった，“あと一歩”を楽々と越えることが夢ではなくなる」と表現。
最後に林氏は，「作りたいものは？」「それに必要なものは？」「どういう手段を取るか？」，そして「そのプロジェクトで，何が大事だろう？」と考えながら映像制作に取り組んでいるという自身のアプローチを示していた。
 |
バーチャルプロダクションの現状と本質を探る
林氏は，まず映像表現の発展について言及した。現在はNetflixやAmazonプライム・ビデオ，Huluなどネットを介した映像配信の隆盛期で，市場では常に新しいコンテンツが求められており，それに伴って新しい映像制作手法も模索されている状態である。
ただそうした模索は，過去から連綿と続いている。林氏は，1895年にリュミエール兄弟が公開したシネマトグラフに始まり，それがシネマとして世界中に伝播し，テレビ映画へと発展していった映像表現の歴史をなぞった。またその流れと並行して，映像が白黒からカラーへ，音声がサイレントからトーキーへと進化していったことを示し，以上をまとめて「毎日が映像革命だったし，現在も革命は続いている」と表現した。
そうした映像制作の発展の中で大きなマイルストーンとなったのが，1977年の映画「スター・ウォーズ」だ。林氏は，それまでの映像制作には「“等身大の人間”で撮影可能なもの」という制約があったのに対し，「スター・ウォーズ」はVFXを駆使することにより「人間の想像するものを映像化できる」ことを示したエポックメイキングな映像作品だったと説明。それ以降，VFXを活用した映像作品が大量に制作されるようになったと続けた。
VFXに次ぐ映像制作の革命が，このセッションの本題となるバーチャルプロダクションである。
林氏は，バーチャルプロダクションを「壁一面のLEDパネルやグリーンバックに3D映像をリアルタイムに映し出し，カメラと連動させることでスタジオ内にあらゆる環境を再現する技術，またはバーチャル空間でのコンテンツ制作の総称」と定義した。
また現在，バーチャルプロダクションと呼ばれているものは，主に「リアルタイム合成」を指しているため，このセッションもそれに倣った内容となっている。
バーチャルプロダクションは2018年頃から映像制作業界にて注目を集め始めたが，それ以前にも同じようなものとして「バーチャルスタジオ」があったとのこと。バーチャルプロダクションが脚光を浴びたのは，LEDパネルからの環境光の反射などを活用できることなどが理由だという。
そのきっかけとなったのは「スター・ウォーズ」のスピンオフ作品である「マンダロリアン」の撮影にバーチャルプロダクションが採用されたからだそうで，林氏は「VFXを生んだのが『スター・ウォーズ』，それを次のステージに押し上げたのがそのスピンオフというのは，感慨深いものがある」と話していた。
バーチャルプロダクションのメリットとしては，まず「ロケーションのアセット化（＝資産化）」が挙げられた。すなわちロケーションは3DCGとして保存できるので，資産化して再利用することができるわけである。
また，「時間の制約から解放される」こともそうだ。例えば日の出や日の入りといった特定の時間を固定化できるので，さまざまな演出などを施せるようになる。同じく天候も固定化できるので，晴れ日を待つといったことがなくなるし，逆に雨や雪を自在に降らすことができる。
そして林氏が「一番のメリットかもしれない」として挙げたのが，「移動からの解放」だ。つまり，ロケ隊をロケーションまで運ぶ必要がなくなるので，空いた時間を使って何シーンも撮影できるようになるのである。林氏は「撮影においては時間をコントロールすることがキモになるし，本当に難しい」とし，「バーチャルプロダクションを使うことによって時間の課題を一気に解決できるようになったことは，制作する映像体験を大きく向上させることにつながる」と語った。
とくにコロナ禍の影響を受けている今の時代に，巣ごもり撮影ができるバーチャルプロダクションはマッチしているという。
代表的なバーチャルプロダクションの手法も，以下のスライドのとおり紹介された。とくに3つめのLEDウォールを使うインカメラ VFXの手法は，役者も含めてその映像制作に関わる人すべてが目指すべき映像の完成形を共有できるので，林氏によると今までにない制作体験になるとのこと。
 |
一方，映像制作には，クライアントの依頼を請け負って行う「クライアントワーク」と，自身や自身の所属するグループが自主的に行う「クリエイティブワーク」があると，林氏は定義。
前者は，クライアントの要望する映像を，期日を決めて完成させる案件を指し，当然ながら納品までの時間管理が厳密になる。また，「撮った画のOKを撮影時にもらう」など，クライアントの了承を得ながら進行していくので，基本的に手戻りがない。そして請負仕事であるため，手離れのよさと効率化も大事な要素となる。
それに対して後者のクリエイティブワークは，意思決定者が自分自身，または近い関係の人物となる。そして時間管理も自主的になるが，納得できるまで試行錯誤を繰り返すことができるというメリットもある。その一方で，効率化よりも試行錯誤がメインになるため，ピクチャーロック（編集の完了）は完成ギリギリに行われる。それらの結果，クリエイティブワークのほとんどは手離れが悪いものとなる。
現在のバーチャルプロダクションのトレンドとなっている手法は，LEDウォールを使うインカメラ VFXである。それは上記で挙げたメリットに加え，見た目の新しさや分かりやすさが従来のVFXより上だからだ。
林氏は，インカメラ VFXを使ったバーチャルプロダクションには「完成形がその場で確認できる」「手戻りがない」「時間と予算の管理がしやすい」というメリットがあり，またデメリットは「アセットが撮影日までにそろっている必要がある」だけであることから，クライアントワーク向きであると説明。
 |
柔軟性と導入コストを両立させながらバーチャルプロダクションを始めるには
林氏はバーチャルプロダクションを導入するにあたって検討すべきこととして，「合成方法」「合成機材」「撮影機材」「リアルタイムエンジン」の4つを挙げた。
これらを組み合わせてバーチャルプロダクション環境を構成するわけだが，大事なのは「予算に応じたトータルバランス」と「拡張性」だという。すなわち，限られた予算の中で優先して実現すべき要素を決め，そしてゆくゆくは当初優先順位の低かった要素も実現できるように設計しておくというわけである。
 |
 |
 |
 |
 |
 |
林氏が手がけた，東映の特撮番組「TTFC産直シアター 仮面ライダーセイバー」および「機界戦隊ゼンカイジャー」の撮影における，バーチャルプロダクションの導入事例も紹介された。このプロジェクトは，多くの企業や人物が関わるものだったため，全員が合議したうえでバーチャルプロダクションの構築・導入を実施したという。
まず合成方法には，グリーンバックまたはブルーバックを使うキーイングの手法を採用。その一番の理由は，LEDウォールを導入するための時間がなかったからだという。また撮影に入る前に，すべてのアセットを完成させることが困難だったとのことで，仮アセットで撮影したあとに再度本アセットで合成し直す必要が生じたそうだ。したがって柔軟性を担保するという点において，キーイングがベストだと判断された。
合成機材には，キーイング専用機材のUltimatte 13を採用。その理由は，この現場における撮影がタイトなスケジュールの中で行われるため，いちいちPCを開いて調整するのは好まれないこと，またPCが壊れてしまう恐れもあるため，ハードウェアはできるだけシンプルなものが望ましいことだった。
撮影機材は，カメラがSONY FX6。これは出力信号が綺麗であること，本体のサイズがコンパクトで，かつ必要な機能がそろっていること，さまざまなデバイスを装着するマウンティングポイントも追加しやすいこと，4K撮影が可能なセンサーサイズで出力フォーマットも林氏らの検討していたものと合致したことなどが理由だったという。
カメラトラッキングセンサーは，慣性型のREALSENSE T265を採用。これは東映のツークン研究所にて，数年前からバーチャルスタジオが実践しているPoC（概念実証）でも採用しており，ノウハウの蓄積があったことが大きな理由だった。
レンズエンコーダーの採用はなし。理由は，早急にシステムを構築する必要があったこと，そして移動ショットがメインになると想定されたことである。
 |
そして可聴性と安定性を重視し，リアルタイムエンジンにはUnityが採用された。このシステムが稼働してから約1年経つが，林氏によると大きな事故もなく安定して撮影できているという。林氏は，今回紹介されたシステムを「柔軟な体制かつ堅牢で，十二分な結果を出している」と評し，「総予算で考えると，かかった費用はそれほど高くない。スリムな予算で構築できて，最大限の効果を発揮できているという点で，ぜひ皆さんに紹介したいと考えた」と語った。
 |
今後の映像制作について
セッションの終盤には，林氏の考える今後の映像制作が示された。現在はリアルタイムエンジンや安価な機材といった技術の新しい活用方法としてバーチャルプロダクションが登場し，映像制作の新しいワークフローが生まれた状況である。
それを踏まえて林氏は「バーチャルプロダクション，あるいはリアルタイム合成は，映像制作を早く，安く，おいしくする魔法の杖ではない」と指摘し，「何でもできるわけではなく，表現の1手法に過ぎないことを常々忘れないようにしている」と語った。
すなわち，時間や場所といった制約からの解放により利便性が上がるのは確かだが，リアルなロケーションでの撮影やデジタルで表現しきれない空気感はまだまだあるというわけである。それらをすべてバーチャルプロダクションで賄おうとすると，逆に時間やコストがかかってしまうことになりかねないというのが，林氏の意見だ。
林氏は，バーチャルプロダクションが脚光を浴びることになった要因を，現実を置き換えることではなく，あらゆる部分で時間を節約できるようになることにあったとし，「それだけ試行錯誤に使える時間が増えた。時間がなくて諦めなければならなかった，“あと一歩”を楽々と越えることが夢ではなくなる」と表現。
最後に林氏は，「作りたいものは？」「それに必要なものは？」「どういう手段を取るか？」，そして「そのプロジェクトで，何が大事だろう？」と考えながら映像制作に取り組んでいるという自身のアプローチを示していた。
 |
