2017年10月28日，福岡県・九州産業大学で「CEDEC＋KYUSHU 2017」が開催された。ゲーム開発者向けカンファレンスCEDECを日本全国で展開しようというCEDEC＋だが，昨年に引き続き九州・福岡でのイベントだ。福岡は近年ゲーム開発会社が増えてきている地域だが，9:40開始の基調講演から18:50終了の特別講演まで，全37セッションの規模で，大勢のゲーム開発者を迎えての開催となった。

　ここではスペシャルエフエックススタジオの古賀信明氏による「リアルなＣＧ人間の質感表現に役立つ皮膚の写真撮影法（完全無反射撮影装置）」を紹介してみたい。
　古賀氏は，元々東京で約36年前のまだアナログの特撮の時代からスペシャルエフエックス スタジオを設立してVFXやCGをやったあと，現在は九州に戻って，映像から離れ研究開発の仕事をしている。

　さて，セッション内容とは直接関係がないのだが，先に展示コーナーでデモされていたEpic Gamesブースの「Meet Mike」デモの画像をご覧いただきたい（Meet Mikeの詳細はこちら）。

拡大画像は無縮小（5472×3472ドット）なので注意

　動画があったので以下に貼っておこう。会場ではこれと同じものがリアルタイムで動いていたわけだ。

Meet_Mike_PressPromo_WithGFX_073117_24_SUPER from fxguide | fxphd on Vimeo.

　見て分かるように，非常にリアルな人間の頭部である。これがパフォーマンスキャプチャのデータとリアルタイムでリンクして，実際の人間と同じようにCGのデータが動くのだ。これはVR空間上でCGキャラクターによるインタビューを行うという企画で作られたものだが，「綺麗ではない」肌の質感が実に見事だ。眉毛あたりは完全に毛の1本1本が独立しているのが分かる。おそらく髪の毛も1本単位で作られている。

　本人の顔データと本人の表情データをリアルタイムリンクすることに意味があるのかと思う人もいるかもしれないが（実写で流すほうが早い），VRでインタビューというとFOO SHOWのような人気番組（？）もあり，インタビューが行われている空間に自分も存在するという体験はそれなりに需要があるようではある。それが，人間そっくりのCGモデルが人間の表情をそのまま再現できるところまできているわけだ。

　ちなみに，リアルすぎてときどきワイヤーフレーム表示にしないとリアルタイムだと分かってもらえないとEpicブースでは嘆いていた。ワイヤーフレームで見るとポリゴン数自体は驚くほど多いというわけでもないが，ディスプレースメントマッピングなどで細部を補完しているのだろう。顔以外はいい加減とのことだが，小型PCでも60〜70fpsを出しており，数年後のゲームではこのクラスのグラフィックスが登場してきてもおかしくない。

　とにかく，現代というのは広く提供されているゲームエンジンでこれだけのものが作れる世の中になってきているということだ。高精度で形状を取り込んで，顔のリグ付けをもの凄く頑張ったり，もの凄い解像度のテクスチャを使ったりといったことをすれば，ここまでリアルなキャラクターを実現できるのである。

　ということで本題に戻るが，古賀氏の講演で話されていたのは，こういった高精度キャラクターの作成で使えるテクスチャ作成テクニックだった。
　手描きでのテクスチャには限界があると古賀氏は語る。かなり頑張ったテクスチャでも細かく見ると残念な点は多いという。こういうのは将来的にはプロシージャルで解決するべき課題だと思うが，現状では現実からのサンプリングが最も確実だ。
　人間の顔を写真撮影して，それをテクスチャとして使用するというのは誰でも考え付く手法だろう。ただし，素直に撮影したデータをそのまま使うのは少し問題がある。撮影された顔は現実世界のライトでライティング済みだからだ。ゲーム内のライティングで自然な映像を得るためには，余計なものは付いていないほうが望ましい。ソフトウェアで写真からラインティング要素をなくすようなツールも存在するが，最初からライティング要素の薄い写真が撮れればそれにこしたことはない。
　ライティングによる影は多方向からの多数のライティングでかなり打ち消すことができるが，表面のテカリ（ツヤ）による反射をなくすことはできない。古賀氏が今回紹介したのは，無反射のテクスチャを撮影するためのノウハウだった。

　さて，手描きには限界があるとした古賀氏だったが，人間の目というのは実は本来結構いい加減なものなのだと語る。たとえば映画のマットペインティング（実写と絵の合成）。スター・ウォーズなどで有名なLucasfilmのILMに行ってマットペインティングの原画を見せてもらうと，はっきりと筆のタッチが分かる結構粗いものなのだそうだ。しかし，それをカメラで撮影し，実写と合成するとすべてが実写のように見える。これは，映像が持つ情報量が大きすぎることに起因するのだという。文字や音声などと比べて，映像が持つ情報量はとてつもなく大きく，ちょっと前までは軍用のコンピュータを使っても処理が仕切れないくらいのものだった。脳は負荷を軽くするため，だいたいのところが分かったら，それ以上を見ようとはしないのだそうだ。見ているものがなにかさえ分かったら，そこから類推される情報だけで不自由なく対応できるからだ。

　しかし，そんな視覚でも，やたら敏感で誤魔化しが利かない対象が一つある。それが人間の顔である。これは，相手の表情などを窺うことが直接的な利害につながることが大きいと考えられているそうだ。人間関係では相手の感情を読み誤ることは大きな不利益につながりかねない。感情が表れる「顔」に敏感でないと生きていけないのだ。
　「顔色が悪い」などというのもRGB値にしてみればほんのわずかの変化でしかないが，人は敏感に反応する。近年のAIが得意としている画像認識でも，人間の顔色まで判定するのは難しいのではないかという。
　そんな誤魔化しの利かない顔画像だけに，リアリティの追究では手が抜けない。きちんとしたモデリングデータを使い，きちんとしたテクスチャをきちんとシェーディングする必要がある。

　さて，CGでのある程度以上の顔表現というと，SSS（Sub-Surface Scatering）は不可欠とみなされている。皮膚を半透明体とみなして皮下散乱を計算するわけだが，スクリーンスペースで処理する技法が生まれてからはゲームでも使われるようになってきている。
　ただ，古賀氏はそれがコストに見合ったものなのかについては疑問を投げかけていた。SSSの効果がはっきり出るのは逆光時の耳たぶであるとか，鼻先であるとか，かなり限られている。透明感に似た効果を出すだけなら，後処理の色補正で黒っぽい影の部分に少し赤みを入れることで「透明感」ぽい表現は可能だと例を示した。

　また，顔表現で最も難しいのが化粧をした女性の顔だそうで，化粧品のベースで使われる酸化チタンは，光透過性のまったくないものであり，「透明感のあるメイク」などは基本的に矛盾する言葉なのだという。不透明な材料を使って透明感を感じるように仕上げるのがメイクのテクニックであり，実際の女性の顔の表現にSSSは必ずしも必要ではないのではないかとする見解を示していた。
　一方で顔のリアリティを支配する要素としてスペキュラー（鏡面反射成分）が挙げられた。とくに黒人の肌はスペキュラーを適切に加えるだけで非常にリアルになるという。

　実際に無反射テクスチャを得るための方法だが，簡単に言えば偏光フィルタを使う手法だ。カメラにPLフィルタを使って反射を抑制するというのは，ある程度写真を撮る人ならご存じの手法だろう。光は反射することで，波の向きが90度変わり，その方向の光だけ透過させないことによって反射を抑えることができる。さらに古賀氏は，光源側にもPLフィルタを使うことでより確実に反射光を除去できると語っていた。

　そのための装置についての解説が続いたのだが，古賀氏は無反射画像だけでなく，スペキュラー成分のみを取り出したような画像を同時に得るようにしている。素材として無反射のテクスチャはほしいが，リアリティを出すにはスペキュラー成分は欠かせないということだろう。
　ちなみにスペキュラー成分の抽出は，無反射画像を得ることよりずっと難しいという。今回のシステムでも，画像として取得しているのは，通常のライティングを施した写真のみである。無反射の画像と比較すれば販社成分が得られそうだ。

このシステムで撮影された無反射画像とスペキュラー成分の画像。光源の映り込みが瞳に残っているのは調整不足だったからとのことだが，かなり地肌そのものの色が得られていることが分かる

　ポイントとなるのは，

• 無反射用偏光フィルタ付きライトと偏光フィルタなしのライトを交互に配置
• 対象を囲むように広い範囲にライトを配置
• 偏光フィルタのある/なしの2パターンで素早く切り替えて2枚の写真を撮る

といったとこころだろうか。

　この無反射の画像にスペキュラーを合成すると，実際の写真そのもののようなリアルな画像となる。

左から無反射画像，スペキュラー成分，合成画像

指の付け根部分を拡大して比較

　実際に無反射の写真と合成画像を見比べると，合成後の写真には凹凸などのデータが盛り込まれていることが分かる。普通に写真を撮ると，ほぼこのような画像が得られるのだが，それをそのままテクスチャにして，顔の凹凸などを別途マッピングしたら，凹凸が二重になる，撮影時と違うライティング環境だったら映像情報に齟齬が出ることになる。無反射テクスチャの意義は大きそうだ。

　講演では，こういった写真を撮影するための装置を作成するための情報が公開されていた。装置は，多数のライト，それを制御する装置などで構成されている。個々のライトはLEDと電源回路，反射板，拡散板，フィルタで構成されており，ライトの反射板は片面銀色の紙製だ。発熱の少ないLEDライトを使うので紙で十分とのこと。

偏光フィルタ付きのライトとフィルタなしのライトを交互に並べ，切り替えられるように回路を構成する

　大きな偏光フィルタはどこに売っているのか，どのような回路で制御しているのかなどといった具体的な解説が行われた。とくに，囲むようにライトを当てている関係で，偏光フィルタの向きをライトごとに調整する必要があることが強調されていた。また，偏光フィルタを通したライトと普通のライトでは光量が変わるため，普通のライトにはNDフィルタをつけて明るさを揃えることが推奨されていた。
　偏光フィルタにはPLとCPL（直線偏光と円偏光）があるが，すべてマニュアル（フォーカス，露出を手動）で行うため，通常のPLで問題ない。

無反射撮影装置の完成形

　ライトなどの装置自体は頑張れば誰にでも作れそうなものではあるが，ライトを点灯して撮影し，0.5秒後にライトを切り替えて再び撮影するといったあたりは素人には無理な部分でもある。

　最後に簡単に紹介された2例は，物理的にレンズ前の偏光フィルタを回転させる方式とギロチン式でやはりレンズ前でフィルタを切り替える方式だが，どちらも2枚の画像を撮影する。詳しい説明はなかったものの，どちらも1枚は上記の説明と同じ無反射画像を得るためのもの，もう1枚は反射成分を撮影するためのものだ。


　テクスチャとは関係ないが，ハードウェア製品の物撮りで光沢面かつ曲面が多い製品などは撮影にかなり苦労する。反射を抑制するPLフィルタを使用しても効果は限定的だからだが，こういった工夫を行えばうまく撮れそうだ。個人的には非常に興味深い講演だった。

CEDEC＋KYUSHU 2017公式サイト