つぶやく［CEDEC 2018］HGiG：HDRの表示性能をゲームで生かすための業界を超えた取り組み
 |
SIEとMicrosoftなどが共同で推進するというあたりからして（別に仲が悪いとは思っていないのだが），HDRゲームを作るにあたって問題になりそうだというのは分かるだろう。
登壇したSIEの渡部 心氏は最初にHDRについて軽く解説した。その効果を分かりやすく説明するために挙げられたのが，次のGT Sportsの画像を使ったイメージ図だ。
 |
 |
会場のプロジェクタはSDR仕様で，カメラもSDRで記録しているので，SDR映像とHDR映像の比較はまったくできないのだが，このイメージ画像は，中間調はほぼそのままで一定以上の輝度部分がSDRでは白飛びし，（ほぼ写っていないが）一定より暗いところは黒ツブれしているであろうという表現で，SDRとHDRの比較イメージ画像としてはかなりよくできている。
 |
スライドの途中に「ディスプレイを正しく理解し」という謎の表現があるが，ひとまずここでは置いておく。
しかしHDRはゲームでは必ずしも評判はあまりよくない。「色が薄くなった」「SDRより暗い」「SDRのほうがゲームで有利」といった悪評も目立つ。まあ「SDRより暗い」と一番騒いでいたのはたぶん私なのだが。
なぜそういった問題が起きるかの技術的説明も行われた。
HDR信号というのは現状のテレビが出せる輝度よりかなり上の輝度の信号まで扱える。そういう信号を，それより低い輝度しか出せないテレビで扱う際には，信号上の輝度をテレビで出せる輝度に変換する「ディスプレイマッピング」なる処理が行われているのだそうだ。
そのときの処理内容がテレビによって異なるため，クリエイターがイメージしたとおりの絵が出てこない。さらには，テレビによって表示される情報量がゲームプレイに影響するレベルで変わってくる。これが問題の本質であるらしい（※SDRより暗いのは別の原因）。
 |
とりあえず「ディスプレイマッピング」を前提として作りましょうというのが趣旨となる。平たく言えば，「表示できる最大輝度はテレビによって違うのでそれを考慮しましょう」ということだ。まあ当たり前のことではある。
ゲームによっては独自にキャリブレーションを行わせるものもあるのだが，そういうものはシステム側で扱うようにしましょうというのが，ゲーム業界向けのメッセージでもある。
ローカルディミングの問題点とは
どういうことをすればいいのかを考える前に，HDRの状況を複雑にしているローカルディミングについて説明しておこう。
HDRは要するに，SDRのディスプレイよりも明るい部分はより明るく出力でき，暗い部分ではより暗くできる，ダイナミックレンジの広い特性が求められている。
表示デバイスとして一般的なのは液晶テレビである。
液晶テレビで輝度を上げるためには，バックライトを強化すればよい。最大輝度はほぼバックライトの明るさだ。もの凄く明るいバックライトを搭載した場合に問題になるのが，暗い部分である。バックライトが明るければ明るいほど暗い部分の白浮きが激しくなる。これではHDRとしては使えない。
また，従来のLEDバックライトは端の部分から導光管でできるだけ均一に光を配分する方式が使われていた。これでは明るくするのに効率が悪い。
ということで，液晶の真裏にたくさんのLEDを並べて，従来より狭い範囲に光を分配しつつ，明るいところでバックライトを強くして，暗いところではバックライトを暗くして，「明るいところは明るく，暗いところは暗く」を実現しようとするローカルディミングという方式が，ハイエンド型のHDRテレビでは一般化してきた。明度の調整などがうまく行われていればこれは悪い方式ではない。
 |
 |
ただ，バックライトとして広く使われるLEDは，消費電力の低いものだと広く信じられているようだが，それは相対的なものであり，従来よりは低いもののエネルギー効率は50％程度で，明るくすればそれなりに電力を消費し，当然ながら熱も出る。一部のHDRディスプレイでは冷却ファンを装備しているものもある。
HDRテレビで「とりあえず」のラインとされている1000cd/m2を実現しようとすると，若干危ないくらいになると思っておくのがいいだろうか。
対処法はいくつかあるが，「あくまで1000cd/m2で行くぜ！」というアプローチをするところはほとんどない。業務用くらいだ。
残りはどうしているかというと，「電力をもの凄く使いそうになったり，熱が出すぎたりしたら，バックライトの輝度を上げないようにする」という処理をテレビ側に入れているのだ。映像によってバックライトの輝度は絶えず変化するため，これらのテレビではどれくらいの電力や熱になるかも常に変動している。それぞれ処理は違うが「高輝度部分の面積が大きいとヤバい」というのは共通する認識だ。つまり，高輝度な部分が小さい面積の場合は普通に出せるのだが，大きな面積（正確には高輝度なバックライトが多数）のときには最大輝度が下がるのだ。どれくらいでどうなるのかは，もちろんテレビごとに異なっている。
ローカルディミングを行わない，安いHDRディスプレイではそういった処理は行わないのでむしろ安定した映像が出せるのだが，「ハイエンド」な機種では共通してこのような問題を抱えているのだ。
ゲーム側はどう対処するのか
こういった事情を踏まえて対策は講じられている。
その際に考えなければならないものを渡部氏は4原則としてまとめている。
●ディスプレイ差異の許容
ディスプレイの性能はまちまちなので，それを前提として許容する。
●一貫性を持ち公平なゲームプレイの実現
表示性能は違っても，あるテレビだと見えるものが，あるテレビだと見えないといったことが，ゲームプレイの公平性を損なうことのないようにする。
 |
 |
●将来に対する互換性
HDRデバイスはまだ発展途上なので将来的にも使えるものにすることが重要になる。
●開発者・ユーザーにとって簡単に使えて実用的
キャリブレーションツールなどは，プラットフォーム側が用意することにより，開発者やゲームの負担を下げる。
HGiGのガイドライン自体は以下のようにテレビメーカー，プラットフォーマー，ゲーム制作者のそれぞれに向けたものとなっている。
 |
 |
このうちゲーム制作者向けの部分を取り上げて説明していこう。
一般に，HDRテレビでは極端に高輝度な映像信号は，テレビ側の最大輝度のあたりで飽和する。つまり，ローカルディミングを行わない機種では最大輝度近くまでは普通に表示され，最大輝度以上は丸め込まれる。出ないものは出ないのだ。最大輝度付近は，多少の階調性を残すため少し丸めるのが普通だ。良し悪しはともかくとして。
ローカルディミングを行う機種の場合，輝度が一定以下であれば普通に表示されるものの，ある程度の輝度を超えると，明るい部分の面積によって最大輝度が変わってくることが考えられる。
HGiGでは，ローカルディミングを踏まえたHDRテレビの標準化を行い，最大輝度が期待できる面積を全体の10分の1と仮定したモデルを作り，
・Primary HDR Range
比較的素直に絵が出ると期待できる部分
・Extended HDR Range
高輝度部の面積によって最大輝度が保証できない部分
という区分をつけて，テレビでそれぞれがどのくらいの値であるのかをAPIで確認できるようにする。ゲームを作る側は，これらのエリアの特性を踏まえたゲーム作りをすることで，ゲームプレイへの影響を避けることができるようになる（かもしれない）というわけだ。
 |
安定した表示が保証されないExtended HDR Rangeは重要な情報には使わないとか，大面積にならないパーティクルのようなモノにだけ使っていく，全体を安全そうな範囲だけで作っていくなどの対処が考えられると渡部氏は語っていた。テレビ業界に対しては，それらのヒント情報の提供を求めていくという。
 |
 |
安全な範囲だけで作れといわれても，それがテレビごとに異なるのではアートデザインは難しそうというか，テレビごとに値をもらっても個別対応する人なんているのかというか，最悪一番しょぼいディスプレイ合わせでコンテンツを作らなくてはならなくなるような気もしないではないのだが，危険な範囲が分かるというのは一歩前進には違いない。そのうち最適なソリューションというのも確立されてくるのだろう。
さて，それらの範囲を測定するためにプラットフォーマーでは専用ツールを提供する。ユーザーレベルで使うことはあまり考えていないということなのだが，その使い方について紹介しておこう。
測定する必要があるのは，
・MaxFFTML
全画面表示時に最大輝度が飽和する信号レベル
・MaxTML
画面の10％の範囲表示での最大輝度が飽和する信号レベル
・MinTML
画面の最低輝度が飽和する信号レベル
の3種類だ。以下では主に最大輝度の話を行う。
測定には，チェッカーボード状の画像パターンが使用される。MaxFFTMLでいうと，白（スライドでは灰色だが信号値は10000cd/m2）と黒（初期値は0）のうち，操作すると黒の明るさがだんだん上がっていく。画面全体が均一な輝度になったと感じられた信号レベル，それがMaxFFTMLとなる。
 |
 |
 |
MinTMLは，白の輝度をだんだん下げていくという逆の方向になるだけで，使い方自体は同じものとなる。
ユーザーレベルで使うケースもないではないようなので，一応覚えておくといいかもしれない。実際の運用では，テレビへの問い合わせで情報を得て自動設定するなどというのが中心になるようではある。テレビの種類以外に利用環境によっても変わってくるので，細かく調整したい場合にはこのツールを使うこともあるのだろうか。
実際のテレビの輝度はどう変わるのか
信号レベルでの最高/最低輝度の測定方法が分かったところで，では実際のHDRテレビはどのような挙動を示すのか，SIEではさまざまな製品でテストを行ったそうだ。その結果，HDRテレビの挙動には3タイプがあることが分かったという。
●Type-A
Type-Aに分類されるのは，ローカルディミングに対応していない製品が示す挙動といっていいだろう。フル画面でも小範囲でも測定される輝度は変わらないタイプだ。HDRテレビとして販売されているものの大半という話もある。
 |
6群のグラフのうち，左端のA1の部分だけ見てほしいのだが，薄い青は全画面表示時の最大輝度（MaxFFTML）だ。濃い青は小面積のときの測定結果で，面積によらずほとんど同じ値になっていることが分かる。ほかのグラフを見ても両者はだいたい同じだ。原理的に考えるとバラつきは測定誤差と断言してもいいくらいだ。
なお，右側に実際の明るさというのも測定されている。測定に使われているのは照度計なので輝度を出すには適切ではないが，SIEでは一定距離の照度をもって輝度を推定するような装置を作っている。マスターモニターでの動作試験でもだいたいちゃんと動くことが確認されているのである程度参考にできる数字だと思っていい。
Type-Aについては多くを語ることもない。ローカルディミングによる挙動の変化がないので比較的素直に扱えるタイプである。
●Type-B
Type-Bに分類されるのは，ローカルディミングを使ったもので比較的素直な挙動を示すものである。グラフを見ても分かるように，薄い青（全画面）が明らかに濃い青（小領域）よりも低い。狭いエリアでは高輝度が出せるが，広い領域だと暗くなるという動作がそのまま示されている。
 |
どれくらい明るく（暗く）なるかなどは製品によってバラつきがあるのだが，大体のところで言うと「1000cd/m2のつもりで出した信号が全画面だと半分（500cd/m2）でしか表示されないといった感じだろうか。小領域の場合は，信号輝度と実際の輝度が割りと近いところになる。B3はおそらく10％の領域では大きすぎて輝度調整が入っているものと思われる。ピークのまま出せるのが画面全体の5％くらいまでの機種だろうか。
●Type-C
ローカルディミングを使ったHDRテレビのうち，今回のガイドラインで想定された挙動を示さないタイプのテレビである。
どういう挙動かというと，全画面でも小領域でも最大輝度は変わらないのだ。測定すると同じ結果になる。これはType-Aと同じ挙動だが，しかし実際の明るさはどうかというと，まったく違うといっていい。小領域では実際の輝度はちゃんと高くなるのだが，信号上は差が出ないのだ。SIEの予測では入力信号がちゃんと反映されず，別のカーブに置き換えられていると見ている。
 |
だからどうなるのかイメージしづらい人もいるだろう。分かりやすくいうと，Type-Bは「面積によって最大輝度が変わる方式」だったのに対して，Type-Cは「面積によって輝度全体が変わる方式｣である。つまり低輝度領域でも明るさが変わっている可能性がある。聞いたところではType-Cは結構多く，海外製はほとんどこれらしい。
それぞれの推定ディスプレイマッピングをまとめたのが次の図だ。
 |
 |
 |
横が入力輝度信号，縦が出力輝度信号で，45度の線が引いてあるが，45度の線に沿っていると無変換（ディスプレイマッピングなし）のHDR10そのままの信号ということになる。
Type-Aでは最大輝度のあたりで少し丸めが入っているものの，だいたい素直な感じのカーブといえるだろう。Primary HDR Rangeしかないため，最大輝度までの範囲が比較的自由に使える。高輝度領域は輝度差が圧縮されているが，まだ見えることは保証されている明るさの範囲内だ。
低価格のType-Aテレビには，SDR製品と大差ないようなものも多いのだが，それでも階調性などでHDR処理を行うメリットはあるという。
Type-Bは，このガイドラインが想定する特性を持っており，「Primary HDR RengeとExtended HDR Rengeの差を認識してデザインしようね」という注意が促されるタイプとなる。Extended HDR Rengeを使うなら，高輝度部の面積で階調が飛ぶリスクを考慮する必要が出てくる。
Type-Cは，MaxFFTMCとMaxTMCの区別がなく，Extended HDR Rengeも存在しないタイプなのだが，実際には両者には差があるため，全画面時は輝度が下がることを前提に，MaxFFTMCをかなり低めに見積もることが推奨されていた。測定によらないので，なんとなく「勘でやって」みたいな雰囲気はあったのだが，仮想的にPrimary HDR RengeとExtended HDR Rengeを設定することで対処してくれということのようだ。
会場からはType-Aとどうやって区別するんですかという質問も出ていたが，それに対しては，MaxFFTMLに制約を設けることが推奨されていた。例では600cd/m2が使われていたが，どのタイプでも（通常の値段のHDRテレビでは）MaxFFTMLが1000や2000になることはない。600以上になっているようだと，Type-Cであると想定してExtended HDR Rengeを設けるような実装が望ましいようだ。
そのほかSIEでは，映像信号に含まれる輝度や色空間を可視化するツール「HDR Scopes」も提供するという。内容については実例を見たほうが分かりやすいだろか。
 |
4分割された画面の右下には入力された映像が表示されるが，左上には輝度がどの範囲にあるかが色相で示される。右上は色空間の種類だ。
 |
- 黒 0cd/m2
- シアン 100cd/m2
- 緑 300cd/m2
- 赤 1000cd/m2
- ピンク 5000cd/m2
- 白 10000cd/m2
といった感じだろうか（表記がダブっていて若干判断に困る）。
 |
- 赤 REC.709（sRGB）
- 緑 DCI-P3
- 青 REC.2020（8K放送やUltra HD Bluerayなど）
といった具合だ。どの規格の範囲の色なのかが画面上で色分けされている。
 |
右側にとくに高輝度（5000cd/m2を超えるくらい）のエリアが出ることがあるのだが，これは「4K HDR」というロゴの部分だ。ここは半透明になっているのだが，SDRのつもりで加算合成をするとその分だけ輝度が跳ね上がる。白で飽和して終わりではなく，上がまだまだあるのだ。
ゲームでは半透明なUIが多用されることもあるだろうが，HDRで一定輝度範囲に収めようという今回のガイドラインに従う場合には注意が必要な処理になってきそうだ。
余談
さて，このガイドラインが発表されたときに思ったのは「なんでこんなことをやっているのだろう？」ということだった。そのやりたいことや効果は分かるのだが，ゲーム業界がそれをやる意味がよく分からなかったのだ。
以下，講演と直接の関係はないのだが，HDRがどのようなものであるか根本的なところからおさらいしつつ考えてみたい。
 |
HDR10では，それをRGB10bitで表現する。SDRと呼ばれる信号が，100cd/m2までの範囲を8bitで表現していたことを考えると10000を10bitでは粗くないかと思う人もいるかもしれないが，PQ曲線に従っているので信号に無駄がないため階調性はたぶん損なわれていないのだと思う。それでも分解能を少しでも上げられるようにと，HDR10では映像全体での最も暗いところと最も明るいところを通知して，その範囲で数値を振り直すような処理が加えられている。
以上がHDR10という方式の概要なのだが，10bitで運用する工夫がちょっと加えられたものの，PQ方式である以上，信号値に対して表現すべき輝度が指定されており，作る側も再生する側もPQカーブに従っていれば，基本的には同じ映像が得られる。信号値と明るさが1対1で対応しているからだ。正しい絵を出すために「ディスプレイを正しく理解」する必要はとくにない。
これが，（PQ方式による）HDRの最も根本となる思想なはずだったのだが，現実にはそうなっていないのだ。ディスプレイによって実装が異なる。入力信号と輝度の対応を，変な「ディスプレイマッチング」で変更するというのは，信号値に対する輝度の割り当てを無視するということであり，PQが提供する，人間の知覚に基づく最適化が適用できなくなることを意味している。PQカーブから大きく外れるようなことをすると，むしろ確実に最適ではなくなる。当然ながら，制作者の意図する映像はまったく再現されない。そんなのは分かりきった話なのだ。
CEDECの会場で，HGiGの動きについて「これってテレビがダメなだけですよね」と業種の違う有識者数名に聞いてみると，
A「そうですね」
B「そうですね」
C「私どもの口からちょっとそれは……」
といった反応だった。
PQカーブを基礎としたHDRの理念は比較的早い時期から有名無実しそうな感じではあった。それでも国内テレビメーカーなどはかなりちゃんとした出力を行う製品を作っているという。講演ではソニーのマスターモニターの測定データなども紹介されていたのだが，非常に綺麗な直線になっていた（それが当たり前でなければおかしい規格ではあるのだが）。
Type-Cの話を聞いたときは，ありえない実装なのでなにかの間違いだろうと思っていた。しかし，Type-Cは結構多いようで，ゲーム以外でも問題になっているらしい。
Type-Bも個人的にはよくはないのだが，それでも出しようがない部分以外はなるべくPQに従うように作られており，ある程度理解できる。しかし，Type-Cは無事な部分まで全部台なしにしているのだ。黙って放っておけば最適であることが保証されているのに，わざわざ変な絵になるように調整している。これを馬鹿と言わずして何を馬鹿と呼ぶのか。
個人的にはType-Cなどは「それはゴミなので捨てなさい」で問題ないと思うのだが（※SDR用には使える），そもそもがゲーム側で尻拭いをするようなものではないだろう。Type-Bについては，高輝度部が小範囲しか安定して表示されることが期待できないので，それを踏まえたゲーム作りを行うということには一定の意味があるだろう。「パーティクルだけ」というのも実は結構見栄えがするはずだ。ただ，使える輝度範囲を教えてもらって対応しろといわれても実際のところ，個別にそれを反映するような実装は，最終出力のトーンマッピングを少し調整するくらいのことしかできないのではないだろうか。
データの信頼性にも若干の疑問点がある。たとえば機種A4などは「3500いけます」という測定データなのだが，実際には500も出ないことが分かっている。APIから与えられるであろう3500という数値を信じてゲームを調整して本当に大丈夫なのだろうか。
なお，ユーザーの目で見て設定するよりも，スマホアプリなどを提供する予定はないのかというのも聞いてみたのだが，そういうものは考えていないようだった。スマホのカメラの性能もまちまちすぎて計測目的で使うには適切でないというのも分かるが，輝度の差がなくなったかどうか，画面が明るくなったかどうかなどは人間の目より的確に判定できそうな気もするのだが。
提案されていた「600cd/m2仮説」に基づく処理も，1000cd/m2まで全域で出る一部の高性能製品ではむしろ性能発揮を阻害することにしかならない。現在はそういうのは自動車価格なので一般人には関係ない話なのだが，場当たり的な処理は将来に禍根を残しはしないだろうか。
一方で，クリエイターが自分のイメージをそのまま伝えたいという気持ちはよく分かるが，「ゲームモード」などと画面暗部の輝度を上げて見えやすくしたディスプレイがもてはやされるのもゲームの世界である。クリエイターの思いとユーザーのニーズは必ずしも合致していない。HDRで絵が綺麗なほうがいいに決まっているが，HDRで生じる公平性や有利不利の問題以上のものではないということも認識しておく必要があるかもしれない。
いろいろ考えることはあるが，HDRがSDRよりもフォーマットとして優れているというのは考えるまでもないことである。ただし，出力デバイスがダメだとゲーム業界での対応にも限界はあり，問題が本当に解決するかどうかも分からない。
もちろん，すべてのHDRテレビに問題があるわけではない。ちゃんとした製品はかなりHDRの基本思想に則っている。だからユーザー側に言えるのは「ちゃんとした製品を選ぼうね」ということになる。結局はそれがすべての問題を完全に解決する唯一の方法なのだから。
