つぶやくVive Pro EyeとVive Focus Plusで視線探査とストリーミングVRを試す
 |
どちらもエンタープライズ向けに販売されるものであり，一般消費者やゲーム関係は少し縁遠いのだが，両製品を試用する機会に恵まれたので，HTCの最新製品がどうなっているのかをお伝えしたい。
ということでまずは，Vive Pro Eyeだ。Vive Pro Eyeは，HTCのハイエンドVRヘッドセットであるVive Proに視線探査（アイトラッキング）用のセンサーを付け加えた製品である。それ以外の基本的な部分はVive Proと変わっていない。元々のVive Proは一般版のViveのパネル解像度を上げ，ベースステーション2.0を使うことでより広いエリアに対応できるように改善されたデバイスだ。そのVive Proの発展版となる。
 |
 |
基本部分は変わっていないので，視線探査だけに絞って紹介しよう。
視線探査には，Tobiiと共同開発したセンサーが使われているという。世界に視線探査の専業メーカーがいくつあるのかは知らないが，間違いなくそのトップに立っているのがTobiiであることは疑いないだろう。
何年か前にTobiiからは後付けでViveに視線探査を付け加える開発キットなども発表されており，センサーの配置などはだいたい同じなので，その発展版と考えていいだろう。ただ，詳しくは後述するが，試用してみると展示会でTobiiがデモで出していたものよりだいぶ動作が安定しているように感じられた。
Vive Pro自体が16万円以上であり，Tobiiが出していたSDKは10万円以上だったので，Vive Pro Eyeの18万6120円（税抜）という価格はかなり頑張っている。正直，コンシューマ用ならともかくエンタープライズ用ならここまで頑張らなくてもよかったのではないかと思うくらいだ。
 |
視線探査はさまざまな分野での活用が期待されている。このセンサーで分かるのは，
- 視線が画面のどこを見ているか
- 目を閉じているか開いているか
などだ。
単純に考えると，ポインティングデバイスとしてインタフェースの操作などに使えなくはないが，普通のコントローラがあればそれはほぼ足りてしまう。視線探索をしないとできない処理というのもあるので，今後のVRデバイスでは必須になってくると予想されているものなのだ。将来的なVRデバイスを占ううえで非常に重要な製品といえるだろう。
HTCが考える応用範囲で見ていこう。VR空間内でデザインを行うようなアプリもいろいろと開発されているのだが，選択しにくいパーツもの操作など，インタフェースに視線が加わることで操作性が大きく上がるという。
 |
 |
また，Vive Pro Eyeで前面カメラを使ったシースルーモードにして，店舗内で一般客がどのような目線で棚を見ているかを調べて，商品配置などのマーケティングに使うとか，スピーチトレーニングでどこを見るべきかを矯正するといったことも提案されていた（そういった用途だけならVive Pro EyeでなくてもTobiiさんがなにか持っているだろうとは思うのだが）。
 |
そのほか，視線の動きを記録しておいて学習教材で利用するというものもある。F1ドライバーがどこを見て走っているのかなどは，興味深く思う人もいることだろう。また，先日の記事で紹介したような「追いトレ」的なものでも視線の動きは熟練者の技を伝えるうえで重要になってくるだろう（関連記事）。
 |
これら以上に今後重要になると思われるのが，中心窩レンダリング（Foveated Rendering）だ。プレイヤーがどこを見ているのかが具体的に分かるので，視線の焦点付近のだけ解像度を上げ，周辺部解像度を落としてやることで，レンダリング負荷を減らしてやることができるのだ。
情報量は確実に落ちるのだろうが，見ている人は情報量が落ちていることに気づけない。なぜなら，どこを見てもちゃんと細部までレンダリングされているからだ。
今後ますますパネルの解像度が上がっていくことを思うと，GPU側の性能が追いつかなくなるので非常に重要な技術といえる（関連記事）。
 |
そのほか，直接目の状態を検知できるので，瞳孔間距離（IPD）を精密に調整することができる。Vive Pro EyeのIPD調節は手動でつまみを捻ることで行うのだが，適正な位置になったかどうかをシステムが教えてくれるのだ。IPDは，VR映像の再現で重要なパラメータの一つなのだが，手動での調整は難しかった。DK2やCV1の調整ツールは明快だったような気がするのだが，その後の製品だとどこが最適な位置なのかまったく分からないもののほうが多いのではないだろうか。
IPDが多少違っても，脳のほうで補正してくれるみたいなので，そう変に見えることもないのだが，確実に視覚中枢に負担がかかっている。きちんと合わせられるならそれに越したことはない。
最後にキャラクターアニメーションへの反映だ。日本ではとくにVTuberが流行ということで注目している人もいるかもしれない。要は，目の動きをリアルタイムにアバターに反映できるということだ。これだけでキャラクターの表情は，俄然生き生きしてくる。瞬きやジト目（結構難しい）などもそのまま反映される。
現状では，体のモーションはセンサーで直接アバターに反映しても，表情は別途手付けだったりするシステムも多いので，VRヘッドセットだけでそのあたりができれば。VRキャラクターのリアルさも変わってくるだろう。もちろん，別にVTuber用というわけではないので，VRでのアバターコミュニケーション一般で大いに活用できるものだ。
 |
Vive Focus Plus
Focus Plusは，すでに発表されていたオールインワンタイプのVRヘッドセット「Vive Focus」を改良した発展版である。最大の改良点は，コントローラが6DoFに対応したことだ。本体の形はあまり変わっていないのだが，内容的にはかなりの進化を遂げている。コンシューマ製品でたとえると，位置付け的にはOculus Goに対するOculus Questに相当する製品だ。
 |
Questが前面の4隅に広角レンズのカメラを配していたことと比べて，前面に2個のいかにも「両目」といった感じのカメラしか持たないFocus Plusを見ると，「これでコントローラを見失わないのか？」と感じる人もいるかもしれない。
大丈夫なのである。Focus Plusではカメラによるトラッキングではなく，超音波式のトラッキングが使われている。なにが優れているかというと，カメラの視界外，たとえば手を後ろに回してもちゃんとトラッキングができるのだ。
 |
この手のデバイスのはしりとも言えるWindows MRでは，視界外にいくとコントローラの操作が失われていた。Oculus Questでは，見えなくなった位置でコントローラの移動は止まり，角度（3DoF）のみの操作に切り替わっていた。しかしFocusなら体の影に入っても大丈夫だ。ベースステーション2個を使うViveでさえ，コントローラが体の影に入ると不安定になることがあったことを思うと，超音波式はコントローラのトラッキングではベストな方法ではないかという気さえしてくる。
ただ，遮蔽などの影響を受けにくい半面，近くで同じ種類のコントローラを使うと干渉することもあるようで，HTCでは2m程度離しての運用や，ついたてなどを用意することを勧めていた。ある程度の距離があれば影響は少なくなるので，狭い場所で複数台を使う場合には工夫しようといったところだろう。
さて，コントローラ自体は，スティック上のものにリングが付いた形状，つまりViveコントローラのリングを筒状にして上側に向けた感じのものとなっている。全体にコンパクトだが，ボタンなどはViveコントローラを踏襲しているようだ。Oculus QuestがハンドコントローラであるTouchを採用したのと比べると，手自体のVR表現では劣っているものの，VRゲームなどでの操作は問題なくひととおりこなせる。
Focusではデジタルであったらしいトリガーボタンが，Focus Plusではアナログ式になったと強調されているので，Viveと同等の操作ができると考えていいだろう。さらに，Viveコントローラだと両側面についていたグリップ用のボタンがトリガーの下に第2トリガーのような形で実装された。これも使いやすさを上げていると思う。
 |
 |
コントローラ以外の部分でもいろいろと改良が行われているそうで，とくにフレネルレンズの改良がアピールされていた。今回はそれほどじっくり試用できていないので，レンズが「格段にいい」といった印象もなかったのだが，少なくともごく自然に見えるモノであり，大きなアラは見つからない。視野角は110度となっていたが，使ってみた印象ではそこまではないんじゃないかという感じだ。
業務用をメインに作られていることもあって，フェイスパッドは合皮で覆われており，掃除が簡単な仕様だ。
ストレージは内蔵32GBではあるものの，micro SDスロットを搭載しているので大きなコンテンツはそちらで対応できる。理論上では2TBまで拡張できるという。
 |
 |
性能面で言うと，搭載されているSoCはSnapdragon 835であり，Oculus Questと同じなようだ。PC接続で使われるViveなどと比べるとグラフィックスクオリティではかなわないが，ケーブルレスで使えるというのが利点である。
実際のところ，教育分野への導入で医学系のアプリをFocus Plusで医学教育者に見せても，「これで十分」とのことだったそうだ。VRで空間に人体模型を展開して自在に操作できるというのは，本や模型とは違った体験であり，細かい部分もよく分かるのだろう。
 |
カーコンフィギュレータはVRの実用化で最も進んでいる用途の一つかもしれない。あちこちで事例を目にするのだが，今回紹介されたのは台湾トヨタでの事例だった。これはVive Focusを使ったもので自動運転システムのシミュレーションなども含む総合的なアプリのようだが，カスタマイズ要素の多い自動車の見積もりを取るのはかなり大変なのだそうで，その場で好きな仕様にして見積もりを確認できるVRのコンフィギュレータは大いに歓迎されているそうだ。
 |
VRカンファレンスやエンタテイメントなどに続いて最後に紹介された活用法は，AMDのReLive VRを使ったものだった。これはPC上でレンダリングしたVive用のアプリの映像をFocus PlusにWi-Fiで転送して再生するというものだ。もちろん，Focus Plus側のコントローラでリアルタイムに操作できる。
処理性能に限界のあるスタンドアロン型のVRヘッドセットでも，こういった手法を取ることでハイエンドの映像を再現できる。高画質とケーブルレスをかなり手軽に実現できる方式だ。
こういったことを行うアプリはいくつか存在するのだが，VRヘッドセットのメーカーが公式に紹介しているのが興味深い。
 |
視線入力はどこまで自然に使えるのか
ということで，概要が分かったところで試用レポートに移りたい。まずはVive Pro Eyeだ。視線探査対応ということで，いちばん気になるのは追従速度と精度・安定性だろう。そのあたりを中心に解説していこう。
使用時には，最初にキャリブレーションを行うのだが，表示される点を順に目で追っていくだけの簡単なものですぐに終了する。
視線の動きを確認するアプリの第1弾はキャラクターを使ったものだった。目の前に鏡が表示され，右手にも手鏡が持たされている。当然，鏡には自分のアバターが映っており，目の動きを確認できる。
 |
 |
頭を動かしながら眼球の動きを追ったり，手鏡を使えばより簡単に動き自体は追えるのだが，今回はとくに反応速度を見たい。
現実世界では，じっとした状態で鏡を見て眼球の動きを検出できる人はいない。目を動かしても，鏡でその目の動きを見ようとするとすると真っ直ぐ鏡を見てしまうからだ。VRでも十分に高速に視線探査が行われていれば同じことが起こるだろう。
ということでやってみたが，目の動きを検出するのはほぼ無理だった。顔を動かして眼球の動きを確認しても，とくに遅れはなさそうで，十分に高速だ。目が不自然に動いているようなこともなく，安定性も十分だと思われる。
このシステムの視線探査は120Hzの周期で行われるのだが，これは90Hzで行われる画面のレンダリングよりも速い周期である。一般的に，目や頭の動きがレンダリング画像に反映されるまでに20ms程度かかっているとすると（VRでの推奨値），2フレームほどの遅延があるはずなのだが，眼球の動きもそれほど高速ではないのだろう。
鏡の周囲にあるランプが，見つめると点灯するというテストでも，ごく普通に反応していた。判定が瞬間というわけではないので，こちらでは速度は分からなかったものの，ゲームなどのインタフェースで十分に使えそうな感じではあった。ソフト側での工夫があるのかもしれないが，こういう仕上がりにできるということが分かればそれで十分だろう。
 |
瞼の動きはある程度の閾値で処理を分けているようで，表現できる目の表情はそれほど多彩というわけではない。目は全開，閉じ目，半目のくらいの開き方だ。さすがに視線の方向は自由かつ滑らかで，生きた目というものを感じさせる。
 |
 |
 |
瞬きもおそらく反映されていたはずだ。自分のキャラクターが瞬きしていたのかどうかは確認しにくいので，今後の要確認事項ではある。
 |
Focus Plus
 |
Focus Plusでは見た目的に一風変わったヘッドバンドに少し期待していたのだが，装着感は意外と普通で，特段によくも悪くもないという印象だ。オールインワン型はフロントヘビーなので，ずり落ち気味になるのはしかたない。なので，一工夫を期待したいところなのだが。
コントローラは左右対称型なのだが，もちろん使用時には右手用と左手用に動作が割り当てられる。このあたりもViveコントローラと似ている。
超音波式コントローラは，ごく普通に6DoFで扱え，むしろ自然すぎて逆にコメントしづらい。コントローラの位置によって制御が失われるというのは，これまでのVR機器ではたまにありがちだったので，そういったことが起きないというのはストレスが減りそうだ。
操作してとくに印象に残ったこともないのだが，普通のVRアプリが普通に表示・操作できることは確認できた。これまでViveなどを使っていたことのうちの多くはワイヤレスなFocus Plusでもできそうだ。
 |
最初にPCでVive用の「The Bru」を実行し，その映像をFocus Plusに転送している。ここでの注目は，映像が負荷逆圧縮されているので，画質の低下がないか，遅延は発生していないかといったあたりだ。
結論から言うと，画質の低下はかなり少なめで実用上問題になることはなさそうだった。おそらくよく見比べると分かるかもといったレベルで言われないと気づかない人のほうが多いかもしれない。
遅延については，頭の動きを中心に確認したのだが，こちらもほぼ検出できなかった。理屈ではちょっと遅れてもおかしくないのだが，しっかりついてくる感じだ。
フレームレートの差……はちゃんと確認できていないが，Focus用の75Hzでレンダリングされていると思うので，PC版と見比べると若干違いが分かる人はいるかもしれない。
次にバーチャルキャストをストリーミングで実行してみたが，Focus PlusのコントローラでViveコントローラでの操作をほぼ同じように実行できた。前述のように，グリップボタンはこっちのほうが使いやすいかもしれない。
 |
全体的に，予想以上に使いものになる感じだった。似たことを実現する手法で，PCを背負う，ワイヤレスアダプターを導入するなど，それぞれに一長一短はあるだろうが，ストリーミングを使うというのも用途次第では十分に実用的で，新たな選択肢になると感じられた。
5G回線の普及で期待されている部分に，ストリーミングでのVR環境がある。
4G回線では無線部分だけで片道10ms程度のレイテンスが生じるため，VRのレイテンシとして望ましい「20ms以内」は，なにをどうやっても実現できない。5Gでは，将来的に片道1ms程度に短縮されるので，往復で2msくらいなら，おそらくWi-Fiより目立って遅いということもないだろう。レンダリング機材が近ければ，同じくらいの感じの体験になるはずだ。その5G時代でのストリーミングVRを占ううえで，Wi-Fiでのストリーミングは興味深いものだった。
ただ，少し気になったのはストリーミングの映像が少し歪んでいたことだ。なんとなくレンダリング時のワープ（変形）処理とレンズの特性が少し合っていないように感じられた。VR体験はできるのだが，負担が大きいのだ（この手の歪みは「どこかのゲームエンジンがVRに対応した」といったときのデモでたいていひどい体験をすることになるのだが，メーカーが公表しているスペック数値になにか間違いでもあるのではないかと個人的に疑っている）。
ワーピング処理のカスタマイズができるシステムがどうして出てこないのか個人的には不思議に思っている。システムごとの固定値なのでユーザーがいじる必要がまったくないのも分かるのだが，それでも歪みが出ていて直せない環境は結構多いのだ。このあたりの耐性は個人差が大きいと思うのだが，私は歪みに対してはカナリア並みの耐性なので（遅延はほぼ気にしないのだが），切に調整を望みたいところだ。
全体にFocus Plusはクセの少ないVRヘッドセットだ。独自仕様なのでアプリが揃わないとコンシューマ用では勧められないのだが，業務用VRマシンでアプリは独自開発するというならまったく問題はない。業務用を意識してか，Focusはとくに扱いやすく管理しやすく作られているように思われる。
視線探査とワイヤレスというのは，現在のVRではホットなトピックだ。どちらも将来の製品では当たり前のようになっていくだろう。視線探査がどれくらい使えるのか，ワイヤレスのスタンドアロン機でどこまでできるのか，今回試した2製品は，現状のVR業界の最先端の状態を示すものだといえるかもしれない。
ちなみに，業務用で提供されるVive ProシリーズとFocusシリーズにはともに保証期間が延びるなどといった特典のついたアドバンテージパックが設定されている。そちらも導入すれば，Vive Proでは，社内ネットワークで使えるコンテンツ配信システム，Focusシリーズでは特定のアプリだけを動作させるキオスクモードが利用できるようになる。これらはエンタープライズ向けということで，業務用ゲームシステムとして使うにも便利なものであろう。
 |
産業用途でもVRの需要は高く，市場はどんどん広がりつつある。こういった製品で最先端の部分を十分に試すことができるので，こちらの記事でも述べているように，十分な性能のコンシューマ向け製品が出てくる前にエンタープライズ向けのVRでノウハウを培うのはよい選択肢となるのかもしれない。
