CYBER TENNISは390円（安い！）

　2019年9月12日，千葉県・幕張メッセで開幕した「東京ゲームショウ2019」。今年もVR/ARコーナーを中心に取材を行っているのだが，ここではテクニカルアーツの展示を紹介したい。

　並んだ展示を見ていると「なぜ3DOFのコントローラでリアルなラケットの動きを再現できたのか？」という張り紙があった。機械学習で3DoFの入力を拡張しているらしいことが記載されている。タイトルは「CYBER TENNIS」で，Oculus Goですでに発売されているゲームである。ユニティちゃんが出てくるテニスゲーム……ストアで見かけた覚えは確かにある。そんな処理をしていたのか？　

左からクエリちゃん，ユニティちゃん，SappiArtちゃん。普通のキャラではインパクトが足りないのは分かるが，前面に出しすぎてちょっとイロモノ感も……

　テクニカルアーツは，昔ゲームアーツでテグザーなどを作っていた池田公平氏が作った会社である。社名も似ているが直接は関係ないようだ。そんな池田氏が開発したのが，3DoFのデータから，どんなスイングがされたのかを推測するプログラムだ。


　コントローラの角度と前方ベクトルとの内積を取り，スイングの進行度を計測する。コントローラの角度と上方向のベクトルとの内積を取り，ラケットの上下角を算出する。そして，XYZ軸方向の加速度の推移からラケットの動きを取り出し，これら3つのベクトルをニューラルネットワークに入力するようにしておく。ゲームの最初にプレイヤーの振り方の癖をサンプリングして，あらかじめ用意しておいたラケットの振り方の教師データとプレイヤーのデータを比較してデータを補正しつつ，ラケットの動きを推測していく流れとなっているようだ。

　そこから，プレイヤーが行ったスイングが，トップスピン，フラット，スライス，スマッシュ，ロブの要素をどれくらいの割合で持つのかを算出して動作を推定していく。実際，テニスの経験者であれば，実際の競技と同じ感覚で打ち分けられるという。スライスとロブ（ドロップ）は動作が似ていて判定が難しかったそうだが，最新版ではそのあたりの精度が上がってロブがよく決まるようになったという。

　個人的に，Oculus Goは3DoF入力がなんとかなったら非常に使い勝手が上がるデバイスだと思っている。このようなやり方で6DoFのライブラリは作れないのかと聞いてみたのだが，特定の種目ごとにやらないと無理だそうだ。今回のものも，3DoFデータから6DoFデータを作っているわけではなく，テニスのラケットの動きを推定する処理系である。テニスかバトミントンにしか使えそうにないとのことだった。汎用のものにしようとすると，ニューラルネットワークが複雑になりすぎてゲームでは使えない。今回のものは5段のニューラルネットワークだそうだ。72fps動作の1フレームは14msであり，3〜4msで処理しないと使いものにならないようだ。
　最近のモバイル用SoCだとAI用プロセッサも内蔵されているので，次世代のOculus Goなどなら可能なのかもしれないが，次世代だったら最初から6DoFになっているだろうか。

テクニカルアーツ CEO/CTO 池田公平氏

　ちなみに，本作はUnityで制作されているのだが，Oculus Goの最高解像度かつ4xMSAAの状態で72fpsをキープしている。それはどのようにして実現されたのか，オンライン対戦を遅延なく行っている手法，VR酔いの軽減などについての技術解説が同様に行われていた。
　ちなみに遅延対策は先日の5Gの記事で書いた「おそらく普通のゲームなら，遅延がだいたい分かっていれば遅延時間も加味してボールが移動するように作るのだろうが」と同じ，遅延がなくなるのではなくて，遅延を見えにくくする方法だった。
　池田氏は，Oculus Goでパフォーマンスを出すように模索した結果，Unityでもかなり高速なゲームが作れることが分かったとのことで，今後の展開が期待されるところだ。

　なお，CYBER TENNISは，Oculus Quest版とRift版も発売予定とのことだ。まあ，Oculus Goで動かすよりはずっと簡単だろう。
　そして現在Nintendo Switch版も開発中とのことだった。なんでも，Nintendo SwitchのVRゲームは必ず両手でデバイスをホールドさせなければならないのだそうで，「コントローラをラケット代わりに振って」というスタイルのゲームは作れない。現状ではどうやって操作するのかは不明で，発売できるかも現状では分からないとことだったが，今後の展開に注目しておこう。

CYBER TENNIS（Oculus Experiences)