つぶやく［TGS 2018］指の動きを検知するCoolSoのセンサー技術の可能性
東京ゲームショウ会場のVR/ARコーナーで台湾CoolSoは，リストバンド型のセンサーとジェスチャー認識技術をデモしていた。このセンサーは指の動きを取れるものとのことである。
指の動きを検知するには，Oculus VRのTouchコントローラが接触センサーで簡易的に検出するものを実用化していはいるが，正確な動きを取っているわけではない。また，H2LのUnlimited Handのように筋電位を使ったものは汗などの影響を受けやすいという。そういったものに影響されない「筋肉の振動」を使って指の動きを検出しようというのがCoolSoの考え方だ。
※9/25訂正：Unlimited Handは光学式センサー採用で汗などの影響を受けにくいのが特徴との指摘があり，ここでの例で挙げるのには不適切でした。お詫びして訂正いたします。
デモはViveを使って行うものだった。両腕にセンサーを装着する。同社のセンサーだけではポジショントラッキングはできないので，そこはViveトラッカーを使っている。見た目はViveトラッカー付きのリストバンドのようなものとなっていたが，内部に同社のセンサーが内蔵されている。Viveコントローラのようなものを使うよりも指を使うほうが，とくにSkyrimのようなコンテンツでは自然な操作になるだろうというのがCoolSoの見解である。
デモの内容はシューティングゲームであり，操作は，指を素早く広げる動作で弾を撃ち，指をすぼめる操作でリロードを行うというものとなっていた。
手の方向で直接照準を付けられるのだが，「できるだけ素早く」となると発射動作が結構大きなものとなるので，結果的に指ブレがちになる。指弾みたいなイメージでやればよかったのだろうか。
まあ，それでもすぐに慣れてそこそこ当てられるようにはなってくる。動作的に「直感的か？」といわれると疑問はあるが，指の操作が検知できていることはよく分かった。
技術的には，10本の指の曲げ伸ばしを独立して検知したり，手の捻りも分かるそうだ。指の関節の状態については研究中とのことであった。
しかし振動となると，肉付きや性別などで個人差もありそうなものだがキャリブレーションは必要ないのかと聞いてみると，大人と子供くらい違わないとほとんど差はないそうで，デモ映像では子供が使っているシーンも紹介されており，現状でもなんとかなっているとのことが示されていた。元々はなにも知らない人でもすぐ使えるということのデモビデオだったのだが，子供でも問題はないことも示してもいたわけだ。よってキャリブレーションなどの調整もとくに必要はない。現在はさらなる汎用化についても開発中だという。
ただ，今回のTGS会場のデモでは大雑把な動作だけしか扱っておらず，正直言って，どこまでジェスチャーの判定ができるのかはよく分からなかった。同社の資料では，（独立して動かすことが難しそうな）薬指を除く4本の指を「○△□×」といったボタンに割り当てるような構想も見られたが，操作性にはちょっと疑問がある。それでも「開く/閉じる」といった操作をスイッチにできることは確かなので，確実に識別できるものを使っていくのはアリだろう。
トラッカーを使わないなら，センサー自体は小型の腕時計というかリストバンドくらいの大きさにまでできている。CoolSoではゲームやVR/AR以外に多くの分野での応用を見込んでいるという。
VRでのハンドプレゼンスは重要なものとなるというのは，多くの人が指摘するところである。Valveもちょっと無体な構造の気もするKnuclesコントローラを作って，5本の指を全部伸ばしても大丈夫なハンドコントローラを模索していたりする。そういったものを使わなくてもちゃんと指の動きが取れるのであれば，かなり可能性のある技術になりそうなのだが？
 |
 |
※9/25訂正：Unlimited Handは光学式センサー採用で汗などの影響を受けにくいのが特徴との指摘があり，ここでの例で挙げるのには不適切でした。お詫びして訂正いたします。
デモはViveを使って行うものだった。両腕にセンサーを装着する。同社のセンサーだけではポジショントラッキングはできないので，そこはViveトラッカーを使っている。見た目はViveトラッカー付きのリストバンドのようなものとなっていたが，内部に同社のセンサーが内蔵されている。Viveコントローラのようなものを使うよりも指を使うほうが，とくにSkyrimのようなコンテンツでは自然な操作になるだろうというのがCoolSoの見解である。
デモの内容はシューティングゲームであり，操作は，指を素早く広げる動作で弾を撃ち，指をすぼめる操作でリロードを行うというものとなっていた。
 |
手の方向で直接照準を付けられるのだが，「できるだけ素早く」となると発射動作が結構大きなものとなるので，結果的に指ブレがちになる。指弾みたいなイメージでやればよかったのだろうか。
まあ，それでもすぐに慣れてそこそこ当てられるようにはなってくる。動作的に「直感的か？」といわれると疑問はあるが，指の操作が検知できていることはよく分かった。
技術的には，10本の指の曲げ伸ばしを独立して検知したり，手の捻りも分かるそうだ。指の関節の状態については研究中とのことであった。
しかし振動となると，肉付きや性別などで個人差もありそうなものだがキャリブレーションは必要ないのかと聞いてみると，大人と子供くらい違わないとほとんど差はないそうで，デモ映像では子供が使っているシーンも紹介されており，現状でもなんとかなっているとのことが示されていた。元々はなにも知らない人でもすぐ使えるということのデモビデオだったのだが，子供でも問題はないことも示してもいたわけだ。よってキャリブレーションなどの調整もとくに必要はない。現在はさらなる汎用化についても開発中だという。
ただ，今回のTGS会場のデモでは大雑把な動作だけしか扱っておらず，正直言って，どこまでジェスチャーの判定ができるのかはよく分からなかった。同社の資料では，（独立して動かすことが難しそうな）薬指を除く4本の指を「○△□×」といったボタンに割り当てるような構想も見られたが，操作性にはちょっと疑問がある。それでも「開く/閉じる」といった操作をスイッチにできることは確かなので，確実に識別できるものを使っていくのはアリだろう。
トラッカーを使わないなら，センサー自体は小型の腕時計というかリストバンドくらいの大きさにまでできている。CoolSoではゲームやVR/AR以外に多くの分野での応用を見込んでいるという。
VRでのハンドプレゼンスは重要なものとなるというのは，多くの人が指摘するところである。Valveもちょっと無体な構造の気もするKnuclesコントローラを作って，5本の指を全部伸ばしても大丈夫なハンドコントローラを模索していたりする。そういったものを使わなくてもちゃんと指の動きが取れるのであれば，かなり可能性のある技術になりそうなのだが？
