GCC'17レポート:頭部への電気刺激で重力,そして視覚や味覚まで「本当に感じる」VRの世界へ

 2017年2月18日に大阪で開催された「GAME CREATORS CONFERENCE'17」ではさまざまなセッションが行われたのだが,そのなかで一風変わったものとして,電気刺激により感覚を再現する講演があった。視覚,味覚,重力感覚など五官で感じる刺激を合成して,さまざまな感覚をもたらすのだという。以下では,大阪大学の安藤英由樹氏青山一真氏による講演の模様を紹介しよう。


学問としてのバーチャルリアリティを学ぶ


安藤英由樹氏
大阪大学大学院情報科学研究科
バイオ情報工学専攻准教授
GCC'17レポート:頭部への電気刺激で重力,そして視覚や味覚まで「本当に感じる」VRの世界へ
 安価で高性能なHMDの登場,モバイル端末でも体験できることから,にわかに盛り上がっているバーチャルリアリティの世界。そんなバーチャル世界そのものや,電気刺激による感覚体験の研究をしている,大阪大学でヒューマンインタフェース,バーチャルリアリティなどを専門にしている安藤氏の講演タイトルは「頭部電気刺激で5感を生成!?」だった。

 講演はメインテーマの前に,ヴァーチャルリアリティ(以下VR)とはなにか,学問としてのVRとは? を知るところから始められた。

 「最初に多分皆さんが思っているVRとは,ちょっと違うVRの話をしようと思います」と切り出して紹介されたのが,安藤氏が学位を習得したときに作ったロボットで,ロボットの視点でものを見つつ,体験者の動きを丸ごとキャプチャしてトレースするというものだ。
 この実験に参加した体験者は,自分自身があたかもロボットがいる場所へ移動している,つまり意識が体を離れているように感じるのだそうだ。これがVRを使って何かできる一つのポイントだと安藤氏は語った。ゲームならば自分がそのゲーム世界の中にいるという状況を作ることにほかならず,さらに没入することは世界を感じ取ることだという。

GCC'17レポート:頭部への電気刺激で重力,そして視覚や味覚まで「本当に感じる」VRの世界へ
 「いったい『感じる』というは,どういうことなんだろう? 私を私たらしめているものは何か? 要は,自分がどういったことを考え,生きているかを考えることこそが,学術的なVRの本質的な面であるんですね」と氏は語った。
 この,感じることがどういうことかというと「人間は,体に物理的な刺激を受けて,その刺激を頭の中で理解しています。刺激を無意識の世界で『分かる』領域に変換して,初めて頭の中で知覚され『分かる』となるわけです」と安藤氏は語る。
 さらに,これが分かってくると,リアルなものは,どうしたらリアルに作れるのだろうということを学問として真面目に勉強できるのだという。ここから,さらに「人工的にないものを『ある』ように感じさせるには,どうやったらいい」のかについて研究が進められている。

 また,安藤氏が恩師の受け売りと前置きして語ったのが「『バーチャル』は『仮想』ではない」という,バーチャルという言葉そのものの定義だ。仮想現実として訳されることが多いVRだが,仮想現実はバーチャルリアリティの正しい訳ではないという。
 「バーチャルは,リアルと感じさせる要素そのものなんですね。リアルと感じる≒リアルと等価と扱えるものがバーチャル,つまり同じではないけど同じ役割を果たすというものがバーチャルであり,そのエッセンスがなんだろうということを探すことこそが,VRの研究なんです」(安藤)

 その研究の具体例として挙げたのが,最近の研究の一つ「心臓ピクニック」だ。これは,マイクがつけられた聴診器を通して自分の心臓音を聞きながら,被験者が手に持った黒い箱が,心臓音に合わせて振動するというもの。仕掛けは単純で,これを持ってどう感じるかを被験者にイメージしてもらうだけだが,体験した人が皆「どうも心臓を握っている気がする」という印象を持ったという。
 「手に持っているのは,ただの振動する黒い箱なんですけど,そこに生きているもの,心臓っぽい何かを感じるという不思議さがあるんですね。研究としては,どうしてそう感じるかということを,もっと調べていくことになるのです」(安藤)


体験=VR


 続いて話題は,安藤氏個人についての話に移った。
 そもそも,安藤氏がVRというものに興味を持ったのは,かつてアーケードゲームとして登場していた体感ゲームにあるという。「セガの『アフターバーナー』では,乗ったことのない戦闘機に乗ったりして,こんな感じなのかな? とイメージしながら体験するものをいろいろやってきました」の言葉どおり,安藤氏が体験したのは,約25〜30年くらい前にゲームセンターに登場した体感ゲーム機たちだ。当時を体験した年代であれば,「ああ」と納得してもらえることだろう。現在でもアーケードゲームは,体験を打ち出してはいないけれども,よりリアルな映像や仕掛けで体験できるものが登場している。アーケードゲームの置かれているゲームセンターは,少し前からVRを体験できる場でもあったと言えるのかもしれない。

 また,学生時代に参加した「学生VRコンテスト97,98」では,実際に田植えを体験できるような「田植えシステム」と,とにかく技術の無駄遣い,バカバカしいことをやろうとして作られた「満員電車システム」を作り,ともに優秀賞を獲得したという。
 そのときに安藤氏が学んだのが「なにこれやりたい! と思わせるものを作るには,どうしたらいいか?」ということだという。「人は,自分が体験したことのないことができることを『やりたい』と思うわけですからね。VRも結構そういうところがポイントかなと思っています」と続け,体験させるためには,興味を引かせるようなインパクトが必要だと語ってくれた。

GCC'17レポート:頭部への電気刺激で重力,そして視覚や味覚まで「本当に感じる」VRの世界へ

 実際に体験,追体験をうまく利用した研究が,腹腔鏡手術をトレーニングできる「追いトレ」だ。最近普及してきた腹腔鏡手術だが,熟練している医者は少ないという。そこで,医者がトレーニングするためのシステムに,VR/AR技術を使えないかということで行われている試みだそうだ。内容は,実際に行われた手術映像を見て,熟練者の動きをトレースしながら練習することで,スキル向上を図るというものだ。
 ちなみにGCCの運営スタッフが研究室にきた際に体験してもらい,「ゲーム業界の人が,こういうトレーニングのシステムに触ると,一通り手術ができるまでずっとやり続けるのかな,ちょっとゲームにつながるところもあるのかなと,思いました」と安藤氏は述べていた。

GCC'17レポート:頭部への電気刺激で重力,そして視覚や味覚まで「本当に感じる」VRの世界へ


前庭器官への電気刺激で感覚を作る


GCC'17レポート:頭部への電気刺激で重力,そして視覚や味覚まで「本当に感じる」VRの世界へ
 研究内容に続いて,いよいよ講演の本題である電気刺激の話へ入った。
 まず,映されたのが十年ほど前にテレビ番組で取り上げられた映像だ(日テレ系バラエティ番組「世界一受けたい授業」)。ラジコンなどを操作するプロポで体験者を操作するという,人間コントロールが盛り上がっていた。そこで使われていたのが,前庭電気刺激(GVS: Galvanic Vestibular Stimulation)である。
 前庭部というのは,耳の奥の三半規管の隣にある重力などを感じる器官のことだ。微弱な電流を内耳の奥の前庭に流すことで,加速度感覚や角速度を知覚させることができるという。基本原理は,前庭器官へ電気刺激を与えて左へ傾くイメージが与えられると,脳が左に傾いていると感じて体がそれに対応するように右に傾くというもの。流す電流は,低周波治療器の数十分の一とのこと。

 続いて実際にこの技術を使った活用例が二つ紹介された。一つは,メディア・アーティストの八谷和彦氏に誘われて製作した「ガンダム展」のサイココミュニケータだ。

 ファーストガンダムのラストシーン,アムロがホワイトベースのクルーにテレパスで話しかけて導くアノ場面,ファーストガンダム世代に刺さるシーンをイメージしたものだという。これは,ペアになって体験するシステムになっており,一人はテレパシーを受診する役割(受信側は目を塞がれ,もう一人の指示によって前庭電気刺激を受けて左右に誘導される),もう一人は,受信者の顔につけられたカメラで相手の視界を見ながら,障害物を避けるようにテレパシーを送る役割となっている。もちろんテレパシーではなく,送信側の人には「念じてください」といいつつ,目の動きや頭の動きを計測して,前庭電気刺激を与えるように信号を送信し,受信者を操作するという具合だ。1日数名という限定実施ながら,結構な反響があったという。

GCC'17レポート:頭部への電気刺激で重力,そして視覚や味覚まで「本当に感じる」VRの世界へ GCC'17レポート:頭部への電気刺激で重力,そして視覚や味覚まで「本当に感じる」VRの世界へ

 そしてもう一つが,アート方面のフェスティバルへ挑んだ「Save YourSelf!!!」だ。ボウルの中の水に筏を浮かべ,その筏が動くと前庭電気刺激を受けてボウルを持っている人自身が,左右に動かされるというもの。筏に乗っているアバターには,自分の顔を映しているので,筏が動くとアバターとしての自分が動き,さらにリアルの自分も連動して動くという,入れ子状態になって,ほぼまっすぐ歩けないという不思議体験ができたという。
 「いろいろな人に体験してもらったのですが,皆が体験したことがないので,事前に説明は受けても,実際にやってみると『うわっ』という顔をするんですよね。実は前庭感覚は,普段から体験されているものだけど,それだけを取り出して感じるということはないので,とてもインパクトがあったようです」と,安藤氏は当時を振り返って分析していた。

GCC'17レポート:頭部への電気刺激で重力,そして視覚や味覚まで「本当に感じる」VRの世界へ

 「結局,VRにおいて体験させることの原点の一つは,感覚を提示してあげることにあります。そして,重要なことは,一つの現象は単一のモダリティ,例えば触覚だったら触覚,視覚だったら視覚だけではなくて,同時に複数の刺激が入ってきます。それをタイミングよく出してあげることが非常に大事だということです」
 と,VRにおいての感覚の大切さを改めて語る安藤氏。しかし,感覚が大事とはいえ,とにかく刺激があればいいというわけではないようだ。「たくさんの情報を与えてあげれば,どんどんリアルに感じるかといえば,実はそうでもなくて,一つでも感覚から外れているものがあると全部を壊してしまうことがよくあります」と,すべての感覚を再現することにこだわるあまりの弊害もあるという。

GCC'17レポート:頭部への電気刺激で重力,そして視覚や味覚まで「本当に感じる」VRの世界へ

 最後に「よく言われる話ですが,再現しにくい感覚は逆に出さないで,体験者の頭で補ってもらう方法でも大丈夫なんですね。実は足りない情報は,脳が結構補完してくれます。未経験な人はできないようなことでも,初めての体験で『これってこういうことなんだ』と頭の中で理解してくれるためです」と,人間の適応能力をうまく使うことでリアリティを生み出せることを示唆。そして,安藤氏は,実際に電気刺激で感覚を作ってきた青山氏へとバトンタッチした。


青山 一真氏
大阪大学前田研究室の博士研究員。
安藤氏と同じく日本学術振興会特別研究員
GCC'17レポート:頭部への電気刺激で重力,そして視覚や味覚まで「本当に感じる」VRの世界へ
 ここからは,電気刺激によって作られる感覚の話。自分の体に電気を流すのが好きという変わ……なかなかの趣向をお持ちの青山氏は,実際に自分の体を使って電気刺激が与える影響を調べたという。講演は,感覚を再現するということはどういうことかから始まった。

GCC'17レポート:頭部への電気刺激で重力,そして視覚や味覚まで「本当に感じる」VRの世界へ
 一般的に行われている感覚再現の方法は,物理現象を再現する方法が主だったものになっていると青山氏は言う。例えば視覚であったら,実際に光っていう物理現象を再現するディスプレイ,触覚だったら,実際に力を出すNovint Falcon,前庭感覚だったら人を乗せて振り回して加速度を発生させてやるモーションチェアといった具合だ。
 そんな中で青山氏は,体に電極を貼って感覚器や神経系に対して電気刺激を与え,それによって生起させられるいろいろな感覚にこだわって研究しているという。こだわる理由は「前庭刺激装置は,安くて,軽くて,小さい」からだそうだ。こんなお手軽な装置だけでいろいろな感覚が出せるうえに,そこそこ強い感覚まで生み出せるのが魅力らしい。さらに「実際にいいものが作れたときには安く作れるためみんなに使ってもらえるし,さらに軽くて小さいのでモバイルとの相性もいい」といった,実用性という観点からも研究を進めているようだ。

 今回は,加速度・平衡感覚を生み出す前庭電気刺激,手応えを感じさせる触力電気刺激,味を提示する舌電気刺激,視覚を提示する網膜電気刺激について,解説してくれた。講演タイトルにあった「五感」には一つ足りないようだか,どうやら嗅覚については,成果について語ることのできるレベルにないということだった。ただ,研究はしており,成功していることもあるということなので,今後に期待したい。


加速度・平衡感覚を作り出す前庭電気刺激


歩行誘導の実験の様子。後ろから近づいてくるバイクを意識することなく,歩行者が避ける
GCC'17レポート:頭部への電気刺激で重力,そして視覚や味覚まで「本当に感じる」VRの世界へ
 加速度や平衡感覚を司る前庭感覚器に適切な電気刺激を与えると,脳が加速度や平衡感覚が変化したという信号と勘違いし,体を反応させる。それで,バーチャルな加速度が発生して,人間はプラス方向へ体を傾けてしまう現象が起こるという。例えば歩いている人なら,刺激を受けている間は,意識することなく歩く方向を変えてしまうのだ。

 前庭電気刺激を歩行誘導に使えないか実験しつつ,実際にバーチャルな加速度が出るならゲームなどに応用しようと考えた青山氏。しかし,研究を進めていたときに弱点が発覚した。
 「映像と同期させて,いろいろなパターンの加速度感覚を入れることにより,臨場感の高いシステムが作れないか? ということで研究していました。しかし,従来の方法だと左右方向にしか加速度感覚を出せず,そのままゲームに使うと,なかなかリアリティを持たせられませんでした。なんとかして,さまざまな方向へ加速度を出すため,頭にたくさんの電極を貼り,その電極のパターン・流す電流によって,どういう方向の加速度が出るか地道に検証していきました。結果,左右だけでなく,前後方向に少し頭が動いたりだとか,左右の首振り方向へ加速度感覚を提示できるような前庭電気刺激というものが作れたのです」

 そう語った青山氏が,実際の実績として紹介してくれたのが,2016年に開催された東京ゲームショウやCEDECで展示された「GVSライド」というシステムだ。HMDをかぶった体験者は,ジェットコースターの映像に合わせた前庭電気刺激によって,リアルな加速度を感じ取れるという。このシステムでは,前後左右の加速度だけでなく,少しだけ上下方向にも加速度を感じ取れるようになっているという。

電気刺激を与えられると腕や指がピクピクする。いわゆる低周波治療器をつけた状態と同じだ
GCC'17レポート:頭部への電気刺激で重力,そして視覚や味覚まで「本当に感じる」VRの世界へ
 加速度に続き,二つめに紹介された感覚は,手応えを返す電気刺激である触力覚だ。青山氏が取り組もうとしたきっかけは,簡単に扱えるようになってきたARマーカーの存在にあるのだそうだ。ARによってバーチャルアバターを表示すると,必然的に「触りたい」「インタラクションしたい」と欲するようになると考え,それはどうしたら可能だろうかと研究を進めたという。
 触った感触を再現する一番簡単な方法は,指をトラッキングして触ったときに指を振動してやるだけでいい。ものに触れたであろう位置で振動を感じると,一応,そこに何かある,と脳は解釈してくれるのだ。ただ,触ったときに感じる力は返せないので,実際に「いる」と感じることはできない。物理的な装置を使うのも,机に引っ付けて使わないといけなかったりで不便だという。

 そこで試みたのは電気刺激による触力覚の再現だ。
 「筋肉の上に電極を貼り,そこかへ電気刺激をすると筋肉の収縮が起こるんですね。物を触ろうとする感覚を再現するときには,指を曲げて触ろうとしたときに,伸ばす筋肉を収縮させ,指をガチっと止めます。そうすると人間は力が返ってきた=そこになにかあると錯覚するのです」と感覚再現のメカニズムを解説した。
 「さらに指の腹にも電極を貼り,電気刺激をします。すると,指の腹に触ったものの圧力の感覚を生み出すことができるのです。これらを一緒に使いつつ,かつ数十ミリ秒というごく短い時間ずらして使ってやることによって,コツコツとした堅いものから,ふわっとした柔らかいものまで,いろいろな硬さを感じさせることに成功しています」と青山氏は続け,触ったときの腕に感じる反力だけでなく,質感までリアルに再現できていると語った。いずれは,キャラクターの髪の毛や手に触れたとか,そこまでの質感を表現できるようになるのでは,と思い引き続き研究を進めているという。


味を提示する舌電気刺激


 続いて電気刺激による味覚の抑制効果とメカニズムだ。今回紹介されたものは,味覚の抑制効果とあるように,電気を流すだけで味を感じさせるものではない。口のなかで感じ取れる味覚を,電気刺激によってさまざまな味に変化させるという研究だ。
 味覚の抑制効果とは,例えば口の中に塩水とマイナス極を入れて,プラス極を体のどこか(首の後ろとか)につけて電気をかけてやると,塩味がすっと消えて水のように感じるようになるとのこと。研究は,この味覚の抑制効果がどうして起こるかを調べることから始まったという。
 結果として「口の中で塩水はNa+とCl-に電離しています。ここに電気刺激をかけてやると口腔内に電場ができて,Na+はマイナス極側(ストロー側)へ,Cl-はプラス極側(喉の奥側)へ移動していくのです。実は塩水の塩味は,Na+側でしかしていないため舌からNa+が離れることで,味覚の抑制が起こっていました」と,そのメカニズムが分かったという。

GCC'17レポート:頭部への電気刺激で重力,そして視覚や味覚まで「本当に感じる」VRの世界へ

 メカニズムが分かったあと青山氏たちは,そのメカニズムを逆に利用することを考えた。いろいろな電気刺激のパターンをうまく調整してやることで,塩味だけでなくて,甘味や旨みとか酸味,苦味という基本五味全部に対する抑制を達成している。味覚の抑制ということは,味が薄くなるということだ。これで何ができるかというと,基本五味全部を感じ取れる標準ベースみたいなものがあれば,電気刺激をかけてやることで,甘さはちょっと残して,ほかの四味を強めに抑制したりと,味の引き算で任意の味を作れるようになるのだそうだ。
 逆に電気刺激で味を濃く感じさせることも可能だと青山氏は続けた。いったん電気刺激で味を抑制したあとに,その電気刺激を切ると元の味覚が戻るが,そのときに味覚を感じる成分(塩水であればNa+)が一斉に舌へ当たり,一秒くらいの間だけ強く味を感じることがあるという。

 しかし「最初は一秒くらいしかもちませんでしたが,僕らのチームの最新研究では,うまく電気刺激のパターンを設計してやると一分,二分といったロングスパンで味の増強を続けられるような電気刺激を作ることに成功しています」と青山氏は成果を強調した。これで「味覚の足し算」ができるようになるという。将来は,安くてあまり甘くないりんごの甘さを強くしてやったり,薄味のお味噌汁の塩味を足して塩をあまり使わないでも濃く感じさせられ,ダイエットや減塩などができるだろうと考えているようだ。

GCC'17レポート:頭部への電気刺激で重力,そして視覚や味覚まで「本当に感じる」VRの世界へ GCC'17レポート:頭部への電気刺激で重力,そして視覚や味覚まで「本当に感じる」VRの世界へ


視覚を提示する網膜電気刺激


 最後は,電気刺激によって視覚を作る試みだ。これは,目の近くに電気を流すと,目の神経に電気刺激が届き,視野が光って見える内閃光(フォスフェン)と言われる現象を利用したものだと青山氏は説明してくれた。発端は,青山氏自身が顔のいろいろな場所に電極を貼って実験しているときに,ピカッと強い光と感じることがたびたびあったのだという。かなり強い光なので,実験での体験者が怖がることもあり,気づいた当初はうっとおしいなぁと思っていたようだ。

 しかし,最近になって「電気刺激で視野が光ったと感じるということは,視覚の情報をバーチャルに作れているのかな? という考えに至り,これうまく使えば,すごく軽くて電極しかつけなくてしかも高輝度,しかも広視野というHMDとして使えるかもしれない」そう思った青山氏が,まず調べたのは「光っている場所を移動できないか?」だ。
 顔いっぱいに電極を貼り,いろいろなところから電流を流してみて分かったのが「人間は,刺激の近くに光を感じるらしい」ということ。場所が分かれば,その位置を変化させてやれば光の位置を制御できる。制御できるということは,光源を高速で移動させたり,二つ三つ同時に光らせたりして簡単な図形を描けるかもしれないと思い,研究を推し進めているという。最近では,一瞬しか光らせられなかったものを数秒まで光らせられたり,真っ白な光しか見せられなかったものが,色を着けられるようになったりしているようだ。

GCC'17レポート:頭部への電気刺激で重力,そして視覚や味覚まで「本当に感じる」VRの世界へ

 続いて,網膜電気刺激による視覚再現の特徴として広視野があるという話へ。実際にどれくらいの範囲が反応できるかと調べたところ,通常の視界よりも後ろに光が見えていることが分かった。青山氏は「人間が本体持つ見る力を拡張したところに情報を提示できるということは,もしかしたら将来,後ろに目がある生活ができるようなインタフェースになるのかもしれない」と思いつつ研究を進めていると語ってくれた。

GCC'17レポート:頭部への電気刺激で重力,そして視覚や味覚まで「本当に感じる」VRの世界へ

 そして,この網膜電気刺激を実際に体験できるものとして作られたのが,昨年行われたバーチャルリアリティ学会にて展示された「ユニティちゃんに殴られたい」だ。バットで殴られた加速度を前庭電気刺激で出してやり,殴られたところに網膜電気刺激で光を見せるというものである。

 二つの刺激があることで,かなりリアルな打撃感を味わえるということだが,「僕がバットで殴られたことがあるわけではなく,あくまで僕が思うバットで殴られた感覚に近いということです」と青山氏は補足していた。
 そして「最近では,電気刺激を使ったアプリや製品が出てきていて,大学も関係ない,一般の人が電気刺激を使ったデモをしていることがすごいことだと感じています。いままでは,なかなかそういう流れにならなかったのですが,一般の人でも使えるくらい,電気刺激に対する敷居みたいなものがさがってきているのかなと感じています」と電気刺激による感覚再現の解説を締めた。

 そして,GCCスタッフによって行われた前庭電気刺激のデモ,簡単な質疑応答後,最後に安藤氏が語ったのは,実験に際しての安全性の確保に関してだ。
 「結局,車の自動運転と同じで,安全かどうかなんて誰も分かりません。だからといって好き放題実験をやっていいかというと,それはそれでダメです。危ないと言われないために,研究の範囲内で倫理審査というものを考え,ガイドラインに沿って実験を行っています。ルールは耳鼻科のお医者さんとともに作成し,その範囲であれば,まず問題が起こらないという判断でやっています」ということだ。さらに今現在でも,デバイスを作って売ることができる状態にはあるという。ただ,ネックとなっているのが安全性の担保で,これがなかなか難しいという。

GCC'17レポート:頭部への電気刺激で重力,そして視覚や味覚まで「本当に感じる」VRの世界へ

 しかし,家庭用に売るとなると壁は高いが,ゲームセンターといった限定空間で少し体験するレベルであれば,さほどハードルが高くない状態でやれると安藤氏は考えているそうだ。実際に,いろいろなところからオファーをあるということなので,この先,新たなデバイスとして普及していくような話になることに期待したい。

 講演後,GCCスタッフによって行われた前庭電気刺激のデモを同じ体験できる機会があり,筆者も参加し(映像はGCCスタッフが体験しているときのもの),自分の動きをプロポでコントロールする,なんとも不思議な感覚を味わってみた。実際に体験してみるとなかなかの驚きで,プロポのスティックを左右に倒すと,その動きに応じてふらふらと右へ左へと体が勝手に移動してしまうのだ。感覚としては,とくに力を加えられたようなことを感じることはまったくなし。まさにゲームのキャラクターを操縦している感覚(自分が操縦されているけど)。ただ,装置をつけて電流を流している間だろうか,ごくごく軽い3D酔いのようなふわっとした感覚がつきまとっていた。ほかの体験者では「ちょっとピリッとする」といったことも感じていたようで,やはり個人で感じ方も変わってくる部分はあるようだ。