ZenFone ARで体験する「TangoやDaydreamでできること」

 ASUSteK Computer(以下ASUS)より,Android端末「ZenFone AR」を短期間ながら借りることができた。このZenFone ARは,TangoによるAR機能,DaydreamによるVR機能の両方に対応したASUSのハイエンドスマートフォンだ。
 ここではごくごく簡単にだが,Androidで実現できるAR(Tango),VR(Daydream)とはどんなものなのか,それとZenFone ARについても紹介したい。

 なお,今回お借りしたZenFone ARは,検証用のエンジニアリングサンプルであり,夏頃発売予定の製品版とは仕様が異なる可能性があることをあらかじめご了解いただきたい。


Tangoとはなにか


Androidスマートフォン向けに,Googleが提供を始めたAR機能。それが「Tango」だ
ZenFone ARで体験する「TangoやDaydreamでできること」
 かつて,Google ATAP(Advanced Technology And Projects・先端技術/製品研究)で実験的に進められていた「Project Tango」。Tangoは,簡単にいうと,スマートフォンのカメラ機能を使い,周辺を3次元的にマッピングして,拡張現実(以下AR)機能を提供する,というものだ。
 このTangoを扱うには特殊なカメラが必要で,開発者向けの実験的な端末がLenovoから発売されていたが,この2017年発売のモデル(一部は2016年発売のモデルのファームアップデート)で,いよいよ一般製品のAndroidスマートフォンにも搭載されることになった。

 かつてARといえば,日本でも例えば「セカイカメラ」「SATCH VIEWER」といったスマートフォンを利用したARアプリはいくつか話題になったことがあった。ARマーカーとQRコードで簡単なプロモーションツールとして配られていたものなどを入れると枚挙に暇がないくらいだ。が,Tangoが提供するAPIはもっとリアリティにあふれるARのためのものだ。

 Tangoでは,奥行きも含めた3Dセンシングを行い,プレイヤーの視覚,聴覚に3次元の広がりのある情報を与えるように考えられている。

Tangoでは,スマートフォンが現在いる場所の奥行きなどをセンサで調べ,そこに仮想の物体や説明などを置くことができる
ZenFone ARで体験する「TangoやDaydreamでできること」

 そのため,Tango対応端末には普通のメインカメラのほかに,深度を測る補助カメラ,魚眼レンズを搭載したそれぞれ別のイメージセンサが必要となる。

 また,カメラで撮影し作成した3Dモデルを表示する際に,どの角度から見るのかといった方向が必要であるため,ジャイロセンサー(加速度計で重力変化を計る)も必要だ。

 すでに簡単に説明しているように,2017年5月上旬現在,Tangoに対応したスマートフォンは,LenovoのPhab2のみが販売中で,この夏には,ZenFone ARが発売される予定だ。今後は他社からも対応端末が発売されることになるだろう。


Daydreamとはなにか


一方,VR環境として提供が始められたのが「Daydream」だ。対応アプリはまだ少ないが,例えば,ストリートビュー3Dなどが利用できる
ZenFone ARで体験する「TangoやDaydreamでできること」
 Googleが,昨年,「Daydream」と呼ばれるスマートフォン3D表示のAPIを発表した。このAPIを利用すると比較的手軽にバージョン7.0以降のAndroidでVRアプリが作成できる。
 米国などでは,すでにこのスマホVRアプリを利用するためのヘッドマウンタ「Day Dram View」が販売されており,対応スマホを利用することで,Google Map 3DやYou Tubeでの3D動画鑑賞を行える。

 Daydreamを利用するための最低要件は,

  • 1080p以上のディスプレイ解像度(1440p以上推奨)
  • ディスプレイサイズ 4.7〜6インチ
  • 60Hzのリフレッシュレート
  • H.264で1920×1080ドット@60fps映像を再生可能
  • 黒→白,白→黒の表示が3msで切り替え可能
  • 残像軽減(low-persistence)モードでは5ms以下
  • CPU物理コア2以降で排他的使用が可能
  • OpenGL ES 3.2必須
  • Vulkan Hardware Level 0(Level 1以上を強く推奨)

と,2017年のスマートフォンとしてもかなり厳しいといえる環境だ。
 Daydreamに対応したスマートフォンは,国内販売中のものとしては,Huaweimate 9」,ZTE「AXON7」がある(ただし今夏のシステムアップデートが必要)。海外販売製品では「Mate 9 Pro」やGoogle「Pixel」などもある。

 ASUSから発売されるZenFone ARはDaydreamにも対応しており,TangoとDaydreamの両方に対応した初めての端末ということになる。


Tangoは何ができるのか?


ZenFone ARで体験する「TangoやDaydreamでできること」
 Googleのスマートフォン向けAR技術Tangoの特長の一つは,ハードウェアごとAndroidに最適化されているので違和感の少ないARが可能なことだ。ハイエンドスマートフォンのマシンパワーを生かして3Dオブジェクトを画面に表示したり,動かしたりできる。

 また,ARマーカー(ディスプレイに情報を出すための位置指定標識)などを使わなくても,内蔵のカメラやジャイロ,GPSなどで空間内の場所を指定できる。
 3D認識が可能な搭載カメラ群で,「ここには壁がある」「ここは平ら」などといった情報,あるいはジャイロを使って「今カメラは足元を見ている」というような情報を取れるので,これらを使って自然な位置に表示オブジェクトを配置できるのだ。
 これらをどう使うかというのはアプリしだいなのだが,たとえば奥行き情報を持ったカメラで,物体を3Dスキャンしたり,部屋の中をスキャンしたりといったことも可能だ。さらに位置情報と組み合わせて,「ここでこれを見ているときには,この情報を表示する」といったナビゲーション的な応用もできる。

Tangoを利用したアプリの一例。実際には壁がある場所に岩山を配置し,何もないところに仮想のキャラクターを配置している
ZenFone ARで体験する「TangoやDaydreamでできること」

 Tango対応アプリはTangoの「オススメアプリ」などからインストールして,「マイアプリ」に入っているものを起動する。が,通常のアプリのようにGoogle Playからインストールすることもできる(Google Playのほうが検索しやすいので,話題のアプリなどを入れる場合はそのほうが楽かもしれない)。

 オススメアプリの「Holo」をインストールしてみた。
 これは,Tangoの機能によって,平面の場所に手のひらサイズのホログラム人形データを置いて動かせるというものである。

 例えば,写真のようにプリンタの蓋部分に小さな「サッカー審判」のおじさんを置いてみる。スマホの操作によって(残念ながらランダムではない),おじさんがレッドカードを出したり,踊ったりしてくれる。

 従来スマホのARアプリで,例えば「みくちゃ」という初音ミクと一緒に写真が撮れるアプリがあるが,ミクさんのデータがあればもう少し日本人にも楽しめそうではある。

Tangoアプリ「HOLO」の例。Tangoが認識した平面上にホログラムの人形データを配置できる。これは,「サッカーの審判」でイエローカード,レッドカードなどを出す仕草を好きな場所でさせることが可能だ。……初音ミクのホログラムデータでもあれば絶対ウケると筆者は思うのだが
ZenFone ARで体験する「TangoやDaydreamでできること」 ZenFone ARで体験する「TangoやDaydreamでできること」

 あるいはTangoの特長としては,ARマーカーがなくても,適切な場所を判断してオブジェクトを置いたりと,より簡単にARができるところにある。

 例えば,「RoomCo AR」というアプリでは,この特長を生かして,部屋の中にさまざまな家具を置いてみることができる。
 アプリの中には,カリモクや,大塚家具のTVボード,Journal Standard Fanitureのドレッサーといった,実際に販売されている製品のデータがリアルスケールで入っており,家の中にそれを置けるか,置くとどのように部屋のコーディネイトがなるかなどをチェックできるのだ。

 筆者はそろそろテレビ台を換えたいと思っており,(散らかった部屋ではあるのだが)少し試してみた。unicoの手頃なテレビ台だが,最近は液晶テレビの大型化に合わせてなのか予想よりも意外と大きく,少し部屋の模様替えをしないと置けそうにないことが分かった。

「RoomCo AR」で,居間のテレビ台を買い換えたいものと入れ替えてみる。少し現在使用注意のものより大きくスペースが必要,ということが分かる
ZenFone ARで体験する「TangoやDaydreamでできること」

 長さ,方位,位置がスマートフォン単体で分かることで,このようにエンタテインメントとしても,また実用としてもこれだけさまざまなことができるのだ。


Daydreamで今できること


Daydreamを利用するには対応ヘッドセット,コントーラなどが必要になる
ZenFone ARで体験する「TangoやDaydreamでできること」
 さて,お次はDaydreamだ。
 Daydreamは,Androidスマートフォンで高品質なVRを提供するプラットフォームだ。

 Android OS 7.0(コードネーム:Nougat)では,VRモードが新たに追加された。これはOSの挙動を一部制限などすることで,ジャイロやコントローラなどからによる動き検出から画面描画への遅延を少なくし,また高速画面描画API「Vulkan」を利用するモードだ。

 従来のAndroidでも,例えばYouTubeの360度動画などを見ることができたわけだが,それに比べるとヘッドセットに装着されたスマートフォンの角度に敏感に反応するようになった。

 頭を動かした際などに発生する描画の遅延(Motion to Photon)は,人間が違和感なくVRを体験するには20ミリ秒以下が必要とされており,Daydreamでもこの程度の遅延での描画を目指している。
 しかし,どの程度の遅延で描画が可能かは,当然のようにスマートフォンのマシンパワーに依存する。実際には2017年時点ではハイエンドにカテゴライズされるマシンでないと対応できない。

 そこで,Daydreamが要求するスペックを満たしたスマートフォンには「Daydream Ready」という認定が与えられる。具体的にはヘッドトラッキング用に低遅延ジャイロセンサー,高解像度・低残像のディスプレイ,十分なマシンパワーを持ったCPU(実際にはCPUを搭載したSoC)を搭載していることが求められる。
 ZenFone ARは,この「Daydream Ready」なスマートフォンとして販売開始される予定だ。

 Daydream Readyなスマートフォンでは,Googleの提唱する「DaydreamのVR対応デバイス」具体的にはヘッドセット+コントローラなどを利用することで,VRホーム画面からVRゲーム,VRアプリなどを利用可能になる。

 また,サードパーティからは販売されていないが,Googleからはほぼリファレンスデザインそのままのヘッドセットとコントローラのセットが,米国など,販売されている。これがDaydream Viewだ。

 これまでAndroid用のVRといえば,非常に大ざっぱだった。
 Gear VRを除くと,Google Cardboard(段ボールでできたHMD)やハコスコといった「目の前にスマートフォンを固定する器具」で写真や動画を観るだけだったのだ。

 Daydream Viewも基本的には目の前のスマートフォンを目の前のレンズを使って,仮想3DのCGを観るということに変わりはない。
 両眼に合わせて,スマートフォン画面は左右分割で表示され,3Dで画像が表示される。かつ,顔に装着したHMDの位置に合わせて360度方向のCGが観られる。

 が,Daydream Viewを使ったDaydreamの3D CGは,ZenFone ARクラスの機種を利用するおかげで,遅延が少なく,これまでに感じられなかったスムーズさや,効果が多くリアリティのあるCGが堪能できる。
 例えば,チュートリアルにある,夜景で小さな明かりを灯(とも)して視線の一部だけが見える,暗闇のCGなど,これまでのスマートフォンではできなかった体験を,プレイヤーにもたらしてくれるだろう。

Daydreamによる360度実写の例。これまでGoogleCardboardなどを使った簡易VRでもこのような360度写真を立体的に観られなくはなかったが,Daydreamはよりスムーズな表示となり,また移動などもできるようになった
ZenFone ARで体験する「TangoやDaydreamでできること」
グローバルイルミネーションで夜景の一部だけが明るいといった効果を使ったCGの例。これまでの低性能なAndroidスマートフォンでは観られなかったCGだ
ZenFone ARで体験する「TangoやDaydreamでできること」

 このHMDも基本的には,ハード的にはビューアの前面に対応スマートフォンを挿入し,眼を覆うようにかけて使う。ただ,これまでGoogle Cardboardでは基本的に,入力はスマートフォンそのままだった。つまり何かしようとするとスマートフォンの画面をタッチする必要があった。が,Daydream viewでは専用のBluetoothリモコンを使ってスマートフォンにメニューの選択や,前進後退,視点のリセットなどを指示できるようになった。

Daydreamのチュートリアル画面。Daydream View付属のコントローラを使用して視点のリセットや移動といったコマンドが使えるようになった
ZenFone ARで体験する「TangoやDaydreamでできること」

 また,Daydreamでは,専用のホーム画面があり,アプリの切り替えなどはHMDを着けたままできる。
 これまでのAndroidの簡易VR(360度動画再生など)ではホーム画面などの操作はその都度スマートフォンをHMDから外して,タップなどで行わなければならず興ざめだったが,Daydreamではここで覚めさせられてしまうことはない。

日本でDaydream Viewが使えるのは,もう少し先になる予定だ。そのため,記事作成には海外版のDaydream Viewを調達し,国外で動作確認を行った
ZenFone ARで体験する「TangoやDaydreamでできること」
 なお,残念ながらDaydream Viewはまだ日本では発売されておらず,リモコンも日本の電波に関する技術適合審査を受けていないため,上記紹介した機能が日本で楽しめるようになるのはもう少し先ということになるだろう。
 Daydreamが真価を発揮するのは,専用コントローラによってVR空間内で「手」を表現できることだ。コントローラの位置情報を利用すれば,手を使った操作が可能になるのだ。これはVR空間でのインタフェースとして適したものであり,スマホ用VRの大きな進展が期待されている。


ZenFone3 ARで使ってみて。


エンジニアリングサンプル機をお借りしたZenFone AR。Tango対応で,深度が測れるデュアルカメラを搭載しているほか,Snapdragn821といった強力なCPU搭載SoCを内蔵している
ZenFone ARで体験する「TangoやDaydreamでできること」
 今回お借りしたZenFone 3 ARの,2017年5月現在では,超絶ともいえるハイスペックのおかげでTangoも,Daydreamも非常に快適に動作する。どちらもAndroidに最適化されたGoogleのサービスとはいえ,Tangoは深度を計測する複数カメラといった新ハードウエア,DaydreamはVR画像を快適に表示できるだけの性能を必要とする。

 幸いなことに,ZenFone ARは,CPUに「Snapdragon 821 @2.35GHz」とメモリに「8GB LPDDR4」(検証機の場合。販売版は6GB版も存在),それに内蔵ストレージにも「128GB UFS」(同じく64GBあり)と,これまでにないパワフルな構成であり,とくにCPUパワーとメモリ容量の余裕は大きくAR,VRの快適さに貢献しているのではないかと思った。

 この821をフルパワーで駆動させるために「蒸気冷却」という変わったCPU冷却方法を使用しているとカタログにはあるのだが,とくにそれで使い勝手が変わるということは感じていない。普通に,ただ,パワフルで,AR,VRが快適なスマートフォンになっている。

 また,リアのメインカメラも2300画素,光学式手ブレ補正(OIS)と電子式手ブレ補正(EIS)に対応し,またTriTechによって非常に高速(カタログスペックで0.03秒)オートフォーカスしているのも非常に,ARの使いやすさに貢献しているのではないだろうか。
 スマートフォンを手に持って画面を見たままウロウロ歩き回ると,意外と手ぶれの影響が気になるものだ。筆者の場合,それこそIS01というようなAndroid初期のころからのスマートフォンプレイヤーでARアプリをさまざま使ってきたが,ZenFone AR+Tangoの外出時の使いやすさはこれまでにないモノだと思った(なお,外出時は事故には気をつけてほしい)。

 すでに記したように今回試用したZenFone ARは機能検証用のエンジニアリングサンプルを使用している。実際に日本で販売される製品とは仕様が異なる可能性があるが,これがリファインされて販売されるのであれば,スマートフォンVR・ARの最先端を体験したいプレイヤーには間違いなく第一選択肢となる機種だろう。SoC自体はすでに最高のものとはいえなくなっているが,それでもなお,DSDS(デュアルSIMデュアルスタンバイ),3CCA対応,ZenFone 3やUltra譲りのSonic Master 3.0搭載ということで,単純に高級SIMフリースマートフォンとしてもオススメできる性能だ(もちろん,値段は相応にするのだが……)。

 夏の発売開始が本当に楽しみな機種だと,モバイルライターの筆者は思っている。

Tango公式サイト

Daydream公式サイト