ZenFone ARで体験する「TangoやDaydreamでできること」
ここではごくごく簡単にだが,Androidで実現できるAR(Tango),VR(Daydream)とはどんなものなのか,それとZenFone ARについても紹介したい。
なお,今回お借りしたZenFone ARは,検証用のエンジニアリングサンプルであり,夏頃発売予定の製品版とは仕様が異なる可能性があることをあらかじめご了解いただきたい。
Tangoとはなにか
このTangoを扱うには特殊なカメラが必要で,開発者向けの実験的な端末がLenovoから発売されていたが,この2017年発売のモデル(一部は2016年発売のモデルのファームアップデート)で,いよいよ一般製品のAndroidスマートフォンにも搭載されることになった。
かつてARといえば,日本でも例えば「セカイカメラ」「SATCH VIEWER」といったスマートフォンを利用したARアプリはいくつか話題になったことがあった。ARマーカーとQRコードで簡単なプロモーションツールとして配られていたものなどを入れると枚挙に暇がないくらいだ。が,Tangoが提供するAPIはもっとリアリティにあふれるARのためのものだ。
Tangoでは,奥行きも含めた3Dセンシングを行い,プレイヤーの視覚,聴覚に3次元の広がりのある情報を与えるように考えられている。
そのため,Tango対応端末には普通のメインカメラのほかに,深度を測る補助カメラ,魚眼レンズを搭載したそれぞれ別のイメージセンサが必要となる。
また,カメラで撮影し作成した3Dモデルを表示する際に,どの角度から見るのかといった方向が必要であるため,ジャイロセンサー(加速度計で重力変化を計る)も必要だ。
すでに簡単に説明しているように,2017年5月上旬現在,Tangoに対応したスマートフォンは,LenovoのPhab2のみが販売中で,この夏には,ZenFone ARが発売される予定だ。今後は他社からも対応端末が発売されることになるだろう。
Daydreamとはなにか
米国などでは,すでにこのスマホVRアプリを利用するためのヘッドマウンタ「Day Dram View」が販売されており,対応スマホを利用することで,Google Map 3DやYou Tubeでの3D動画鑑賞を行える。
Daydreamを利用するための最低要件は,
- 1080p以上のディスプレイ解像度(1440p以上推奨)
- ディスプレイサイズ 4.7〜6インチ
- 60Hzのリフレッシュレート
- H.264で1920×1080ドット@60fps映像を再生可能
- 黒→白,白→黒の表示が3msで切り替え可能
- 残像軽減(low-persistence)モードでは5ms以下
- CPU物理コア2以降で排他的使用が可能
- OpenGL ES 3.2必須
- Vulkan Hardware Level 0(Level 1以上を強く推奨)
と,2017年のスマートフォンとしてもかなり厳しいといえる環境だ。
Daydreamに対応したスマートフォンは,国内販売中のものとしては,Huaweimate 9」,ZTE「AXON7」がある(ただし今夏のシステムアップデートが必要)。海外販売製品では「Mate 9 Pro」やGoogle「Pixel」などもある。
ASUSから発売されるZenFone ARはDaydreamにも対応しており,TangoとDaydreamの両方に対応した初めての端末ということになる。
Tangoは何ができるのか?
また,ARマーカー(ディスプレイに情報を出すための位置指定標識)などを使わなくても,内蔵のカメラやジャイロ,GPSなどで空間内の場所を指定できる。
3D認識が可能な搭載カメラ群で,「ここには壁がある」「ここは平ら」などといった情報,あるいはジャイロを使って「今カメラは足元を見ている」というような情報を取れるので,これらを使って自然な位置に表示オブジェクトを配置できるのだ。
これらをどう使うかというのはアプリしだいなのだが,たとえば奥行き情報を持ったカメラで,物体を3Dスキャンしたり,部屋の中をスキャンしたりといったことも可能だ。さらに位置情報と組み合わせて,「ここでこれを見ているときには,この情報を表示する」といったナビゲーション的な応用もできる。
Tango対応アプリはTangoの「オススメアプリ」などからインストールして,「マイアプリ」に入っているものを起動する。が,通常のアプリのようにGoogle Playからインストールすることもできる(Google Playのほうが検索しやすいので,話題のアプリなどを入れる場合はそのほうが楽かもしれない)。
オススメアプリの「Holo」をインストールしてみた。
これは,Tangoの機能によって,平面の場所に手のひらサイズのホログラム人形データを置いて動かせるというものである。
例えば,写真のようにプリンタの蓋部分に小さな「サッカー審判」のおじさんを置いてみる。スマホの操作によって(残念ながらランダムではない),おじさんがレッドカードを出したり,踊ったりしてくれる。
従来スマホのARアプリで,例えば「みくちゃ」という初音ミクと一緒に写真が撮れるアプリがあるが,ミクさんのデータがあればもう少し日本人にも楽しめそうではある。
あるいはTangoの特長としては,ARマーカーがなくても,適切な場所を判断してオブジェクトを置いたりと,より簡単にARができるところにある。
例えば,「RoomCo AR」というアプリでは,この特長を生かして,部屋の中にさまざまな家具を置いてみることができる。
アプリの中には,カリモクや,大塚家具のTVボード,Journal Standard Fanitureのドレッサーといった,実際に販売されている製品のデータがリアルスケールで入っており,家の中にそれを置けるか,置くとどのように部屋のコーディネイトがなるかなどをチェックできるのだ。
筆者はそろそろテレビ台を換えたいと思っており,(散らかった部屋ではあるのだが)少し試してみた。unicoの手頃なテレビ台だが,最近は液晶テレビの大型化に合わせてなのか予想よりも意外と大きく,少し部屋の模様替えをしないと置けそうにないことが分かった。
長さ,方位,位置がスマートフォン単体で分かることで,このようにエンタテインメントとしても,また実用としてもこれだけさまざまなことができるのだ。
Daydreamで今できること
Daydreamは,Androidスマートフォンで高品質なVRを提供するプラットフォームだ。
Android OS 7.0(コードネーム:Nougat)では,VRモードが新たに追加された。これはOSの挙動を一部制限などすることで,ジャイロやコントローラなどからによる動き検出から画面描画への遅延を少なくし,また高速画面描画API「Vulkan」を利用するモードだ。
従来のAndroidでも,例えばYouTubeの360度動画などを見ることができたわけだが,それに比べるとヘッドセットに装着されたスマートフォンの角度に敏感に反応するようになった。
頭を動かした際などに発生する描画の遅延(Motion to Photon)は,人間が違和感なくVRを体験するには20ミリ秒以下が必要とされており,Daydreamでもこの程度の遅延での描画を目指している。
しかし,どの程度の遅延で描画が可能かは,当然のようにスマートフォンのマシンパワーに依存する。実際には2017年時点ではハイエンドにカテゴライズされるマシンでないと対応できない。
そこで,Daydreamが要求するスペックを満たしたスマートフォンには「Daydream Ready」という認定が与えられる。具体的にはヘッドトラッキング用に低遅延ジャイロセンサー,高解像度・低残像のディスプレイ,十分なマシンパワーを持ったCPU(実際にはCPUを搭載したSoC)を搭載していることが求められる。
ZenFone ARは,この「Daydream Ready」なスマートフォンとして販売開始される予定だ。
Daydream Readyなスマートフォンでは,Googleの提唱する「DaydreamのVR対応デバイス」具体的にはヘッドセット+コントローラなどを利用することで,VRホーム画面からVRゲーム,VRアプリなどを利用可能になる。
また,サードパーティからは販売されていないが,Googleからはほぼリファレンスデザインそのままのヘッドセットとコントローラのセットが,米国など,販売されている。これがDaydream Viewだ。
これまでAndroid用のVRといえば,非常に大ざっぱだった。
Gear VRを除くと,Google Cardboard(段ボールでできたHMD)やハコスコといった「目の前にスマートフォンを固定する器具」で写真や動画を観るだけだったのだ。
Daydream Viewも基本的には目の前のスマートフォンを目の前のレンズを使って,仮想3DのCGを観るということに変わりはない。
両眼に合わせて,スマートフォン画面は左右分割で表示され,3Dで画像が表示される。かつ,顔に装着したHMDの位置に合わせて360度方向のCGが観られる。
が,Daydream Viewを使ったDaydreamの3D CGは,ZenFone ARクラスの機種を利用するおかげで,遅延が少なく,これまでに感じられなかったスムーズさや,効果が多くリアリティのあるCGが堪能できる。
例えば,チュートリアルにある,夜景で小さな明かりを灯(とも)して視線の一部だけが見える,暗闇のCGなど,これまでのスマートフォンではできなかった体験を,プレイヤーにもたらしてくれるだろう。
このHMDも基本的には,ハード的にはビューアの前面に対応スマートフォンを挿入し,眼を覆うようにかけて使う。ただ,これまでGoogle Cardboardでは基本的に,入力はスマートフォンそのままだった。つまり何かしようとするとスマートフォンの画面をタッチする必要があった。が,Daydream viewでは専用のBluetoothリモコンを使ってスマートフォンにメニューの選択や,前進後退,視点のリセットなどを指示できるようになった。
また,Daydreamでは,専用のホーム画面があり,アプリの切り替えなどはHMDを着けたままできる。
これまでのAndroidの簡易VR(360度動画再生など)ではホーム画面などの操作はその都度スマートフォンをHMDから外して,タップなどで行わなければならず興ざめだったが,Daydreamではここで覚めさせられてしまうことはない。
Daydreamが真価を発揮するのは,専用コントローラによってVR空間内で「手」を表現できることだ。コントローラの位置情報を利用すれば,手を使った操作が可能になるのだ。これはVR空間でのインタフェースとして適したものであり,スマホ用VRの大きな進展が期待されている。
ZenFone3 ARで使ってみて。
幸いなことに,ZenFone ARは,CPUに「Snapdragon 821 @2.35GHz」とメモリに「8GB LPDDR4」(検証機の場合。販売版は6GB版も存在),それに内蔵ストレージにも「128GB UFS」(同じく64GBあり)と,これまでにないパワフルな構成であり,とくにCPUパワーとメモリ容量の余裕は大きくAR,VRの快適さに貢献しているのではないかと思った。
この821をフルパワーで駆動させるために「蒸気冷却」という変わったCPU冷却方法を使用しているとカタログにはあるのだが,とくにそれで使い勝手が変わるということは感じていない。普通に,ただ,パワフルで,AR,VRが快適なスマートフォンになっている。
また,リアのメインカメラも2300画素,光学式手ブレ補正(OIS)と電子式手ブレ補正(EIS)に対応し,またTriTechによって非常に高速(カタログスペックで0.03秒)オートフォーカスしているのも非常に,ARの使いやすさに貢献しているのではないだろうか。
スマートフォンを手に持って画面を見たままウロウロ歩き回ると,意外と手ぶれの影響が気になるものだ。筆者の場合,それこそIS01というようなAndroid初期のころからのスマートフォンプレイヤーでARアプリをさまざま使ってきたが,ZenFone AR+Tangoの外出時の使いやすさはこれまでにないモノだと思った(なお,外出時は事故には気をつけてほしい)。
すでに記したように今回試用したZenFone ARは機能検証用のエンジニアリングサンプルを使用している。実際に日本で販売される製品とは仕様が異なる可能性があるが,これがリファインされて販売されるのであれば,スマートフォンVR・ARの最先端を体験したいプレイヤーには間違いなく第一選択肢となる機種だろう。SoC自体はすでに最高のものとはいえなくなっているが,それでもなお,DSDS(デュアルSIMデュアルスタンバイ),3CCA対応,ZenFone 3やUltra譲りのSonic Master 3.0搭載ということで,単純に高級SIMフリースマートフォンとしてもオススメできる性能だ(もちろん,値段は相応にするのだが……)。
夏の発売開始が本当に楽しみな機種だと,モバイルライターの筆者は思っている。