つぶやくモリカトロン，ゲームAI勉強会を開催。AIでゲームはどう変わっていくのか？
 |
モリカトロンは，アストロノーカなどを制作した森川幸人氏，モノビットの本城嘉太郎氏らが立ち上げた日本初のゲームAIを専門とする会社である。AI研究を行っていた森川氏らのグループとゲームエンジンへの組み込みなどに精通したモノビットのスタッフが合流して，森川氏が温めていたさまざまなアイデアをゲームAIとして推進していくための会社を設立した。ゲームにAIを導入する会社のサポートが主な業務になるという。代表取締役は本城氏と森川氏の両名となっており，本城氏は社長，森川氏はAI研究所所長を，また当日の進行役を行った成沢理恵氏が取締役を務めている。
 |
 |
最初に，モリカトロンの説明としてゲームにAIが搭載されるとどんなことが可能になるのかが本城氏から紹介された。以下，イメージをつかむうえで重要な部分なので詳しく追ってみよう。念のために書いておくと，これらは「できたらいいな」といった夢の話ではなく，「こういうことができます」という事業内容の紹介である。
●会話AI
たとえば，キャラクターの会話にAIを導入すると，シナリオライターが書いた台詞を読み上げるのではなく，キャラクターが状況に合わせて自律的にプレイヤーと会話するようになる。
イベントでは「LINEのようなインタフェースで」といった実装例が挙げられていたが，これは最近できたという「モリカトーク」のシステムを使えばすでに実現可能となっている。
さらにモリカトロンの公式サイトにある図では音声での入出力まで示唆されており，IBM WATSONのように，音声解析，言語理解，そして音声合成までこなすことも視野に入っているようだ。
 |
●パラメータ調整
RPGなどの敵キャラクターの強さを自動的に設定するようなAIが想定されている。現在作成中とのことだが，ゲーム内に入れるものではなく，ゲーム制作をサポートするAIとなる。
最近のスマホゲームでは，何年運営されるかが分からない。一定のインフレ率を設定して，それに従ってプレイヤーや敵の強さ，アイテムのパラメータなどが調整されるのが一般的だという。当然ながら，キャラ数が増え，アイテム数がさらに増えると全体的なバランスを取ることが著しく難しくなる。
こういったものを，AI化というか自動化すれば，さまざまなパラメータ設定でのオートバトルを繰り返しつつ実験結果をもとにした最適な値を求めることができる。新しくガチャに投入するキャラクターはこれまでのキャラと比べるとどれくらいの強さなのか，そういったものを客観的に判断できるわけだ。
長期間続いているゲームでは社内のExcel使いが職人芸でなんとか頑張っているようなことが多いそうで，もしその人が倒れたりするととんでもないことになる……。そんな絶望的な運営でもAIが管理してくれていれば適正なバランスが保たれるという。
ただ，運営がゲームバランスを把握していないというのは自分のところのゲームをプレイしていないということを意味する。それはダメだろう。途中から参加したプレイヤーでもしばらくすれば，ほぼ全貌を把握するのは当たり前なのだから。
 |
●マップ作成
最近AAAタイトルなどで流行のオープンワールド型ゲームではとにかく広いマップが必要とされる。これを手作業で作っていては大変なので，自動生成させようというのがマップ作成への応用である。
それ以外にも，アプリのアクションゲームなどではどんどん新ステージを作成していかなければならない。そういった場合にAIを使うと，ステージを自動作成し，それが本当に面白いステージなのかといった検証までしてくれるシステムを作ることが可能になる。
「こんなデッキの構成でこれくらいのレベルだと勝率が7割くらいになるステージ」「3分間バトルの2分30秒くらいにいい感じで負けるようなボス」といった指定でマップを作れるようになるという。
一定のアルゴリズムでマップが生成できるようになると，マップのデータを丸ごとダウンロードせずともクライアント側で所定のものを生成させ，データ削減にもつながる可能性もある。
 |
●ゲームを監督する
前述の内容とかぶっているようにも思われるのだが，パラメータがゲーム作成時のAIであるのに対し，今度はゲーム実行時のAIの話である。こちらはゲーム内の状況によって，敵の数を増やしたり，強さを買えるなど，動的な調整を行うことを中心としているようだ。
たとえばオープンワールドのゲームでは，プレイヤーへの制約が少ないため，いきなり強い敵にぶつかって瞬殺されたりといった事態も考えられる。それを防ぐため，最近のゲームではプレイヤーに合わせて敵を弱くしたり，ポップ間隔を変えるなどの自動調整が行われているという。こういった，ゲーム内の状況を概観して判断を下す「メタAI」も手がけている。
 |
●スポーツゲームへの応用
スポーツのチーム戦などでは，プレイヤーが操作するキャラクター以外の処理はAIが行うことになる。プロスポーツのゲームなのに，素人丸出しな動きでは誰しも興ざめしてしまうだろう。これに対応するのが集団AIだ。集団としてチームプレイをさせるには，それを想定したAIの仕組みが必要になる。
こういったものはスポーツに限らない。FPSで敵がこちらを認識して集団で攻めてくるようなゲームを作ることもできる。RPGでのパーティ戦やレースゲームでのライバルカーなども，その場の状況に合わせてそれらしく動いてくれないと多大なストレスを生むことになる。敵にしても味方にしても賢く動いてくれるキャラクターはゲームにとって重要だ。必要となる挙動はゲームの種類ごとにかなり変わってくるのだろうが，チームでの賢い挙動を行うAIの仕組みもモリカトロンは用意している。
 |
●デバッグAI
新しくゲームをリリースする際に，ちゃんと設計どおりゲームが動くのか，想定したバランスになっているのかを自動プレイで検証することができる。高速に動かすことで，人間がデバッグするよりも遥かに短い時間で多くの状況を試すことができる。
また，マルチプレイのゲームでテストプレイヤー代わりにAIがサポートしてキャラクターを動かすことで，検証にしくいマルチプレイヤーゲームのデバッグで省力化を図ることもできるという。
 |
ゲームAIの基本概念：中のAIと外のAI
 |
具体的な違いについては三宅氏から解説された。
曰く，中のAIとはゲームの構成要素となるAIであるという。大きく，キャラクターの頭脳（キャラクターAI），地形のパス検索（ナビゲーションAI），ゲーム全体をコントロール（メタAI）の3種類がゲームの中のAIとして使われている。
 |
ゲームの外のAIとは，開発中に使うAIのことだ。ゲームバランスを取るAI，デバッグで使われるAI，パラメータを決定の支援AI，ログ解析のAI，ユーザーの生体データを取って分析するAIなどが含まれるという。メタAIは外のAIにも含まれているようなので，単純に開発時だけに使うものというわけでもないようだ。中のAI＝主にキャラクターの行動に関係するAIと外のAI＝ゲームの支援・調整に使われるAIという理解でいいのだろうか。
中のAIはこの15年ほどでかなり研究が進んできたのだが，外のAIについてはあまり発展しておらずここ数年のAIブームとともに手法が確立されて注目されるようになってきたと三宅氏は語っていた。一方，本城氏は，いろんな人と話をしたところ，ゲーム業界のニーズとしてはプランナーを支援する外のAIに関わるものが多いと感じているという。
最近話題になることも多い機械学習や進化といった要素は，リアルタイムで動く必要のある中のAIには適用しにくく，一方で外のAIでは制限なく使えアカデミックな研究との親和性がよいとしていた。
森川氏も，このあたりは誤解が多いと補足した。確かに深層学習などを動かすにはゲーム機ではパワーやリソースが足りない。しかしゲームの外で使う場合は深層学習も十分に活用できるものだという。
中のAIはゲーム会社独自のノウハウの塊であり，なかなか情報交換ができないのに対し，外のAIはサポートツールのようなものが多いため，他社との協業もしやすい。業界として外のAIを進めていく必要性が強調されていた。
中のAI |
外のAI |
| ゲームの構成要素としてのAI | 開発を支援するAI |
| 身体を持ちキャラクターを動かす | 身体を持たずアルゴリズムベース |
| リアルタイムで動く | オフラインで動く |
| 各社独自 | 汎用技術 |
| ゲームの本質に関わるので外部に出せない | 周辺技術なので情報交換しやすい |
 |
機械学習はいちばん大きな概念であり，「自動的に学習させること」全般を表すと三宅氏。
その内部でいくつかの分類法があって，「教師あり」はAIの推論に対して人間が正解か不正解かを教えるタイプになる。「教師なし」はAIが自分で判断していくもので，人間の判断を待つまでもなく結果を評価できるものに対して使われる。排他関係ではなく，示された分類図を見る限り教師ありとなしを併用する手法もあるようだ。
一方で，強化学習とは経験から学ぶAIのことだという。格闘ゲームであれば，パンチとキックでキックのほうが相手に与えるダメージが大きければ，そちらを多用するようになるといった感じだ。
目標だけを与えて試行を繰り返して自動で進化していくものとしてレースゲームでの自動運転の例が紹介された。レースカーの進行で速度が上がると報酬が与えられ，ぶつかるとペナルティが課される。うまくいった方法を覚えていくといった条件で学習が進むと，次第に滑らかな運転が行われるようにある様子が示された。
もう一つ，ロボットがブランコを漕ぐ例が示されたが，最初は足を曲げて重心移動を闇雲にするだけであまり揺れないのに対し，世代を重ねるとだんだん人間のように揺れに合わせて膝の曲げ伸ばしをするような動きになっていき，さらには揺れの両端部で素早く膝の曲げ伸ばしを行って最大効率になる動き方を見つけ出す。これは人間にはできない動きであり，人間を手本にしていたら発見できなかったそのロボットに最適化された動きだという。
 分散深層強化学習によるロボット制御（奥田遼介）より |
 【動画】日立製作所、aiでロボットの成長が分かる（HITACHI AI × (Swing & Horizontal Bar)）より |
さらに示されたのはAlpha Goの例だ。Alpha Goは強化学習とディープラーニングのハイブリッド型AIが使われているが，前半に当たるディープラーニングの部分では教師データとして60万譜におよぶ囲碁の棋譜が与えられていたという。そこから3000万局ほど強化学習を重ねることで，ついには人間のチャンピオンを破るまでに進化している。
ディープラーニングでは，膨大な教師信号がなければ賢くならないので，ゲームで応用するにも誰が教師信号を作るのかといった部分が課題になりがちだという。
その後，Alpha Goでは事前の学習データなしの状態からAlpha Go同士を対戦させ続けることで強化学習されたAlpha Go Zeroが作られた。それを従来型のAlpha Goと対戦させたところ，学習データなしのほうが圧倒的に強くなっていたという。つまり，棋譜データによる学習は邪魔にしかなっていないことが分かったのだ。
 |
 |
三宅氏は，強化学習では報酬の設定が必要だが，囲碁のような長いゲームでは報酬の意味が薄れてしまうので，Alpha Goは報酬の与え方でかなりの工夫がされていたのではないかと語っていた。つまり，教師なしの強化学習は場合によっては人間の教師を超える可能性は持つものの，複雑なゲームでは教師なしで同じような結果を得るのは難しいということだろう。また，本城氏からはGoogleがAlpha Go Zeroに用意したハードウェアが凄まじくて，ちょっとマネできないといった話も出ていた。
強化学習をゲームに使った例としてはMicrosoftによる格闘ゲームの例が紹介された。AIが動かすプレイヤーを人間のプレイヤーと対戦させ続けた研究だ。
AI側はぎこちない動きで，最初はまぐれでしかダメージを与えられず一方的に倒されていたのが，うまくダメージを与えた動きを学習することでだんだんと上達し，ついには人間が勝てないところまで至っている様が示された。
 |
 |
一度このような強化学習の仕組みを作れば，追加のプログラムなしでキャラクターを強くできるという。さらに条件を変えて，なるべく近くで避けたら報酬を与えるようにすると，同じプログラムのままで避けキャラに成長していく様子が示された。教師あり強化学習と一口にいっても，いろいろな応用ができるということだ。
AIの2つの流れ：ニューラルネットワークと知識ベース
続いて，エキスパートシステムなどのAIの流れとディープラーニングなどの流れについて解説が行われた。
エキスパートシステムは知識ベースをもとにしたもので，その流れの
の最先端にIBM Watsonなどがある。これはディープラーニングなどの対極にあるものだという。
 |
AI研究では，人間の神経や脳細胞をシミュレートすることで人工知能を作ろうという流れと記号の処理を積み重ねることで人工知能を作ろうとする2つの流れがあることが解説された。
第1時AIブームというべき時期にはニューラルネットワークの誕生とともに前者の研究が進むも，なかなか結果を出せず，後者では三段論法のような推論ベースのエンジンが作られるものの，実用には至っていない。
第2次AIブームで，前者では逆伝播法が登場して現実的な運用の可能性が見出されたものの効率的な運用は確立されなかったのに対し，後者ではルールベースでのエキスパートシステムが確立され，一応の実用化に至っている。ここでのエキスパートシステムは病気の症状を入力することで病名を判定するようなシステムなどだ。
これは知識ベースを作れば人間のような推論ができるという考えをもとにしているが，汎用の知能を作るのに必要な情報は膨大すぎるので専門分野を絞ることで実用化にこぎつけたのがエキスパートシステムだと考えていいだろう。
現在の第3次AIブームというべき時期には，前者でGPUなどを使うことで実用的な超並列処理が可能になり，数多くの成果がもたらされた。一方，後者ではインターネットの発展に伴って，ネット上から自動で知識を汲み上げるような仕組みを作ることで，ほとんど無制限に知識量を拡大できるようになった。そうして積み上げられた知識ベースは，ついにはIBM Watsonがクイズ番組で人間のチャンピオンを破るようなところまできている。
ニューラルネットワーク |
知識ベース |
| Alpha Go | Watson |
| 非論理的 | 論理的 |
| 画像，音声 | 言葉，数字 |
| あいまい | 明確 |
| デバッグできない | デバッグ可能 |
現状ではどちらも輝かしい成功を見ており，同時期に注目を集めたものの，アプローチはまったく異なる。ニューラルネットワークが，目の構造をもとに発展したものであることから，画像認識などを得意とするのに対し，言語化された情報については知識ベースが圧倒的に強いのだという。下のような画像の識別では，すでにAIが人間を上回るとのことだ。
 文鳥を探せ |
 チワワを探せ |
 トイプーを探せ |
ゲームへの応用を考えると，チャットボットなど，キャラクターとの会話は知識ベース系が活用できる。キャラクターの行動自体も知識ベース系になるだろうか。
ニューラルネットワークは前述のように，外のAIでの活用が期待されている。また，ニューラルネットワークの学習はリアルタイム処理には向かないものの，できあがったニューラルネットワーク自体の運用は低負荷でできるため，従来，数式をこねくり回していたような部分を学習済みのニューラルネットワークに置き換えることで高速化を図れる可能性があるという。活用例としては，岩などを作るプロシージャル処理や10人の敵のうち誰を攻撃するかといったターゲッティング処理が挙げられていた。
AIをゲームに取り入れるために：プランナー編
では，このようなAIをどのようにゲームに取り入れていけばいいのだろうか。
これに対して，ゲームというものはずっとAIの想定なしで作られてきたので，そもそものゲームデザインがAiを加えられるようにできていないことが非常に多いと三宅氏は指摘していた。氏は，フロムソフトウェア時代から現在のスクウェア・エニックスでも，社内でプランナーを交えたAIの勉強会を定期的に開催しているのだという。技術的なことは分からなくてもいいので，エンジニアは「なにができる」かだけをデザイナーに伝えてネタを溜めもらうのが重要だそうだ。
 |
森川氏は，ゲームの世界だけで考えると発想が縮こまると語り，自身がアストロノーカを作ったときの話が紹介された。きっかけとなったのは夢の島のハエ問題だそうだ。これは殺虫剤を撒くと耐性を持ったハエが生まれるといったいたちごっこの問題だ。
これをゲームに取り入れるに当たって森川氏は遺伝的アルゴリズムを導入しており，その利点についてまとめていた。
 |
当時エニックスで同作を担当していたという成沢氏は，無限に出てくるモンスターのパラメータがExcelファイル1ページ分しかなかったことに衝撃を覚えたという。
森山氏も最初からAIに詳しかったわけではない。AIを使った企画を出したら通ってしまったので，まず紀伊国屋に行って棚二つ分くらいのAI関連書籍を全部買って半年ほどかけて読んだのだそうだ。現在ではネット上にたくさんの資料があるので，書籍を購入する必要はほとんどないとのこと。
ただし，一般のAIはゲーム用に書かれていない。最短で最良の推論を出すことを目指してアルゴリズムは作られているわけだが，これが必ずしもゲームに適しているわけではないのだという。よいアルゴリズムはあっという間に強くなってしまうので，適当に緩めてユーザーの習熟に合わせてやる必要があるそうだ。
 |
AIの活用については，なにもAIでどんなことができるかを知っていなければAIを使ったゲームをデザインできないわけではないという。
基本的に「キャラクターを生き物のように動かしたいと思った場合にはAIを使ったほうが早い」ので，それを目安にすればよいようだ。どういうAIを使うかはエンジニアと相談すればよいとのこと。
三宅氏は，ゼロベースでAIを利用したゲームを作り上げた森川氏に対して偉業と称えつつ，氏が業界に入った頃は森川氏の著作しか資料がなかったそうでこちらも苦労を重ねたようだ。人工知能学会での三宅氏のリンク集には，ゲームAI関連のリンクが128個蓄積されており，ネット上にあるさまざまな知識にアクセスできる。先人たちが切り開いたものを活用するようにしたい。
人工知能学会で三宅氏が公開しているリンク集
前述のように，三宅氏は社内で勉強会を開催しており，AIを交えてデザインを考えることが当然といった文化を作り出してきたという。一度そのような文化が確立されれば，AIを使わないほうが不自然な感じになるそうだ。ゲーム開発が始まってからでは遅いので，その前に普段から準備をしておくのが重要だという。
以上の話は，ゲームの中のAIを導入するための流れだが，ゲームの外のAIについてはどうなのかと本城氏から質問が行われた。
三宅氏によると，ゲームの外のAIについてはつい最近始まったばかりなのだという。この15年で中のAIは固まってきたので外のAIに目を向ける余裕ができたことと，ゲームがだんだん動的なものになってきて，手動でのデバッグが追いつかなくなってきたという事情もあるそうだ。
まず紹介されたのはFFXVで使われたモーション解析だった。
昔は「キャラクターが3m以内に近づいたら手を振る」ようなアルゴリズムで大丈夫だったそうなのだが，最近ではそれだけでは攻撃が当たらなくなってきているのだそうだ。そこで実際のモーションから手の当たる範囲を解析しているとのことだ。別の講演での話だが，FFXVについてはモンスターの前にターゲットとなるキャラクターを置いて，どう手を振れば当たるのかを学習させている様子が紹介されていたこともあった。
 |
 |
こういったデータを踏まえてルールベースのAIを構築し，この範囲に入ってきたら右手を振る，こっちなら左手を振るといった挙動を作っているという。
 |
また，大型モンスターともなると，ぶつからずに「曲がる」という処理も簡単ではないという。そこでモンスターを呼び出して一晩中曲がる訓練をさせておき，朝くると綺麗に曲がるようにスピード調整するようになっているのだそうだ。
 |
 |
また，AIではないが，スクウェア・エニックスではさまざまな可視化ツールが開発では多用されているとのことだ。ナビゲーションAIのメッシュ作成で漏れがあると変なところに抜けてしまうバグが発生するが，行ける範囲を色分けして可視化するツールを使ってチェックを容易にしていることなどが紹介されていた。
そのほか，開発支援ツール各種が紹介され，それぞれにはAIが使われていたりいなかったりという感じだったが，こういった部分にAIが活用され始めているというだけでも注目すべきなのだろう。
 |
| FFXVで使われた可視化ツールの例。複数のナビゲーションメッシがちゃんとつながっているか確認できる。前日との差分を可視化するなども可能 |
 |
| ログファイルからどのシナリオが呼ばれているか，頻度を可視化するツール |
ここで，最初のモリカトロンの紹介で並んでいたパラメータの自動調整はどのようにやるのかと本城氏から質問が入った。
森川氏は，遺伝的アルゴリズムを勧めるとのことだった。最近はディープラーニング全盛で遺伝的アルゴリズムは一世代前のものと思われがちだが，ことゲーム制作では扱いやすいものだという。ニューラルネットワークだと学習させたあとに内部をまったく解析できないのに対し，遺伝的アルゴリズムでは学習後のパラメータが非常に見やすい形になっているので，イチオシだそうだ。
三宅氏は，ゲーム開発は最終段階にならないと仕様が固まらないものなので，遺伝的アルゴリズムを使おうにもゲームの仕様が固まっていないので使えないことが多いのではないかとしていた。
ただ，遺伝的アルゴリズムはデバッグなどでも使えるものだという。昔とあるサッカーゲームで遺伝的アルゴリズムを使って挙動を改善していたところ，選手がみんな後ろ向きに走り出すようになったことがあるそうだ。これは前進より後進のほうがちょっと速いというバグがあったためだ。通常のデバッグ作業では見つかりそうもないバグではあるが，遺伝的アルゴリズムではあらゆる可能性が試行されるため，人間の思いつかないような最適解が見つけ出されることもある。
AIをどのように実装するか：プログラマ編
最後にAIをどのようにゲームに実装するかについてだが，ここでは具体的にどうといった話ではなく，参考文献が大量に紹介されたので，簡単に紹介するに留めておこう。
 三宅氏：ゲーム業界経験もあるMat Buckland氏の著書で日本語訳もある。サンプルプログラムが素晴らしく綺麗。1年め2年めのプログラマなら，まずこれから動かして改造がお勧め。ただし，2004年発行で内容的には古くなっている |
 三宅氏：同じ著者による2冊めで日本語訳はないが，遺伝的アルゴリズムとニューラルネットワークをどのようにゲームに実装するかを細かく解説した名著。Visual Studio 6の頃のプロジェクトなので現状ではサンプルは動かない |
 |
ゲームAIの学習に関しては，学習の場が必要ではないかという意見で場はまとまりそうに思えたのだが，実際にやると「こんなに地味な世界なのか」と失望されることも多いのだという。ゲームで使おうとするとどうしても泥臭い調整が必要になるため，ゲームAIに夢を抱いていた人の意気をくじくのだそうだ。
現時点でもある程度のタイトルではゲームAIは必須であり，今後はAI技術を使った展開や省力化は制作コストや運営コストに直結する問題でもあり，間違いなく必須になってくる。ゲームプログラマは，その地味な世界を克服していかなければならない。まあ，そういった状況に対応するためにモリカトロンのような会社ができたのであろう。
モリカトロンによるAI勉強会は，年明けにも第2回の勉強会が開催される模様だ。AI時代に対応したいプランナー，プログラマは同社の告知に注目しておこう。
