つぶやく［CEDEC 2020］CreativeAIでキャラを自動生成するミクシィの研究
 |
CreativeAIとはなにかというと，要はAIでイラストなどを自動生成してやろうという研究である。無限にアニメキャラ風のイラストを生成するWebサイトなどを見たことがある人もいるのではないかと思うのだが，そういったものと同様の手法でゲームキャラを作れないかといった研究がミクシィで進められており，その成果などが発表されたのだ。
発表を行ったのは，同社デザイン本部 制作室 テクニカルアートグループ エンジニアチームリーダー長舩龍太郎氏とモンスト事業本部 開発室 モンストクライアントG クライアント2T リードプログラマー銭宇喆氏の両名で，主にモンストのキャラクター生成の話を中心にした取り組みが語られた。
※本セッションの内容は現在研究開発中のものであり，サービス中の「モンスターストライク」に使われている技術ではありません。
 |
 |
 |
長舩氏は，CreativeAIへの取り組みを始めた理由として，魅力的なキャラクターへの需要が常にあり，AIを活用して生産性を上げられるのではないかと考えたことなどを挙げていた。
まずデザインでどのような課題をAIで解決したいのかを調べたところ，ラフの制作がよいのではないかということになった。ラフとは言っても，モンストのものは着色もされたかなりクオリティの高いものだ。
 |
生成手法としては，この手のものでよく使われるGAN（敵対的生成ネットワーク）が採用されている。これは画像生成側AIとそれに難癖をつける側のAIを開発して切磋琢磨させる感じのシステムだ。その中でもスタイルGANという手法を使っている。最初は社内で空いていたレンダリングサーバーを使っていたそうだが，最近はGoogle Cloud Platformに移行して処理を行っているとのことだ。
評価方法としては，learning rateやbatch sizeといったハイパーパラメータを変更し，TensorBoard（TensorFlowの可視化ツール）でロスを見つつ調整を行ったという。GANが生成した画像を定期的にSlackに送るような工夫もされている。
 |
とはいえ，最初はなにも分からない状態だったので，GANを使ったアイドル生成AIを開発しているデータグリッドとの共同研究としてプロジェクトは開始されている。
 |
手始めに，モンストのキャラクター画像を手あたり次第に食わせてキャラクターの全身画像を生成してみたそうなのだが，かろうじて人型ぽくなっているものもあれば，「粒子？」としか言いようのない状態のノイズになってしまったものが大半だった。これはモンストのキャラといっても人型だけではなく，モンスターやメカなども含まれたものを全部入れていたのが大きな原因だという。またサービス開始から7年を経て，キャラクターデザインにも進化があり，キャラクターの共通点が見つからないことも挙げられていた。
とにかくデータが重要であると認識した長舩氏らは，次に，ファイトリーグの3Dモデルから大量の2D画像をキャプチャして学習を行った。しかし，ファイトリーグっぽいキャラクターイラストは生成できたものの，新規性がないという結果に終わっている。出力例を見ても，ソースにあったキャラが別ポーズで出力されているようなものもある。ソースデータのバリエーションが足りなかったのだ。
ということで，今度はWeb上からアニメ絵の全身画像1万枚を抽出して学習したベースデータに，モンストの全身データを転移学習させている。ベースモデル自体はそこそこの品質で出力されたようだが，モンストの全身データに転移させると，かなりノイジーなものも出ていた。モンストの全身データはエフェクト要素が非常に強いので悪影響を与えていたようだ。長舩氏は，要素ごとに分けて学習させる必要があることを再認識したという。
また，骨格情報を与える試みも行われていた。OpenPoseの情報に変換してGANを拡張する実験だ。しかし，2D画像からそういった情報を抽出することは難しく，別のアプローチを模索しているとのことだ。
全身生成は難度が高かったので，対象を顔に限定して
その際に非常に参考になったというサイトが紹介された。Making AnimeFace With StyleGANとそこで公開されている330万種類のアニメ顔データDanbooru 2019をベースに，モンストの高解像度画像からテンプレートマッチングで数千枚の顔画像を抽出して学習を行ったという。
ただ，モンストのキャラから人型のものだけを抽出する作業が非常につらく，1日2時間が限度という状態だったので自動化を試みている。Danbooru関連の自動タギングツールDeepDanbooruを改良したところ，簡単に選別が可能になったとそうだ。
 |
その出力結果が以下のものとなる。かなりモンストらしさを備えつつ，新規性もあるキャラクターとなっている。
 |
次に紹介されたのは，このCreativeAIを扱うためのツールやGUIについてだ。最初に実装されたのは参考サイトと同様のパラメータをいじるタイプのものだったのだが，ほかの画像生成サイトなども参考にしつつ，
- ほしい画像にできるだけ近づけるEncoder機能
- バリエーションを一覧で表示する機能
- パラメータをいじる機能
を加えていた。それぞれ，StyleGanEncoder，WaifuLabs，ArtBreederを参考にしたとのことだった。
 |
実際の動作デモでは，ランダム生成を繰り返して気に入った画像を選ぶと，その画像のバリエーションが表示されるので，それを順次選択して絞り込んでいき，最後はパラメータ調整で細かい部分をいじれるといったものが紹介されていた。これはとても楽しそうだ。
 |
 |
 |
 |
 |
Encoder機能の実例は紹介されなかったのだが，目標画像として長舩氏の写真を入力した結果が提示されていた。どこまで似ているかはともかく，モンスト風美少年に変換されていた。同様に猫の画像を入力した例も示された。出力に猫要素はないのだが，確かになんとなく猫っぽい女の子が表示されていた。これはこれでいろいろ使えそうな機能だ。
このシステムは，キャラ顔用とモンスターボール用が作られているのだが，キャラ顔で作成したパラメータをそのままモンスターボール用のシステムに入力すると，そのキャラに似たキャラボールができるという結果も示された。ある意味，当然のような気もするが，顔とキャラボールでは学習に使用したデータは異なっていたはずだ。
 |
2D画像の自動生成のまとめとしては，Encoder部分はまだあまり似た画像が出きれてない感じで△，バリエーションを表示するGUIは◎，スライダーによるパラメータ調整は〇といった評価が行われていた。ぱっと見た感じでは，スライダーによる調整はほんの少しの操作でも変化量が大きく，イメージを追い込んできた最終段にしては扱いがデリケートなようにも思われた。
3Dキャラクターの自動生成
続いて，3Dキャラの自動生成に関する報告が行われた。こちらは，現在は中間報告レベルとされているものだ。こちらは銭氏がプレゼンテーションを行った。
ミクシィでは新規タイトルはほぼUnityを使った3Dゲームであり，3Dキャラクターの需要が多くあり，モンストなどでもプロモーションなどで3Dモデルが必要になること，さらに最近はUnityを使ったアニメ制作なども行っていることから，3Dモデルの自動化も検討されたわけだ。
まず銭氏が理想としたのは，1枚のキャライラストを入力すると，自動的にAIが3Dキャラを作ってくれるようなシステムだ。しかし，現状ではまだまだ生成精度が低く，行われている研究のほとんどは写真からリアルなキャラクターを生成する方法であって，アニメキャラでの研究は少ない。
 |
そこでミクシィが目指したのはパラメトリックな手法と機械学習のハイブリッドだった。パラメータを調整して3Dキャラクターをカスタマイズするようなソリューションは数多くあり，それらのパラメータをベクトルとして学習させようというわけだ。これについては東京大学五十嵐研究室との共同研究が行われることになった。
銭氏らが参考にしたのは，NetEaseが発表した，写真からゲームキャラクターを作成するAIシステムの研究だった（参考URL）。
 |
それを参考に，イラストから顔や身体の特徴を抽出し，メッシュやボーンのパラメータを算出した。
学習ソースとなる3Dモデルについては，VRoid Studioが使われ，パラメータをさまざまに変更したキャラクターからスクリーンショットを取ってソースデータにしている。その一方で，同社のVtuberで使用しているガブリエルの3Dデータを改造して素体化した。キャラクター本体と髪型や服装は切り離してそれぞれ学習して素体データに適用するという流れだ。
与えられたVRoidの画像に近くなるように，AIがパラメータを調整して出力し，それを判定して近づけていくということが繰り返された。
 |
また，顔などはテクスチャを抽出してスケール，変形などを加えてUVマッピングするようにしているという。画像から目や睫毛といった該当部位を自動的に部位分け（セグメンテーション）していくのだが，セグメンテーション技術は写真画像に対するものが多く，アニメ用のものは開発する必要があるとのことだ。髪の毛に隠れた部分などは補正する必要もある。
 |
今回は具体的な出力結果などはしめされなかったが，研究は途上である。現状の課題としては3点が挙げられた。まず単一の素体では適応できないケースも多いため，複数のモデルが必要であり，髪型や服装についても同様な処理を進める。そしてパラメータ推定手法やセグメンテーションなどもまだまだ改良の余地があるとのことだった。
とはいえ，3Dキャラクターの自動生成が実現されれば見返りも多そうだ。ぜひとも頑張っていただきたい研究と言える。
CreativeAIはアーティストの敵なのか
ここで長舩氏は，こういったCreativeAIと人間の問題について語り出した。よく言われることだが，イラストが自動でできるようになったら，アーティストが失業するのではないかといったような話だ。
長舩氏は社内で情報共有や勉強会を通じて，AIはアーティストの敵ではないと啓蒙しているようだが，現実には大半のアーティストが危機感を抱いているようだと語っていた。また，魅力的なキャラクターはさまざまな設定や背景があってこそ成立するものなのでGANで見た目だけ作っても厳しいといった意見もあったようだ。半端な状態でアーティストに見せると相手にしてもらえないので注意することと，いろんな部署の人に話を聞くことが重要だと長舩氏はまとめていた。
 |
 |
また，こういったAIの機械学習では，大量の学習データが重要になるので，1社ではなく賛同企業と共同で研究するコンソーシアム型開発が重要になるとの見解も示されており，Game AI CommunityのSlackチャンネルへの参加も呼びかけられていた。
 |
