最近、AIが絵画やマンガのキャラクターを描く、また、実物と見まちがう顔写真を生成するなど、玄人顔負けの活躍を見せるようになりました。本コラムでは、顔画像を扱うAIの仕組みについて、筆者の研究から分かりやすく説明してみたいと思います。

画像は多くの画素の集合です。各画素を独立に操作すると、時間がかかるだけではなく画像全体の調和が崩れる恐れもあります。そのため、機械学習を用いて画像全体を少数のパラメータで表現し（本コラムでは、顔画像のパラメータを顔パラメータと呼びます）、このパラメータを操作します。このような機械学習は次元圧縮と呼ばれ、100×100画素の画像を100個のパラメータで近似すると、10000次元を100次元に圧縮したことになります（下図左半分）。顔パラメータを伸張すると顔画像が復元できます（下図右半分）。次元圧縮には主成分分析（PCA）やオートエンコーダなどの技術が使われます。

顔パラメータを変化させると、様々な顔画像を生成できます。平均した顔を元にして、PCAにより顔画像を生成した例を示します。個人差の大きい順に、主成分得点の1番から5番までをそれぞれ操作しています。中央列がパラメータ値の変更無しの平均顔で、どれも同じです。右に行くと、5個のうちの1つのパラメータのみを＋1、＋2と増加させた結果、左に行くとその逆に、－1、－2と減少させた結果を示しています。

PCAの例：主成分得点を調整することで顔画像を調整することが可能

当社では、より直感的に様々な顔画像を生成する技術を開発しました。個々の顔パラメータを直接操作せずに様々な顔画像を生成でき、また、生成された顔画像を確認しながら調整することが可能です。

顔パラメータの考え方を応用し、解像度の低い顔画像の顔パラメータから解像度の高い顔画像を推定できるのではないでしょうか。当社が開発した機械学習エンジン『カップリング学習^®*1』は、まさにこの考え方を機械学習に取り入れたものになります^*2。

カップリング学習^®*1による顔超解像の例^*2

さらに、2D顔画像から3D顔画像を推定する、3D頭蓋骨画像から3D顔画像を推定するなど、2D顔画像以外の様々なマルチモーダル画像への応用についても研究をすすめています。

カップリング学習^®*1による2D顔画像の３D化の例^*3（科学警察研究所と共同開発）

カップリング学習^®*1による3D頭蓋骨からの復顔の例^*4（科学警察研究所と共同開発）

面白い応用として、マスクをつけた顔画像から、本来の顔画像を推定する技術を紹介します。昨今、マスクをつけて外出することが多くなり、顔認識エンジンに悪影響が出ていますが、この技術を前処理として組み込むことで、顔認識エンジンを変えることなくマスクをつけた顔の認識ができるようになるかもしれません。

カップリング学習^®*1によるマスクされた顔画像の補間の例^*5

表情の変化によって顔パラメータがどのように変化するのかを予測できれば、顔パラメータを操作して顔画像を様々な表情に変化させることができます。例えば、下図では無表情な顔画像から自然な笑顔を再現することに成功しています。

顔パラメータの変化を予測した表情シミュレーションの例

この技術は加齢変化にも応用できます。当社は、科学警察研究所と共同で、3D顔画像の加齢シミュレーションシステムを開発しました。

科学警察研究所では、数百名の実験参加者を対象に、10年以上の加齢変化を継続して計測しており、この世界的にも非常に貴重なデータを用いて、機械学習により加齢による顔パラメータの変化を予測しました。その結果、顔形状変化の予測誤差がわずか約1.4mmという精度で加齢変化を推定することができました^*6。

顔パラメータの変化を予測した3D加齢シミュレーションの例^*6（30歳→45歳）
（科学警察研究所と共同開発）

さらに筆者は、指導している筑波大学の学生と共同で、2D顔画像における子供から大人への加齢シミュレーション技術を開発しました^*7。

顔パラメータの変化を予測した2D加齢シミュレーションの例^*7（10歳→20歳）
（筑波大学の学生との共同研究）

AIを使って顔画像を操作する技術について解説しました。AIによる顔画像処理は目覚ましい発展を遂げていますが、その一端を感じていただければ幸いです。

なお、ここでは、実写画像を例題として取り上げましたが、似顔絵やマンガ・アニメにも、同じように適用することができます。これからも、あっと驚く顔画像処理を開発していきたいと思います。ご期待ください。

1. *1カップリング学習は、みずほ情報総研株式会社の登録商標です。（特許取得済）
2. *2Nagata, T., Maekawa, H., Suitani, M., Futada, H., Matsuzaki, K., Sano, A., & Tomozawa, H., Orthogonalized coupled learning and application for face hallucination. In Mechatronics (MECATRONICS)/17th International Conference on Research and Education in Mechatronics (REM), 2016 11th France-Japan & 9th Europe-Asia Congress on (pp. 058-063). IEEE.
3. *3Nagata, T., Matsuzaki, K., Taniguchi, K., Ogawa, Y., & Imaizumi, K. (2017, March). Development of facial aging simulation system combined with three-dimensional shape prediction from facial photographs. In The International Conference on Quality Control by Artificial Vision 2017 (pp. 103380G-103380G). International Society for Optics and Photonics.
4. *4Kazuhiko Imaizumi, Kei Taniguchi, Yoshinori Ogawa, Kazutoshi Matsuzaki, Hidemasa Maekawa, Takeshi Nagata, Tsuyoshi Moriyama, Itsuko Okuda, Hideyuki Hayakawa, Seiji Shiotani,Development of three-dimensional facial approximation system using head CT scans of Japanese living individuals, Journal of Forensic Radiology and Imaging,Volume 17,2019,Pages 36-45.
5. *5Nagata, Takeshi. "Orthogonalized coupled learning and application for face image processing." 2018 12th France-Japan and 10th Europe-Asia Congress on Mechatronics. IEEE, 2018.
6. *6Nagata, T., Matsuzaki, K., Taniguchi, K., Ogawa, Y., & Imaizumi, K. (2017, March). Development of facial aging simulation system combined with three-dimensional shape prediction from facial photographs. In The International Conference on Quality Control by Artificial Vision 2017 (pp. 103380G-103380G). International Society for Optics and Photonics.
7. *7永田, 坂本，佐瀬，三本木, “子供から大人への加齢シミュレーション”, ViEW2020, IS1-20