少ない母数の教師データに対して当社独自の機械学習手法「カップリング学習^®」を適用し、低解像度画像から高解像画像を推定するシステムを試作しました。

カップリング学習を活用した顔超解像

Nagata, T., Maekawa, H., Suitani, M., Futada, H., Matsuzaki, K., Sano, A., & Tomozawa, H. (2016, June). Orthogonalized coupled learning and application for face hallucination. In Mechatronics (MECATRONICS)/17th International Conference on Research and Education in Mechatronics (REM), 2016 11th France-Japan & 9th Europe-Asia Congress on (pp. 058-063). IEEE.

顔の一部分が隠れた画像に対し、当社独自の機械学習手法「カップリング学習」を適用し、隠れた部分を推定する技術を開発しました。マスクされた顔画像を入力とする顔認識エンジンの前処理として活用できます。

当社独自の機械学習手法「カップリング学習」を活用した顔のオクルージョン補間

Nagata, Takeshi. "Orthogonalized coupled learning and application for face image processing." 2018 12th France-Japan and 10th Europe-Asia Congress on Mechatronics. IEEE, 2018.

当社は科学警察研究所と共同で、三次元顔画像データから作成したさまざまな角度の二次元顔画像データを組み合わせて機械学習を行い、三次元画像と二次元顔画像の関係性を学習させることで、二次元の顔画像から三次元の顔画像を推定するシステムを開発しました。当社と科学警察研究所による性能評価では、正面から撮影した2D顔画像から３D形状を予測する場合の予測誤差はわずか1.56mmであり、高い精度を示しました。さらに、予測した3D顔画像に対して、後述する加齢シミュレーションを行うことも可能です。

2D顔画像から3D顔画像を推定

Nagata, T., Matsuzaki, K., Taniguchi, K., Ogawa, Y., & Imaizumi, K. (2017, March). Development of facial aging simulation system combined with three-dimensional shape prediction from facial photographs. In The International Conference on Quality Control by Artificial Vision 2017 (pp. 103380G-103380G). International Society for Optics and Photonics.

当社は科学警察研究所と共同で、同一人物の顔の特徴と加齢変化の関係について機械学習を行い、顔の三次元形状と顔テクスチャの経年変化を推定するシステムを開発しました（「加齢化予測システム、加齢化予測方法及び加齢化予測プログラム」特許第5950486号）。顔形状変化の予測誤差はわずか約1.4mmを達成し（当社と科学警察研究所による性能評価）、精度の高い加齢シミュレーションが可能です。

成人の加齢シミュレーション

Nagata, T., Matsuzaki, K., Taniguchi, K., Ogawa, Y., & Imaizumi, K. (2017, March). Development of facial aging simulation system combined with three-dimensional shape prediction from facial photographs. In The International Conference on Quality Control by Artificial Vision 2017 (pp. 103380G-103380G). International Society for Optics and Photonics.

さらに、当社コンサルタントが教員を兼任する筑波大学において、当社コンサルタントと学生との共同研究により、2D顔画像における子供から大人への加齢シミュレーション技術を開発いたしました。顔の形状の変化については統計的な説明性を担保するために統計モデルで推定した後で、さらにディテールを深層学習で向上させるハイブリッド予測モデルを採用しました。

子供から大人への加齢シミュレーション予測結果

永田, 坂本，佐瀬，三本木, "子供から大人への加齢シミュレーション", ViEW2020, IS1-20

当社の顔認識技術は、化粧シミュレーションや、肌年齢の推定など、美容分野にも活用されています。化粧シミュレーションは、当社独自の知見を活用し、リアルな化粧シミュレーションが可能です。例えば、丸顔や四角顔といった顔タイプごとに、おすすめの化粧パターンを提示することも可能です。また、当社では画像やセンサー情報から、肌状態を推定する研究開発にも取り組み、肌状態から化粧品をレコメンドするなどの応用も可能です。

化粧シミュレーション結果の例

ユーザーが選択した顔画像を機械学習することで、個人の嗜好を反映した顔画像を生成するシステムを試作しました。このツールでは、様々なパラメータの調整を不要とし、ユーザーが選択した顔画像に基づいておすすめのキャラクターを新たに生成します。また、生成した顔画像を3D化することで、アバターやVR等に活用できます。

顔キャラクター合成の処理イメージ

様々な顔表情を機械学習で学習することで、一枚の顔画像から、様々な表情を生成する技術を開発いたしました。顔キャラクターの人工生成技術と組み合わせることで、生成したキャラクターに様々な表情を与えることが可能です。

人工的に生成した顔画像から笑顔をシミュレーションした例

当社は科学警察研究所と共同で、頭部3D-CTデータ（頭蓋骨）から復顔をおこなう技術開発に取り組み、当社独自の機械学習手法「カップリング学習」を適用したシステムを試作しました。身元確認において、DNA鑑定等が困難な場合においても、頭蓋骨から推定した顔の情報を利用することにより、科学捜査への活用が期待されています。

頭蓋骨からの復顔例

Kazuhiko Imaizumi, Kei Taniguchi, Yoshinori Ogawa, Kazutoshi Matsuzaki, Hidemasa Maekawa, Takeshi Nagata, Tsuyoshi Moriyama, Itsuko Okuda, Hideyuki Hayakawa, Seiji Shiotani,Development of three-dimensional facial approximation system using head CT scans of Japanese living individuals, Journal of Forensic Radiology and Imaging,Volume 17,2019,Pages 36-45

当社は科学警察研究所と共同で、骨の性別や年齢を推定する技術を開発しました。性別や年齢等の身元確認のために有効な情報を機械学習により高精度に推定できることから、捜査への活用が期待されています。

検討した頭蓋骨の例

Nagata, T., K., Taniguchi, K., Ogawa, Y., & Imaizumi, K. "Age estimation from human skeleton by machine learning", In Mechatronics (MECATRONICS)/19th International Conference on Research and Education in Mechatronics (REM), 2020 13th France-Japan & 9th Europe-Asia Congress on. IEEE

Kazuhiko Imaizumi, Enrique Bermejo, Kei Taniguchi, Yoshinori Ogawa, Takeshi Nagata, Kazunori Kaga, Hideyuki Hayakawa, Seiji Shiotani, "Development of a sex estimation method for skulls using machine learning on three-dimensional shapes of skulls and skull parts", Forensic Imaging, Volume 22, September 2020, 200393

• *「カップリング学習」は、みずほリサーチ&テクノロジーズ株式会社の登録商標です。（特許取得済）