バーチャルライブ配信アプリIRIAMにおいて、配信者様に合わせてリアルタイムでキャラクターを動作させるためには、高速で高精度な顔認識が必要です。
iPhoneにおいてはApple製のARKitを用いることで高精度な顔認識を既に実現出来ていたのですが、Androidと一部のiOS端末では顔認識の精度が不十分という課題がありました。この問題を解決するため、データ本部とIRIAMが協力して、任意のプラットフォームで動作可能かつ高精度で高速な顔認識システムの開発に取り組みました。
本発表では、データの収集と機械学習モデルの設計指針、モデルの形式の変換の方法、Unity上で効率よく動作させる手段など、その開発過程で得られた知見を紹介します。