状態:検証中

顔の一貫性を保つ画像・動画の生成パイプライン

同じ人物の顔を、画像でも動画でも別人に見えないように保ったまま生成する仕組みです。試作を終え、クラウドへの移行も実装済みです。用途の見直しで前提が変わったため、キャラクターと素材は作り直し、生成・承認・会話の仕組みはそのまま流用しました。

作る仕組みにする

掲載している事例は、Solbと関連会社で実際に作り、使っている(または検証している)ものです。

AIアバター

同じ人物の横顔の影絵が並んでいるが、1枚ごとに少しずつ形がずれている。依頼主が後ろ姿で見比べている

課題同じ人物を何枚も作ると、顔がずれていく

AI の画面に点線の案がいくつも並び、Solb(朱ペン)が横で見ている

AIの案:クラウド化に合わせて、アプリ・データベース・ファイル保存・ログインに新しいサービスを追加しましょう

Solb(朱ペン)が画面に身を乗り出し、点線の案の一つを朱の丸で選んでいる

Solbの判断:使うサービスは増やさない。既存の事業で使っているものに寄せる

横顔の影絵が門をくぐり、形の合ったものだけが先へ流れ、合わないものは脇の箱に外れる。門の横で Solb(朱ペン)が朱の線を引いている

結果基準の顔との類似度を測り、届かない画像は自動で作り直す

やったこと

  • 顔認識モデルで基準の顔との類似度を測り、合格ラインに届かない画像は、条件を変えて最大2回まで自動で作り直すようにしました。合格ラインは、基準写真どうしの類似度から自動で決めます。
  • 会話の側は、リアルタイムの音声対話、音声合成、リアルタイムの顔アバター、3段階の発言チェックで組みました。

結果

初期の検証で基準を満たした割合
85%(20枚中17枚。検証時の値)
基準の顔との平均類似度(旧方式 → 新方式)
0.459 → 0.744(検証時の値)

使った技術

  • 画像生成AI(参照画像で顔を固定する方式)
  • 顔認識モデルによる類似度判定
  • 大規模言語モデル(投稿文の作成と規約のチェック)
  • 画像から動画を作るAI
  • リアルタイム音声対話
  • 音声合成
  • サーバーレスの基盤

AIの案を、現場の声と判断で直した点

クラウド化に合わせて、AIはアプリ・データベース・ファイル保存・ログインに新しいサービスを追加することを提案しました。Solb の判断は「使うサービスは増やさない。既存の事業で使っているものに寄せる」。結果として、新しい契約のない構成になりました。

得た知見

顔の一貫性は、モデルの性能よりも手法の選び方で大きく変わりました(同じ顔で類似度 0.459 → 0.744)。一方、顔を付けた会話は声だけより返答が遅く(声だけで約0.3秒、顔付きで1.2〜2.3秒)、写実性と即応性の両立は今も課題です。

この事業で使った道具

Solb の道具箱を見る

よくある質問

何が難しいのですか。
1枚ずつなら見栄えの良い画像は作れますが、枚数が増えると顔が少しずつ別人になります。顔の一致を毎回確かめる工程が要になります。
生成したものは、どう確かめていますか。
顔認識モデルで基準の顔との類似度を測り、合格ラインに届かない画像は、条件を変えて最大2回まで自動で作り直します。合格ラインは、基準写真どうしの類似度から自動で決めます。
自社のキャラクターやモデルにも使えますか。
権利と利用の範囲を確認した上で相談できます。

自社で作って動かしている仕組みを、そのままお客様の業務に合わせて作ります。まだ課題が言葉になっていない段階でも構いません。

相談する