GALA: 3D Gaussianアバターのアニメーションを線形近似で軽くする試み

中立形状と共有基底に分ける

GALAは、人物固有の中立アバターを一度計算し、動きだけを複数人物で共有できるblendshapeの線形結合として近似する。フレームごとに重いデコーダを動かす代わりに、小さなMLPが係数を予測し、基底を混ぜる。

基底はGaussian属性を32の空間ブロックに分け、見た目への影響を考慮した距離でPCAを行って作る。前提はGaussianの番号が人物や姿勢をまたいで対応していることだ。この対応がない別形式のアバターへ、そのまま適用できるわけではない。

3モデルの速度差

同一CPU、8スレッド、バッチ1で、Gaussian属性を更新するアニメーション部分だけを測った値である。DynaAvatarでは別にlinear blend skinningが1フレーム10 msかかり、これを含めるとGALA側は16.1 msになる。描画時間も表には含まれないため、6.1 msをアプリ全体のフレーム時間として扱ってはいけない。

60fpsの条件を読む

著者らのブラウザ実演では、蒸留した3モデルがモバイル端末上で最大60fpsに達した。AGORA + GALAのベンチマークでも、モバイル値は元モデルの1fpsから60fpsへ上がる。ただし、端末、表示人数、ホストモデルによって結果は異なる。プロジェクト動画には5体表示の場面もあり、「全条件で60fps」と一般化する数字ではない。

画質面では、自己再現でホストモデルとの差がPSNR 1 dB以内、Ava256では0.03 dBまたは0.2 dB以内と報告される。これは元モデルへの近さであり、実写への絶対的な忠実度ではない。ホストモデル自体の弱点も引き継ぐ。

係数予測に残る誤差

基底へ最適に射影した係数ならホストをよく近似できるが、実際の高速経路ではMLPが係数を予測する。48 MB条件で、予測係数は射影係数よりAGORAで5.7 dB、FlexAvatarで12.3 dB低い。付録には、予測が23.6 dBまで崩れ、射影なら40.2 dBだった人物例もある。

メモリを増やすだけでは主に射影側が改善し、係数予測の差は残る。実装判断では、速度、基底容量、係数ネットワーク、人物ごとの登録処理を一緒に見る必要がある。FlexAvatarの評価では人物ごとに200ステップの登録も行っている。

この記事の限界

• GGWSではモデルやモバイルデモを再実行していない
• 60fpsは著者の実演条件での最大値で、端末全般の保証ではない
• 3つのホストモデルはいずれも対応の揃ったGaussian構造を持つ