高次元潜在表現は本当に拡散しやすいのか

高次元と有効次元を分ける

潜在ベクトルの要素数が1,024あっても、データがその全方向へ均等に広がるとは限らない。論文は20万個のImageNetパッチ特徴を中心化して特異値分解し、分散の一定割合を説明するのに必要な主成分数を「有効次元」として測る。DINOv2-Lを再構成向けに調整するとPSNRは17.34から29.12へ上がる一方、特徴はより低次元の多様体へ集中する。

ここでの論点は「次元が高いほど悪い」ではない。見かけの次元と、信号が実際に占める方向数の差が大きいとき、学習目標がどの方向を追うかが問題になる。

速度予測がノイズ方向を学ぶ理由

標準的なflow matchingの速度予測は、信号とノイズを結ぶ速度を目的にする。信号が低次元多様体上へ集まる場合、周囲の直交方向には主にノイズが残る。それでも速度予測はその方向まで合わせようとするため、生成に有効な信号へ学習能力を集中しにくい、というのが論文の説明である。

提案はクリーンな特徴そのものを当てるx₀予測である。著者らは数値不安定性を避けるため時刻tの下限を0.05に固定した。単なる目的変数の言い換えではなく、低次元の信号多様体を優先する重み付けになる点が重要だ。

実験表で改善幅を確かめる

再構成向け調整後にv予測を続けると3指標すべてが悪化し、x₀予測へ変えると元のDINOv2-Lを上回った。32次元へ圧縮する別案はGenEvalとDPG-Benchで最良だが、再構成PSNRは下がる。したがって論文は「x₀予測が常に唯一の解」とは示しておらず、再構成忠実度と生成しやすさの配分を示している。

主実験は1B規模のLumina-Next DiTと、固定したQwen3-VL-2B-Instructを使用した。学習条件はBLIP-3o公開事前学習データの3,400万件サブセット、90kステップ、256×256解像度である。数値を他の規模へ移すときは、この条件を残す必要がある。

適用範囲と残る疑問

本文が支持するのは、強い再構成性能を持つ複数の表現エンコーダと、この学習設定での傾向である。すべての視覚エンコーダ、解像度、DiT、データ量で同じ順位になるとは限らない。有効次元の閾値にも選択があり、生成指標は画質・テキスト整合・分布距離の異なる側面を測る。

この記事の限界

• GGWSでは34Mデータ・1B DiTの学習を再現していない
• 本文表の比較を整理したもので、他モデルへの性能保証ではない
• 有効次元は採用する閾値と特徴の前処理に依存する