対照学習で著者認証を検証する：ModernBERT Bi-Encoderの報告

比較を成立させた実験条件

この研究の対象は「文章Aと文章Bが同じ著者によるものか」を判定する著者認証である。PAN21は、学習時に見ていない著者とファンダムを評価側に置くオープンセット課題として設計されている。論文は検証用に、同一著者・異なるファンダムの組を1万件、異なる著者の組を1万件用意し、著者とファンダムが学習データに入らないよう分離した。

比較する二方式でも条件をそろえている。分類方式は二つの文章を連結するcross-encoder、対照学習方式は各文章を別々に埋め込み、コサイン類似度で照合するbi-encoderである。バッチサイズと学習率は方式ごとに調整する一方、残りの条件を固定した。この設計があるため、「対照学習の方が良かった」という比較をモデル名だけの差として読まずに済む。

対照学習は何を変えたか

bi-encoderは同じ著者の文章を近づけ、異なる著者の文章を離す。InfoNCEでは、各サンプルに一つの正例を置き、同じバッチ内の異著者サンプルを負例として利用する。推論時は検証データでF1が最大になるコサイン類似度の閾値を選んでいる。したがって、98.4%は学習器だけの性能ではなく、検証データで決めた閾値を含む評価結果である。

入力長が伸びるほど値も上がっている。ただし、表では入力長とバッチサイズが同時に変わる。論文自身も、長い入力の効果と大きなバッチで負例が増えた効果を完全には分離していない。

98.4%までの積み上げ

10エポック、入力長512の比較では、ModernBERT-largeの分類方式はAccuracy 70.3%、F1 74.2%だった。対照学習方式はAccuracy 91.3%、F1 91.1%である。さらに40エポックの学習、4,096トークン、4,096のバッチサイズを組み合わせた最終構成で98.4%に達している。

データ拡張も無視できない。各文書の開始位置を単語境界でランダムに回転してから切り出し、同じ文書から異なるスパンを作る。TinyBERTの実験では、この処理を外すと長く学習しても検証F1が下がった。つまり「ModernBERTだから98.4%」ではなく、対照損失、長い文脈、多数の負例、学習期間、ランダムスパンを重ねた結果として読むべきである。

実利用へ持ち出せない部分

PAN21は人間が書いたファンフィクションの同一著者判定であり、AI生成文の検出、ニュース記事の本人確認、短文SNSへそのまま一般化できない。文章のジャンル、長さ、言語が変われば、文体特徴と閾値も変わる可能性がある。また、論文の最終値は単一のテスト設定であり、複数シードの分散は表に示されていない。

この記事の限界

• GGWSでは学習コードを再実行しておらず、論文の表と公開リポジトリを照合した
• 98.4%はPAN21の条件付き報告値で、本人確認やAI文章判定の性能ではない
• 入力長とバッチサイズの寄与は最終表だけでは完全に分離できない