多言語LLMの出力は何に似ているのか

どんな問いか

多言語LLMはさまざまな言語で自然な文章を生成できますが、学習データやpost-trainingは英語や翻訳文の影響を強く受けています。この論文が見ているのは、その影響が最終出力にも現れるのか、つまり 明示的に翻訳させていなくても、直接生成した文章に「翻訳文らしさ（translationese）」が残るのか という点です。

著者らは2つの多言語LLMと5言語を対象に、人間による原生文と翻訳文だけからtranslationese classifierを学習し、それをLLMの直接生成に適用しています。

Findings

特に印象に残ったのは次の3点です。

• 直接生成でも、統計的にtranslationese-likeな特徴が現れる。
• 特にドイツ語・スペイン語で強く、ギリシャ語・パシュトー語では弱い。単純に「低資源言語ほど翻訳っぽい」という話ではない。
• 自動classifierと人間の感覚は必ずしも一致せず、統計的には翻訳文に近くても、ネイティブには自然に感じられる場合がある。

私たちのコメント

個人的により気になったのは、この結果から何が言えないかです。LLMの出力が翻訳文の分布に近いからといって、LLMが内部で英語に翻訳してから出力している、とまでは言えません。

そもそも、人間による翻訳と、その言語で最初から書かれた文章は、同じ分布とは限らないはずです。翻訳では、すでに存在する原文に条件付けられます。情報の順序、何を明示するか、文の切り方などが原文側である程度決まっています。一方で、原生文では同じ内容でも、その言語らしい形でより自由に表現できます。

もう一つありそうなのは、翻訳とinstruction-tuned LLMの生成が、表現の均質化、明示性、語彙や構造のバリエーション低下などを別の理由で共有している可能性です。そうであれば、translationeseに見えるものの一部は、英語を経由している証拠ではなく、より一般的な constrained generationの特徴かもしれません。

そこで、少し問いをずらした方が面白いのではないかと思いました。

「LLMは英語で考えているか？」ではなく、「LLMのtarget-language generationは、どの生成過程の分布に最も近いのか？」

例えば、LLMの直接生成が近いのは、その言語での人間の原生作文なのか、英語からの人間翻訳なのか、別言語からの翻訳なのか、同一言語内の言い換えなのか、それとも翻訳ではないが強い制約を与えた人間作文なのか。

「内部で何語を使っているか」を直接決めにいくより、最終出力がどの生成過程由来の分布に近いのかを比較する。この問いの置き換えが、今回の論文から一番持ち帰りたいアイデアです。