Romanizationは言語間転移を本当に助けるのか

どんな問いか

多言語モデルでは、言語間でトークンや語彙的な構造を共有できることが言語間転移性能を助けます。一方で、言語的には近くてもスクリプト (script) が違うと、その共通性が表面上ほとんど見えなくなることがあります。

この論文が問うのは、かなりシンプルです。元の文字体系での表記 (native orthography/text) をそのまま使うのではなく、事前学習 (pretraining) の最初から共通した表記空間に変換したら、多言語転移はどう変わるのか？

著者らは8言語を対象に、native text、IPA、romanizationの3種類を比較し、複数のモデルスケールでcross-script / unseen-language transferを評価しています。

Findings

一番大きな結果は、多くの条件でromanized pretrainingが最も強いことです。IPAは概ねnative textより良いものの、全体としてはromanizationに届きません。

特に印象に残ったのは次の点です。

効果は特に異なるscript間やpretrainingで見ていない言語への転移で大きい。
native textで事前学習したモデルに、downstreamだけromanizationを入れるのは同じ話ではない。すでにその言語/scriptを学習している場合は、むしろ性能がかなり落ちることもある。
subword overlapが増えることだけでは結果を説明できない。IPAの方がoverlapが大きいlanguage pairでも、downstreamではromanizationが勝つケースがある。
representationを変えるとトークン化効率も大きく変わる。同じ元corpusでもromanization/IPAではtoken列がかなり短くなるため、fixed token budgetなら、同じ計算量でより多くの元言語情報を見られる可能性がある。

私たちのコメント

今回の議論で一番気になったのは、「romanization」は実際には一つの操作/介入 (intervention) ではないという点です。

Romanizationすると同時に、

character inventory
subword overlap
sequence length/tokenizer fertility
fixed computeあたりに見られるsource content量
cognateや発音の近さの見え方
native orthographyが持っていた区別の一部

などがまとめて変わります。

そのため、この論文から「related wordsが同じトークンを共有しやすくなるから転移が良くなる」と単純に言うのは少し強すぎると思いました。より安全なのは、romanized representationというbundleがcross-lingual transferにかなり有効だったという読みです。何が本当に効いているのかは、まだ混ざっています。

また、romanizationを「共通した言語表現」と呼ぶことにも少し違和感があります。Romanizationが作るのは、まずは複数言語で共有しやすいcoding spaceです。IPAなら音韻的な共通性に一段近づきますが、それでも表記も発音も違う同じ意味の語を直接そろえるわけではありません。

ざっくり分けると、

script normalization → phonological normalization → learned semantic abstraction

という段階があり、romanizationは主に最初の段階に効くもの、と考える方がしっくりきます。

もう一つ面白いのは、romanizationが一部の情報を意図せず潰していることです。異なるnative formが似たromanized formになると、モデルはcontextから区別しなければなりません。cross-lingual classificationではその区別が不要な情報かもしれませんが、固有名詞、綴り、native-script generationでは逆に重要になります。

次に知りたいこと

個人的に一番切り分けてみたいのは、

script equalizationの何が本当にtransfer gainを生んでいるのか？

という点です。

例えば、native text / romanizationに加えて、トークン化効率だけを近づけた任意のreversible remappingを用意する。もし意味のないmappingでもromanizationと同程度に効くなら、shared coding spaceやcompute efficiencyが主因かもしれません。逆にromanizationが明確に勝つなら、cognateやphonological correspondenceのような言語学的に意味のあるalignmentが重要だと考えやすくなります。

この論文から持ち帰りたいのは、「romanizationが強い」という結論そのものより、有限の予算の中で、多言語転移のために何を残し、何を潰し、何を共有させるべきかという問いです。