LLMで使われるTransformerの内部表現がどの程度まで入力情報を保持されているか議論されてきた。この研究では、入力から内部情報はほぼ確実に単射であることが証明された。つまり異なる入力プロンプトは異なる内部状態に移ることがしめされた。また実際、内部状態から入力を高い確率で効率的に推定できることが示された。 Transformerは実解析的な関数を組み合わせて作られている。 （実解析的とは、
この記事はAI業界の最新動向を速報でお届けする「AI Heartland ニュース」です。