はじめての自己注意（Self-Attention）

1. 自己注意ってなに？

文章を書くAIは、単語の順番や文脈を理解する必要があります。

例えばこの文章：

「猫がネズミを追いかけた」

「猫」と「追いかけた」がつながっていることは分かりますよね。
でも、長い文章になると、どの単語がどの単語と関係しているかを見つけるのは大変です。

そこでAIは 自己注意(Self-Attention) という仕組みを使います。

文章の中で「今見ている単語」が、ほかの単語のどこに注目すればいいかを決める計算

文章の中のある単語を中心に見てみます：

「昨日、そらねこは公園で猫と遊んだ」

もし「遊んだ」を予測するとき、
AIは「猫」と「そらねこ」が関係していることに注目する必要があります。

自己注意はこれを自動でやります：

遊んだ → 注目する単語: そらねこ, 猫

文章が長くても、どの単語を見ればいいかを計算してくれるんです。

自己注意では、各単語が他の単語にどれだけ注目するかを**重み（ウェイト）**として計算します。

例：5単語の文章

これがSelf-Attentionの重みです。

自己注意の強みは以下の3点です：

文章が自然に見えるのは、自己注意のおかげです。

こういう文脈理解が、確率分布と自己注意の組み合わせで実現しています。

自己注意があるから、AIは文章の中の重要な関係を見失わずに次の単語を予測できます。