トランスフォーマーとは、AIが文章全体を見渡しながら「どこを重要視するか」を決めて処理する仕組みです。

この記事で分かること

• Attention（注意機構）が何をしているか
• トランスフォーマーが生成AIの「読む力」を押し上げた理由
• 「見ている」ことと「理解している」ことの違い

生成AIの仕組みを調べていると、「トランスフォーマー」という言葉が出てきます。中核にある仕組みらしいとは分かります。ですが技術記事を開くと、Attention、Self-Attention、Encoder、Decoderといった言葉が並び始めます。そこで読むのをやめてしまった経験はありませんか。

これらの用語を一つずつ正確に押さえる必要はありません。生成AIを仕事で使う人が知っておくべきなのは、トランスフォーマーとは、AIが「どこを見ながら次を決めるか」をうまく扱える仕組みだという一点だけです。

ここさえ押さえておけば、その先の疑問が解けていきます。なぜ前の文章全体の流れを見られるのか。なぜ指示や条件を入れると出力が変わるのか。

生成AIは、前の1語だけを見ているわけではありません

第1回では、生成AIは「次にもっともらしい続きを出している」と説明しました。

ここでよくある誤解が、「では直前の単語だけを見て、続きっぽいものを出しているのか」というイメージです。もしそうなら、生成AIの文章はもっと不自然になっているはずです。

人間でも、文章の続きを考えるとき、直前の1語だけを見るわけではありません。「このメールは丁寧に返したい」「さっき断りの文脈があった」「相手は社外の人だ」といった前後の流れを広く見ています。

生成AIも同じです。少なくとも今の生成AIは、直前だけを見ているわけではありません。前に出てきたトークン全体の関係を見ながら、次を決めています。

その中心にある考え方が、Attentionです。

Attentionは「どこを重要視するか」を決める仕組み

Attentionは、日本語にすると「注意」や「注目」にあたります。

生成AIの文脈では、Attentionはいま次を出すために、前のどこをどれくらい重要視するかを決める仕組みだと思ってください。

たとえば、こういう短い文があるとします。

「木曜日の会議は延期になりました。新しい日程は来週月曜です。」

このあとに「会議は___」という続きが来たとき、直前の「は」や「です」だけを見ても意味がありません。手がかりになるのは、「会議」「延期」「新しい日程」「来週月曜」のように、前に出てきた重要な部分です。

次を決めるときには、前の全部を同じ比重で見るのではなく、関係が強そうなところに比重を置く必要があります。そのための仕組みがAttentionです。

もっと直感的に言えば、人間が文章を読むときに自然と目が止まる場所に近いものです。人も文章を読むとき、すべての語を同じ比重で処理してはいません。重要な単語、主語、結論、さっき出てきた条件。そういうところに自然と注意が向きます。

生成AIも、次のトークンを出すときに「前のどこが今の予測に関係ありそうか」を計算しながら見ています。人間の注意と同じではありませんが、全体を見ながら必要そうな場所を強く参照するという構造は共通しています。

トランスフォーマーは、文章全体を見渡しながら処理できる仕組み

トランスフォーマーをひとことで言えば、こうなります。

文章全体の中で、どの部分がどこと関係しているかを見ながら処理できる仕組み。

この仕組みが、生成AIの「読む力」を押し上げました。

昔の仕組みがまったく文脈を見られなかったわけではありません。ですが、長い文章や離れた位置にある言葉同士の関係を見るのは、今より苦手でした。

トランスフォーマーが強かったのは、文章を最初から最後まで流し読みするだけでなく、全体を見渡しながら関係を取れるところです。最初に出てきた条件、中盤で出てきた例外、最後に求められている出力形式。こうした要素を、前後の距離があっても拾えます。

だから長い指示にもある程度対応でき、複雑な文章でも流れを保てます。

ただし「見ている」ことと「理解している」ことは違います

トランスフォーマーの話を聞くと、「ではやはり理解しているのか」と思いたくなります。ですが、そう結論づけるのは早すぎます。

生成AIは、前後関係やトークン同士のつながりをうまく扱えます。ですが、それは人間のように意味を理解していることとは違います。前のどこを見るべきかを計算し、関係が強そうなところに比重を置いています。その結果として、非常に自然な出力が生まれます。

これを「人間のように読んで理解している」と重ねると、ズレが生じます。流暢なのに事実が違う、条件は拾っているのに結論がおかしい。こうしたことが起きるのは、このズレがあるからです。

プロンプトでも「重要な情報をどこに置くか」が意味を持つ

何をしてほしいか、何が条件か、何を優先してほしいか、どんな形式で返してほしいか。こうした情報を分かりやすい位置に置くほど、AIは扱いやすくなります。

モデル側もある程度は賢く拾ってくれます。それでも、とりとめなく長い指示より整理された指示のほうが出力が安定するのは、この仕組みから見ても自然です。

AIが文脈を「見ている」からこそ、こちらも文脈を整理して渡す意味があります。

トランスフォーマーとは、文章全体の中でどの部分がどこと関係しているかを見ながら処理する仕組み。その中核にあるのがAttention。つまり、次を出すために前のどこをどれくらい重要視するかを決める考え方。

これによって生成AIは、長い文脈の流れを踏まえ、条件や形式を反映し、自然な文章を作れるようになりました。

トランスフォーマーと以前の仕組みは何が違うのか

よくある疑問

Attentionとトランスフォーマーは別物ですか？

Attentionは「どこを重要視するかを決める考え方」で、トランスフォーマーはそのAttentionを中核に使った「モデルの設計」です。関係としては、Attentionがエンジン、トランスフォーマーが車全体に近いです。

「文章全体を見る」というのは、人間の読解と同じですか？

同じではありません。トランスフォーマーはトークン同士の関係の強さを計算しています。「見ている」が「意味を理解している」とは限らない点は重要です。

実務で意識すべきことはありますか？

AIが「どこを重要視するか」を決める仕組みである以上、指示や条件を分かりやすく整理して渡すことが、出力の安定につながります。

まとめ

• トランスフォーマーは、文章全体を見渡しながら「どこを重要視するか」を決めて処理する仕組みです
• その中核にAttentionがあり、長い文脈や離れた位置の関係も拾えるようになりました
• ただし「見ている」ことと「理解している」ことは別であり、そのズレがハルシネーションにつながります

次回の記事は「生成AIはなぜズレるのか」です。

今回の記事では、生成AIがトークンを単位に出力していること、そのとき前の文脈全体を見ていること、特に関係の強い場所に比重を置きながら次を決めていることを説明しました。次回は、そこまで文脈を見ているのになぜ間違うのか、その理由について掘り下げます。