トークンとは、AIが文章を読み書きするときの「細かい区切り」のことです。

この記事で分かること

• トークンが文字数でも単語数でもない理由
• コンテキスト長とトークンの関係
• トークンの感覚がプロンプト設計にどう活きるか

トークンとは何か。AIは文章をどう見ているのか

生成AIの話をしていると、必ず出てくる言葉があります。トークンです。 長文だとトークンをたくさん使う。このモデルはコンテキスト長が長い。入力上限は何万トークン。料金もトークン単位。こうした言い方を、どこかで見かけたことがあるのではないでしょうか。 ただ、なんとなく大事そうだとは分かっても、人に説明しようとすると言葉に詰まります。文字数のことなのか、それとも単語数のことなのか。 この曖昧さを残したままだと、この先の話が分かりにくくなります。なぜ長い資料を一度に入れられないことがあるのか。なぜ会話が長くなると前の文脈を落としやすくなるのか。なぜプロンプトを短く整理することに意味があるのか。 ひとことで言うと、トークンはAIが文章を読むときの「細かい区切り」です。文字そのものでもなく、単語そのものでもありません。だいたいその中間のような単位です。まずはこの感覚を持っておいてください。

AIは、人間と同じようには文章を見ていません

人間が文章を読むとき、文字を見て単語を認識し、文の意味をつかんで前後の流れを理解します。あまりに自然にやっているので、意識することはありません。 一方でAIは、文章をそのまま人間のように見ているわけではありません。内部ではいったん、文章を細かい単位に分けて扱います。 文字ごとでも、単語ごとでも、文ごとでもありません。AIが扱いやすい粒度に分割された単位が、トークンです。人間のための区切りではなく、AIが読み書きするための区切りです。

トークンは「文字数」でも「単語数」でもありません

「トークン」と聞くと、つい単語のことだと思ってしまいませんか。英語だと特にそう見えます。 ですが実際には、そこまで単純ではありません。ある単語が1トークンになることもあれば、複数トークンに分かれることもあります。逆に、短い記号や助詞が1トークンとして扱われることもあります。 トークンとは、機械側が扱いやすいように分けた単位と考えるほうが実態に近いです。人間にとって自然な区切りと、AIにとって扱いやすい区切りは、少しずれることがあります。だからこそ「文字数」や「単語数」とは1対1で対応しません。 第1回で、生成AIは「次にもっともらしいものを少しずつ出していく」と説明しました。この「少しずつ」の単位が、ざっくり言うとトークンです。AIは文章全体をいきなり扱うのではなく、トークン列として見ながら、次のトークンを予測しています。

コンテキスト長とは「AIの机の広さ」に近い

ここでよく一緒に出てくる言葉が、コンテキスト長です。 コンテキスト長とは、ざっくり言えばAIが一度に見ながら考えられる情報量の上限です。ただしその「量」は文字数ではなく、トークンで数えます。 机の上に資料を広げるところを想像すると分かりやすいです。机が小さければ、広げられる資料は少なくなります。新しい資料を置くには、何かをどけなければなりません。机が広ければ、多くの資料を見ながら作業できます。 生成AIにとっての机の広さが、コンテキスト長です。 そして机の上に置かれる紙の細かい単位が、トークンにあたります。

会話の履歴も、資料の本文も、追加の指示も、出力に使うスペースも、すべて同じ机の上を取り合っています。会話が長くなると前の文脈が落ちることがあるのも、この仕組みで説明がつきます。

トークンが分かると、プロンプトの考え方も変わる

プロンプトを書くとき、つい「長く丁寧に書けばいい」と思いがちです。前提をきちんと渡すこと自体は、もちろん大切です。

ですがトークンの考え方を知ると、長ければいいわけではないことにも気づきます。長い指示は、その分だけ机の上を使うからです。

大事なのは、何をしてほしいか、何を前提にするか、何を制約にするか、どんな形で返してほしいかを、無駄なく渡すことです。

トークンの感覚があると、プロンプトは「長い呪文」ではなく、限られた机の上に必要な情報をどう並べるかという設計の問題だと分かってきます。

AIは文章を「扱いやすい単位」に分けて見ている

トークンとは、AIが文章を読むときの内部的な区切りです。文字数そのものでも単語数そのものでもなく、AIが扱いやすいように分けられた小さな単位です。

AIは、そのトークン列を見ながら次のトークンを予測していきます。文章生成も、長文処理も、会話の保持も、料金も、すべてこの単位で動いています。

この感覚があると、生成AIの動き方が少しつかめてきます。人間のように文章を意味でまるごと理解しているというより、文脈を踏まえながら小さな単位をつないで出力を組み立てています。まずはここを押さえれば十分です。

トークンと混同しやすい概念の違い

よくある疑問

日本語は英語よりトークン数が多くなるのですか？

一般的にはそうです。日本語は1文字が複数トークンに分かれやすいため、同じ内容でも英語より多くのトークンを消費します。

コンテキスト長が長ければ、何でも一度に処理できますか？

机の上に置ける量は増えますが、量が増えるほど処理速度やコストに影響が出ます。「全部入れればいい」ではなく、必要な情報を整理して渡す方が効果的です。

トークンの消費量を減らす方法はありますか？

指示を簡潔にする、重複を省く、必要な部分だけを抜粋して渡すなどが有効です。「丁寧に書く」ことと「長く書く」ことは別です。

まとめ

• トークンとは、AIが文章を読み書きするための内部的な区切りで、文字数や単語数とは一致しません
• コンテキスト長は「AIの机の広さ」であり、入力・会話履歴・出力がすべて同じ机の上を取り合います
• トークンの感覚があると、プロンプトは「限られた机の上に必要な情報をどう並べるか」という設計になります

次回の記事は「トランスフォーマーとは何か」です。

今回の記事では、生成AIが続きを予測していること、その予測の単位がトークンであること、文章の長さや文脈の保持にもトークンの考え方が関わることを説明しました。次回は、そのトークン列を見ながらどこを重視して次を決めているのかについて掘り下げます。