生成AIの説明で出てくる「トークン」とは何か――そんな疑問に、公式の情報で確認できた範囲で答えます。
この記事でわかること
- トークンとは
- コンテキストウィンドウ
- API課金との関係
結論から言うと、トークンは、生成AIがテキストを処理する最小の単位で、文字や単語の断片です。暗号資産のトークンとは、無関係です。
1. トークンとは
Google公式の機械学習の教材は、言語モデルを、「トークンまたはトークンの列が出現する確率を推定するもの」と定義しています。
2. 日本語のトークン数
公式の数値は、確認できていません。二次情報では、ひらがな1文字が1〜2トークン、漢字1文字が1〜3トークン、英語より多くなる傾向とされていますが、公式ではありません。正確な数は、公式のトークナイザーなどで、実測するのが確実です。
3. モデルによる違い
Anthropicの公式ドキュメントでは、トークン数はモデルごとに異なるとされています。Claude 4.7以降のトークナイザーは、同じ入力でも、従来より約30％多くカウントされます。トークン数の事前カウントのAPIは無料で、課金は、実際に使ったトークンに基づきます。
4. コンテキストウィンドウ
モデルが、応答を生成するときに参照できる、全テキスト（応答自体を含む）で、いわば「作業記憶」です。Claudeの現行の主要なモデルは、最大100万トークンです。入力だけで上限を超えると、エラーになります。長くなるほど精度が落ちる現象にも、公式ドキュメントで言及があります。
5. API課金
入力トークンと、出力トークンの、従量課金です。単価は、各社の価格ページで、ご確認ください。
6. 暗号資産のトークンとの違い
生成AIのトークンは、テキストの処理の単位で、ブロックチェーン系のトークンとは、無関係です。
まとめ
- トークンは、テキストの処理の単位
- 日本語の数え方は、公式の数値を確認できていない
- 課金は、入力と出力のトークンで決まる
よくある質問（FAQ）
Q. 文字数とどう違いますか？
トークンは、文字や単語の断片で、文字数とは一致しません。
Q. トークン数を調べるには？
各社のトークナイザーや、カウントのAPIを使います。
Q. temperatureについては？
別記事「生成AIのtemperature設定」をご覧ください。
