トークン（Token）とは？文字数と一致しない理由と、料金・使える文章量に関わる仕組み
トークン（Token）とは、AIが文章を処理するときに文字列を区切る処理単位のことです。1文字だけのこともあれば、複数の文字がまとまった単位のこともあります。
ChatGPTやClaudeのAPI料金ページ、利用制限の説明などで「トークン」という言葉を見かけた方もいるかもしれません。自分が書いた文字数とは違う数字が出てくるため、戸惑うところです。
見分ける軸はシンプルで、「トークンは文字数とは別の数え方」「入力と出力は別々に数えられる」「その合計に上限がある」の3つです。
この記事では、トークンが文字数と一致しない理由から、入力トークン・出力トークンの違い、コンテキストウィンドウとの関係、料金との関わりまでを整理していきます。読み終えると、料金ページや利用制限の説明を正しく読めるようになります。
専門用語が出てきますが、初めて出てくるところで短く補足していきます！
この記事の監修者
AIリスキル株式会社 代表取締役
AIツールギャラリーを運営するAIリスキル株式会社の代表取締役。企業・自治体向けの生成AI研修とAI導入支援を手がけています。
実績: 大阪・関西万博 公式プログラム「AI HEROES COLLECTION」司会進行 / 神戸市デジタル人材育成エコシステム構築事業の運営 / MBS「せやねん!」「よんチャンTV」に生成AIの専門家として出演 / Felo日本初コアアンバサダー / Genspark第1期公式アンバサダー / Skywork公式アンバサダー / AKOOL公式パートナー など
1文字だけがそのままトークンになることもあれば、複数の文字がまとまって1つのトークンになることもあります。長い単語は、複数のトークンに分割されることもあります。
トークンは、AIが文章を「読む」ときにも「書く」ときにも使われる、共通のものさしです。
自分が書いた文章そのもの（＝プロンプト）と、それをAIが処理単位に区切ったもの（＝トークン）は、別のものだと考えると整理しやすくなります。
なぜ文字数とトークン数は一致しないのか
Anthropicの公式ドキュメントは、英語の場合の目安として「1トークンはおおむね4文字、または0.75単語」としつつ、正確な数は言語や内容によって変わるとしています。
Googleの公式ドキュメントも、Geminiモデルについて「1トークンはおおむね4文字、100トークンはおおむね60〜80英単語」という目安を示しています。
どちらも英語の場合の目安であり、日本語など他の言語ではそのまま当てはまりません。この記事では、日本語について「1トークン=何文字」という固定の数値は示しません。
トークンへの区切り方（tokenizer、テキストをトークンに分割する仕組み）は、AIの提供元やモデルによっても異なります。
Anthropicの公式ドキュメントによると、Claude 4.7以降で使われている新しいtokenizerは、同じ文章に対して、以前のtokenizerよりもおよそ30%多いトークン数を生成するとされています。
OpenAIも、トークン数はモデルやencoding（tokenizerの種類）、言語によって変わると案内しています。
同じ提供元でも、モデルのバージョンが変わればトークン数の数え方が変わることがあります。自分が使うモデルで実際に何トークンになるかは、そのサービスが提供するトークナイザーやカウントツールで確認するのが確実です。
入力トークンと出力トークン
生成AIに送る文章は「入力トークン」、AIから返ってくる文章は「出力トークン」として、それぞれ別に数えられます。
ChatGPTやClaudeのAPIでは、この入力トークンと出力トークンが、それぞれ別の単価で課金される仕組みになっています。
Anthropicの公式ドキュメントのモデル価格表を見ると、出力トークンの単価は、入力トークンの単価より高く設定されているのが一般的です。
コンテキストウィンドウとの関係
コンテキストウィンドウとは、AIモデルが一度に考慮できるトークンの最大数のことです。
Anthropicの公式ドキュメントによると、コンテキストウィンドウは入力トークンと出力トークンの両方を合算してカウントします。
つまり、長い文章を入力すればするほど、返ってくる文章に使える残りのトークン数（＝出力できる文章量）は少なくなります。逆に、長い出力を求めるほど、入力に使える余地は狭くなります。
料金にどう関わるのか
料金は、基本的に「何トークン使ったか」に応じて決まります。ただし、同じ「トークン」でも、種類によって単価が変わる仕組みがあります。
1つ目は、入力と出力で単価が違うことです。前の章で見たとおり、出力トークンの方が単価が高く設定されているのが一般的です。
2つ目は、キャッシュ（同じ内容を再利用する仕組み）の有無です。プロンプトキャッシュ（同じ内容を毎回送り直す代わりに、キャッシュとして保存しておく仕組み）を使うと、キャッシュを読み込むだけのトークンは安くなることがあります。
Anthropicの公式ドキュメントによると、キャッシュを読み込むだけのトークンは、通常の入力トークンより安く課金されるとされています。
3つ目は、reasoning（推論）トークンの扱いです。一部のモデルは、回答を作る前に内部的な処理を行うことがあり、その分もトークンとして数えられ、課金対象に含まれる場合があります。
扱いはモデルによって異なるため、詳細は各サービスの公式ドキュメントで確認することをおすすめします。
具体的な金額や、モデルごとの価格比較は、時期によって変わりやすいため、この記事では扱いません。検討中のサービスの公式料金ページで確認してください。
実際のトークン数を確認するには
自分が書いた文章が実際に何トークンになるかを正確に知りたい場合は、各サービスが提供するトークナイザー・カウントツールで確認するのが確実です。
多くのサービスは、API経由でリクエストを送る前にトークン数を確認できる仕組みや、Web上で試せるツールを用意しています。
目的に合うAIツールを比較しながら探したい場合は、AIツールを探すから検索してみてください。
トークンについてよくある質問
日本語は1トークンあたり何文字になりますか
固定の数値はありません。使うモデルやサービスのtokenizerによって変わるため、正確な数を知りたい場合は、そのサービスが提供するトークナイザー・カウントツールで確認してください。
トークンは無料で数えられますか
多くのサービスが、トークン数を確認するための無料のツールや仕組みを提供しています。詳細は各サービスの公式ページで確認してください。
文章の文字数を減らせば料金は安くなりますか
一般的には、入力・出力のトークン数が減れば、その分の課金対象も減ります。ただし、キャッシュの利用や、モデルごとの単価の違いも関わるため、実際の料金は各サービスの料金ページで確認することをおすすめします。
まとめ
トークンとは、AIが文章を処理するときに文字列を区切る処理単位です。1文字のこともあれば、複数文字のまとまりのこともあります。
文字数とトークン数が一致しないのは、言語やtokenizerのバージョンによって区切り方が変わるためです。日本語について固定の換算値はなく、正確な数はツールで確認する必要があります。
入力トークンと出力トークンは別々に数えられ、それぞれの合計がコンテキストウィンドウという上限に関わります。料金も、入力・出力・キャッシュといったトークンの種類によって単価が変わる仕組みになっています。
API利用料金の見積もりやAIツール選定を整理したい場合は、お問い合わせはこちらからご相談ください。
この記事の出典
- Pricing（Anthropic、2026年9月11日確認）
- Understand and count tokens（Google、2026年9月11日確認）
- tiktoken（OpenAI、2026年9月11日確認）
関連AIツール
この記事は役に立ちましたか？
感想は、今後の記事改善に活用します。
関連記事
データガバナンスとは？AIガバナンスとの違いは「データそのものか、使われ方か」｜整えるべき3つの対象
データガバナンスとは、企業が保有するデータの管理体制と責任の所在を整えることです。AIガバナンス・RAG・セキュリティとの違いを整理します。
生成AIガイドラインとは？社内ルールが決める3つのこと｜禁止事項・条件付き利用・運用のはじめ方
生成AIガイドラインとは、社内で生成AIを使う際のルールをまとめた文書です。禁止事項・条件付き利用・運用体制という3つの決め方と、公的ガイドラインの参照のしかた、社内での運用・更新方法をやさしく整理します。
社内GPTとは？「GPT」でも特定のモデルに限らない｜作り方の選択肢とRAG・安全性の考え方
社内GPTとは、社員が使える生成AIチャットを社内向けに用意したもの全般を指す通称です。契約する方法と組み合わせて作る方法、RAGと追加学習の違い、契約プランによって異なる情報管理の条件をやさしく整理します。
エンタープライズサーチとは？サイト内検索との違いは「複数システムを横断するか」｜RAGとの関係と効果が出る条件
エンタープライズサーチの意味を、サイト内検索との違い、RAGとの関係、効果が出るために必要なアクセス権の設計とデータ品質の条件まで具体例で解説します。
次のAIツール選びへ
気になるツールを並べて、料金や特徴の違いを確認できます。