AIトークン数カウンター

文章を貼り付けると、GPT系の正確なトークン数(o200k_base)と、Claude向けのめやすをブラウザの中だけで数えます。

トークン数(GPT系・正確)
0
OpenAIの o200k_base エンコーディングで数えています(GPT-4o・4.1・5系などの既定)。
トークン数(Claude・めやす)
0
Anthropicはトークナイザを公開していないため、文字種からの推定です(誤差は±20%程度)。
文字数
0
単語数(空白区切り)
0
バイト数(UTF-8)
0

コンテキスト上限に対する割合

GPT系の正確なトークン数をもとにした割合です。実際に一度に扱える長さはモデルやサービスによって異なり、 会話履歴やシステムプロンプト、AIの回答分もこの上限に含まれるのが一般的です。

料金のめやす

単価は改定されることがあるため、このツールでは持っていません。お使いのサービスの公表値をご自身でご確認のうえ入力してください。 表示されるのは入力した文章1回分のめやすで、実際の請求額は出力(回答)分のトークンや税・為替などによって変わります。

入力した単価この端末のブラウザの中だけに保存され、サーバーには送信されません。貼り付けた文章は保存も送信もされません。

🔒 貼り付けた文章は送信されません・すべてブラウザ内で処理

トークン数の計算に gpt-tokenizer (Copyright © 2023-2024 Bazyli Brzoska/MIT License)を利用しています。 ライセンス全文

📖 使い方・くわしい説明

使い方

  1. 上の入力欄に、プロンプトや文章を貼り付けます。
  2. GPT系の正確なトークン数と、Claude向けのめやすが自動で表示されます(初回だけトークナイザの読み込みに少し時間がかかります)。
  3. コンテキスト上限のバーで「この文章が8K・128K・200Kなどの何%を占めるか」を確認できます。
  4. 料金を知りたいときは、お使いのサービスの「100万トークンあたりの単価(ドル)」を入力してください。

こんなときに使えます

  • 長いプロンプトがコンテキスト長に収まるか、送る前に確かめたいとき
  • 資料や議事録をまるごとAIに読ませる前に、分量とコストのあたりを付けたいとき
  • プロンプトを短く書き直したときに、どれくらい削れたか比べたいとき
  • 日本語と英語で、同じ内容がどれくらいトークン数が違うか確かめたいとき

数え方について

  • GPT系のトークン数は、OpenAIが公開している o200k_base エンコーディングを実装した gpt-tokenizer(MIT License)で数えています。ライブラリはこのサイト内に置いており、外部のCDNは読み込みません。
  • Claudeのトークン数は推定です。Anthropicはトークナイザを公開していないため、 全角文字は1トークンあたり約1.4文字、英数字などのラテン文字は約3.8文字、絵文字などその他の文字は約1文字という係数で概算しています。
  • 文字数はUnicodeのコードポイント単位で数えます(多くの絵文字は1文字として数えます)。
  • 単語数は空白・改行で区切った数です。日本語のように空白で区切らない文章では目安になりません。
  • API利用の実際のトークン数には、ここで数えた本文のほかにシステムプロンプト・会話履歴・ メッセージの区切りを表す特殊トークンなども含まれるのが一般的です。表示される値は本文だけの数です。

プライバシーについて

入力した文章はサーバーに送信されず、ブラウザにも保存されません。トークナイザはページに読み込まれて、 すべての計算がお使いの端末の中で行われます。ブラウザに保存されるのは、料金計算のために入力した単価だけです (キー名は token-counter:v1)。

よくある質問

トークンとは何ですか?
AIが文章を扱うときの最小単位です。AIは文章を文字そのままではなく「トークン」と呼ばれる断片に区切って処理します。英語では単語やその一部(たとえば tokenization → token / ization)が1トークンになることが多く、日本語では1〜2文字程度がひとつのトークンになることが多いとされています。AIの利用料金や、一度に扱える文章の長さ(コンテキスト長)は、文字数ではなくこのトークン数で決まるのが一般的です。
日本語は英語よりトークンを多く消費しますか?
同じ内容を書いた場合、日本語のほうがトークン数が多くなる傾向があるとされています。英語は1トークンあたり平均4文字前後になることが多いのに対し、日本語は1トークンあたり1〜2文字程度になることが多いためです。ただし、最近のエンコーディング(o200k_baseなど)は日本語の効率が以前より改善しており、文章の内容によっても変わります。このツールで実際の文章を貼って確かめるのが確実です。
Claudeの数値はなぜ「めやす」なのですか?
Anthropic(Claudeの提供元)はトークナイザを公開していないため、ブラウザの中だけで正確に数えることができないからです。このツールでは、全角文字は1トークンあたり約1.4文字、英数字は1トークンあたり約3.8文字という係数で概算しています。誤差はおおむね±20%程度とお考えください。正確な数値が必要な場合は、Anthropicが提供しているトークン数のカウント用APIなど、公式の手段でご確認ください。
入力した文章はサーバーに送信されますか?
送信されません。トークン数の計算は、このページに読み込まれたトークナイザ(gpt-tokenizer)を使ってお使いのブラウザの中だけで行われます。入力した文章が外部に送られることも、ブラウザに保存されることもありません(保存されるのは、料金計算のために入力した単価だけです)。社外秘のプロンプトや下書きも、そのまま貼り付けていただけます。
GPT系のトークン数はどのモデルの基準ですか?
OpenAIの o200k_base というエンコーディングで数えています。GPT-4o・GPT-4.1・GPT-5系など、比較的新しいモデルで使われているものです。GPT-3.5やGPT-4(初期)では cl100k_base という別のエンコーディングが使われており、その場合はトークン数が変わります。また、実際のAPI利用では、ここで数えた本文のほかにシステムプロンプトや会話履歴の分も加算されます。
シェア B!