AI Token カウンター

トークンの推定はどの程度正確ですか?

推定では、英語テキストの場合はトークンあたり約 4 文字、CJK テキストの場合はトークンあたり 1.5 文字が使用されます。モデル固有のトークナイザー (GPT の tiktoken など) からの実際のトークン数は 5 ～ 15% 異なる場合がありますが、これは予算編成の目的で信頼できる近似値となります。

CJK 文字のカウント方法が異なるのはなぜですか?

中国語、日本語、および韓国語の文字は、マルチバイト UTF-8 シーケンスとしてエンコードされ、トークン語彙の構築に使用されるトレーニング データではあまり一般的ではないため、通常、ほとんどの LLM トークナイザーでは 1 文字あたりより多くのトークンが必要になります。

これらの価格は最新のものですか?

使用される価格は、GPT-4 が $10/100 万入力トークン、GPT-3.5 Turbo が $0.50/100 万入力トークン、Claude Sonnet が $3/100 万入力トークンです。最新の料金については、OpenAI および Anthropic の公式料金ページを常にご確認ください。

これは出力トークンもカウントしますか?

いいえ。このツールは入力 (プロンプト) トークンのみを推定します。通常、出力トークンはより高価であり、モデル応答の長さに依存しますが、事前に予測することはできません。

これはどの言語モデルにも使用できますか?

このツールは特定のモデルのコストを表示しますが、トークン推定自体は、Llama、Gemini、Mistral などのほとんどのトランスフォーマーベースの言語モデルにとって合理的な近似値です。これらのモデルは同様のトークン化戦略を使用しているためです。