AI Token 計數器

代幣估算的準確度如何？

對於英文文本，估計使用每個標記大約 4 個字元；對於 CJK 文本，每個標記使用大約 1.5 個字元。來自特定模型標記器（例如 GPT 的 tiktoken）的實際標記數量可能會存在 5-15% 的差異，但這為預算目的提供了可靠的近似值。

為什麼 CJK 字元的計數不同？

在大多數 LLM 分詞器中，中文、日文和韓文字元通常需要每個字元更多的標記，因為它們被編碼為多位元組 UTF-8 序列，並且在用於建立標記詞彙表的訓練資料中不太常見。

這些價格是最新的嗎？

使用的價格為 GPT-4，輸入代幣為 10/100 萬美元，GPT-3.5 Turbo，輸入代幣為 0.50 美元/100 萬美元，Claude Sonnet，輸入代幣為 3/100 萬美元。請務必查看官方 OpenAI 和 Anthropic 定價頁面，以了解最新的價格。

這也計算輸出令牌嗎？

不可以。此工具僅估計輸入（提示）標記。輸出令牌通常更昂貴，並且取決於模型響應的長度，而模型響應的長度無法提前預測。

我可以將其用於任何語言模型嗎？

雖然該工具顯示了特定模型的成本，但對於大多數基於 Transformer 的語言模型（包括 Llama、Gemini 和 Mistral）來說，標記估計本身是合理的近似值，因為它們使用類似的標記化策略。