Счётчик AI Токенов

Насколько точна оценка токена?

При оценке используется примерно 4 символа на токен для текста на английском языке и 1,5 символа на токен для текста CJK. Фактическое количество токенов от токенизаторов для конкретной модели (например, tiktoken для GPT) может варьироваться на 5–15 %, но это обеспечивает надежную аппроксимацию для целей составления бюджета.

Почему символы CJK учитываются по-разному?

Для китайских, японских и корейских символов обычно требуется больше токенов на символ в большинстве токенизаторов LLM, поскольку они кодируются как многобайтовые последовательности UTF-8 и реже встречаются в обучающих данных, используемых для создания словарей токенов.

Актуальны ли эти цены?

Используемые цены: GPT-4 по цене 10 долларов США за 1 миллион входных токенов, GPT-3.5 Turbo по цене 0,50 доллара США за 1 миллион входных токенов и Claude Sonnet по цене 3 доллара США за 1 миллион входных токенов. Всегда проверяйте официальные страницы цен OpenAI и Anthropic, чтобы узнать самые актуальные тарифы.

Это тоже учитывает выходные токены?

Нет. Этот инструмент оценивает только токены ввода (подсказки). Выходные токены обычно более дорогие и зависят от длины ответа модели, которую невозможно предсказать заранее.

Могу ли я использовать это для любой языковой модели?

Хотя инструмент показывает стоимость конкретных моделей, оценка токена сама по себе является разумным приближением для большинства языковых моделей на основе преобразователей, включая Llama, Gemini и Mistral, поскольку они используют схожие стратегии токенизации.