Compteur de Tokens IA

Quelle est la précision de l’estimation du jeton ?

L'estimation utilise environ 4 caractères par jeton pour le texte anglais et 1,5 caractères par jeton pour le texte CJK. Le nombre réel de jetons provenant de tokeniseurs spécifiques au modèle (comme tiktoken pour GPT) peut varier de 5 à 15 %, mais cela fournit une approximation fiable à des fins de budgétisation.

Pourquoi les caractères CJK sont-ils comptés différemment ?

Les caractères chinois, japonais et coréens nécessitent généralement plus de jetons par caractère dans la plupart des tokeniseurs LLM, car ils sont codés sous forme de séquences UTF-8 multi-octets et sont moins courants dans les données de formation utilisées pour créer des vocabulaires de jetons.

Ces prix sont-ils à jour ?

Les prix utilisés sont GPT-4 à 10 $/1 M de jetons d'entrée, GPT-3.5 Turbo à 0,50 $/1 M de jetons d'entrée et Claude Sonnet à 3 $/1 M de jetons d'entrée. Consultez toujours les pages de tarification officielles d’OpenAI et d’Anthropic pour connaître les tarifs les plus récents.

Est-ce que cela compte également les jetons de sortie ?

Non. Cet outil estime uniquement les jetons d’entrée (invite). Les jetons de sortie sont généralement plus chers et dépendent de la durée de la réponse du modèle, qui ne peut être prédite à l'avance.

Puis-je l’utiliser pour n’importe quel modèle de langage ?

Bien que l'outil affiche les coûts pour des modèles spécifiques, l'estimation du jeton elle-même constitue une approximation raisonnable pour la plupart des modèles de langage basés sur des transformateurs, notamment Llama, Gemini et Mistral, car ils utilisent des stratégies de tokenisation similaires.