Contatore Token IA

Quanto è accurata la stima del token?

La stima utilizza circa 4 caratteri per token per il testo inglese e 1,5 caratteri per token per il testo CJK. Il numero effettivo di token provenienti da tokenizzatori specifici del modello (come tiktoken per GPT) può variare del 5-15%, ma ciò fornisce un'approssimazione affidabile ai fini del budget.

Perché i caratteri CJK vengono conteggiati in modo diverso?

I caratteri cinesi, giapponesi e coreani richiedono in genere più token per carattere nella maggior parte dei tokenizzatori LLM perché sono codificati come sequenze UTF-8 multibyte e sono meno comuni nei dati di training utilizzati per creare vocabolari di token.

Questi prezzi sono aggiornati?

I prezzi utilizzati sono GPT-4 a $ 10/1 milione di token di input, GPT-3.5 Turbo a $ 0,50/1 milione di token di input e Claude Sonnet a $ 3/1 milione di token di input. Controlla sempre le pagine ufficiali dei prezzi OpenAI e Anthropic per le tariffe più attuali.

Questo conta anche i token di output?

No. Questo strumento stima solo i token di input (prompt). I token di output sono in genere più costosi e dipendono dalla lunghezza della risposta del modello, che non può essere prevista in anticipo.

Posso usarlo per qualsiasi modello linguistico?

Sebbene lo strumento mostri i costi per modelli specifici, la stima del token stessa è un'approssimazione ragionevole per la maggior parte dei modelli linguistici basati su trasformatore, inclusi Llama, Gemini e Mistral, poiché utilizzano strategie di tokenizzazione simili.