Strumenti IA

Calcolatore Spazio di Archiviazione Embedding

Calcola i requisiti di archiviazione e i costi di generazione per gli embedding vettoriali tra i modelli più popolari di OpenAI, Voyage AI, Google e provider open source.

Parametri

Numero di Documenti*

Numero totale di documenti o chunk da incorporare (embed).

Modello di Embedding

Seleziona il modello di embedding per il calcolo.

Risultati

Spazio di Archiviazione Vettoriale Grezzo585.9 MB

100,000 vectors × 1536 dimensions × 4 bytes (float32)

Altri risultati (3)

Con overhead dell'indice (~40%)820.3 MB

Include indici HNSW/IVF e archiviazione dei metadati nei database vettoriali

Costo Generazione Embedding$0.5120

~256 tokens/doc × 100,000 docs at $0.02/1M tokens

Confronto Modelli

[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]

Perché scegliere Calcolatore Spazio di Archiviazione Embedding

Stima i requisiti di spazio di archiviazione dei vettori e i costi di generazione degli embedding per le pipeline RAG. Copre OpenAI text-embedding-3, Voyage AI, Google Gecko e modelli open source come BGE e Nomic.

✓Calcola la memoria vettoriale e i requisiti di archiviazione per i database vettoriali
✓Stima i costi API per la generazione di embedding con OpenAI, Google e Voyage AI
✓Confronta la dimensione delle dimensioni vettoriali e l'impronta di archiviazione dei principali modelli
✓Pianifica il ridimensionamento del database, compreso l'overhead della VRAM dell'indice HNSW

Come usare

1Inserisci il numero totale di documenti di testo o chunk nel tuo dataset
2Seleziona il modello di embedding desiderato dall'elenco dei provider
3Controlla la dimensione dell'archiviazione binaria grezza e la dimensione stimata con l'overhead dell'indice
4Analizza la stima dei costi per la generazione di tali vettori tramite API

Domande frequenti (FAQ)

Cos'è l'overhead dell'indice del database vettoriale?

I database vettoriali utilizzano strutture di indicizzazione (come HNSW o IVF) per consentire ricerche rapide di similarità. Questi indici richiedono memoria e spazio di archiviazione aggiuntivi, aggiungendo in genere dal 30% al 50% di overhead sopra i dati vettoriali grezzi.

In che modo la dimensione della dimensione del vettore influisce sull'archiviazione?

L'archiviazione è direttamente proporzionale al numero di dimensioni. Un vettore a 1536 dimensioni (es. OpenAI text-embedding-ada-002) utilizza il doppio dell'archiviazione di un vettore a 768 dimensioni (es. Nomic Embed) per documento.

Quale precisione viene utilizzata per i calcoli di archiviazione?

Calcoliamo lo spazio assumendo numeri a virgola mobile a precisione singola a 32 bit standard (4 byte per dimensione), che è la rappresentazione predefinita per la maggior parte dei sistemi di database vettoriali.

Riferimenti e fonti autorevoli

OpenAI Embeddings

Vedi fonte

Voyage AI