Goose
GOOSE_PROVIDER=openai
OPENAI_HOST=...
OPENAI_API_KEY=...Caffeine InferenceAccesso anticipato
Apri Caffeine InferenceIA conveniente e instradamento intelligente.
Cosa stiamo costruendo: Caffeine Inference punta a offrire un instradamento intelligente e conveniente. Non devi scegliere i modelli, il nostro instradamento lo fa per te. Cosa esiste oggi: inference conveniente.
Funziona con l’abbonamento Caffeine.
Routing, non un menu.
Quando arriverà l’instradamento intelligente, Caffeine leggerà la richiesta, valuterà quanto costerebbe ogni modello e con quale rapidità sta rispondendo in quel momento, e la invierà a uno di essi. Quando un modello sarà occupato o lento, la richiesta andrà altrove invece di fallire.
Punta su Caffeine gli strumentiche già usi.
Claude Code e qualsiasi altra cosa accetti un URL di base personalizzato. Copia la configurazione, incollala, continua a lavorare.
Claude Code
ANTHROPIC_BASE_URL=...
ANTHROPIC_AUTH_TOKEN=...Qualsiasi altra cosa
base URL + key
same request shapeQuattro passaggi alla prima chiamata.
Scegli uno strumento, copia la configurazione e invia una chiamata. Caffeine ti dà le impostazioni nel formato che quello strumento si aspetta.
1.Panoramica
Domande a cui preferiamo rispondere qui.
L’input costa 0,2 $ per milione di token, l’input in cache 0,05 $ e l’output 0,5 $. I prezzi possono cambiare man mano che l’instradamento migliora.
Caffeine Inference
Funziona con il budget Caffeine già presente sul tuo account, e la tua configurazione attuale è a tre righe dal funzionare.
Accesso anticipato. Nessuna fatturazione separata, nessun account separato.