Goose
GOOSE_PROVIDER=openai
OPENAI_HOST=...
OPENAI_API_KEY=...Caffeine InferenceAcceso anticipado
Abrir Caffeine InferenceIA rentable y enrutamiento inteligente.
Lo que estamos construyendo: Caffeine Inference busca ofrecer enrutamiento inteligente y rentable. No necesitas elegir modelos, nuestro enrutamiento lo hace por ti. Lo que existe hoy: inference rentable.
Funciona con la suscripción de Caffeine.
Enrutamiento, no un menú.
Cuando llegue el enrutamiento inteligente, Caffeine leerá la solicitud, sopesará cuánto costaría cada modelo y con qué rapidez está respondiendo en ese momento, y la enviará a uno de ellos. Cuando un modelo esté ocupado o lento, la solicitud irá a otro sitio en lugar de fallar.
Apunta a Caffeine lasherramientas que ya usas.
Claude Code y cualquier otra cosa que acepte una URL base personalizada. Copia la configuración, pégala y sigue trabajando.
Claude Code
ANTHROPIC_BASE_URL=...
ANTHROPIC_AUTH_TOKEN=...Cualquier otra cosa
base URL + key
same request shapeCuatro pasos hasta tu primera llamada.
Elige una herramienta, copia la configuración y envía una llamada. Caffeine te da los ajustes en el formato que esa herramienta espera.
1.Vista general
Preguntas que preferimos responder aquí.
La entrada cuesta 0,2 $ por millón de tokens, la entrada en caché 0,05 $ y la salida 0,5 $. Los precios pueden cambiar a medida que mejora el enrutamiento.
Caffeine Inference
Funciona con el presupuesto de Caffeine que ya está en tu cuenta, y tu configuración actual está a tres líneas de funcionar.
Acceso anticipado. Sin facturación aparte ni cuenta aparte.