Goose
GOOSE_PROVIDER=openai
OPENAI_HOST=...
OPENAI_API_KEY=...Caffeine Inference얼리 액세스
Caffeine Inference 열기비용 효율적인 AI와 스마트 라우팅.
우리가 만들고 있는 것: Caffeine Inference는 비용 효율적인 스마트 라우팅을 목표로 합니다. 모델을 고를 필요 없이 라우팅이 대신 선택합니다. 지금 있는 것: 비용 효율적인 추론.
Caffeine 구독으로 동작합니다.
메뉴가 아니라 라우팅입니다.
스마트 라우팅이 제공되면 Caffeine은 요청을 읽고, 각 모델의 비용과 그 순간의 응답 속도를 견주어 그중 하나로 보내게 됩니다. 모델이 바쁘거나 느리면 요청은 실패하는 대신 다른 곳으로 갑니다.
이미 쓰던 도구를Caffeine으로 돌리세요.
Claude Code, 그리고 사용자 지정 기본 URL을 받는 모든 도구. 설정을 복사해 붙여 넣고 하던 일을 계속하세요.
Claude Code
ANTHROPIC_BASE_URL=...
ANTHROPIC_AUTH_TOKEN=...그 밖의 모든 것
base URL + key
same request shape첫 호출까지 네 단계.
도구를 고르고 설정을 복사한 뒤 한 번 호출해 보세요. Caffeine이 그 도구에 맞는 형식으로 설정을 제공합니다.
1.개요
여기서 답해 두고 싶은 질문들.
입력은 100만 토큰당 $0.2, 캐시된 입력은 $0.05, 출력은 $0.5입니다. 라우팅이 개선되면서 가격은 달라질 수 있습니다.
Caffeine Inference
이미 계정에 있는 Caffeine 예산으로 동작하고, 지금 쓰는 설정은 세 줄만 바꾸면 됩니다.
얼리 액세스. 별도 청구도, 별도 계정도 없습니다.