Goose
GOOSE_PROVIDER=openai
OPENAI_HOST=...
OPENAI_API_KEY=...Caffeine Inferenceअर्ली एक्सेस
Caffeine Inference खोलेंकिफ़ायती AI और स्मार्ट रूटिंग।
हम क्या बना रहे हैं: Caffeine Inference का लक्ष्य किफ़ायती स्मार्ट रूटिंग देना है। आपको मॉडल चुनने की ज़रूरत नहीं, हमारी रूटिंग यह आपके लिए करती है। अभी क्या मौजूद है: किफ़ायती inference।
Caffeine सब्सक्रिप्शन पर चलता है।
मेन्यू नहीं, रूटिंग।
स्मार्ट रूटिंग आने पर Caffeine अनुरोध को पढ़ेगा, तौलेगा कि हर मॉडल की लागत क्या होगी और वे उस समय कितनी तेज़ी से जवाब दे रहे हैं, और उसे उनमें से एक के पास भेजेगा। जब कोई मॉडल व्यस्त या धीमा होगा, तो अनुरोध विफल होने के बजाय कहीं और चला जाएगा।
जो टूल आप पहले सेचलाते हैं, उन्हें Caffeine पर मोड़ें।
Claude Code और हर वह चीज़ जो कस्टम बेस URL स्वीकार करती है। कॉन्फ़िग कॉपी करें, चिपकाएँ, काम चलता रहे।
Claude Code
ANTHROPIC_BASE_URL=...
ANTHROPIC_AUTH_TOKEN=...बाकी सब कुछ
base URL + key
same request shapeपहली कॉल तक चार चरण।
एक टूल चुनें, कॉन्फ़िग कॉपी करें और एक कॉल भेजें। Caffeine आपको उस टूल के अपेक्षित फ़ॉर्मैट में सेटिंग्स देता है।
1.अवलोकन
वे सवाल जिनका जवाब हम यहीं देना चाहेंगे।
इनपुट $0.2 प्रति दस लाख टोकन, कैश्ड इनपुट $0.05 और आउटपुट $0.5 है। रूटिंग बेहतर होने के साथ कीमतें बदल सकती हैं।
Caffeine Inference
यह आपके खाते में पहले से मौजूद Caffeine बजट पर चलता है, और आपकी मौजूदा कॉन्फ़िग बस तीन लाइनों की दूरी पर है।
अर्ली एक्सेस। न अलग बिलिंग, न अलग खाता।