Goose
GOOSE_PROVIDER=openai
OPENAI_HOST=...
OPENAI_API_KEY=...Caffeine Inferenceअर्ली एक्सेस
Caffeine Inference खोलेंकिफ़ायती AI और स्मार्ट रूटिंग।
Caffeine Inference उन सॉवरेन ऐप्स को चलाता है जो आप Internet Computer पर बनाते हैं, और उन टूल को भी जो आप पहले से इस्तेमाल करते हैं। हम क्या बना रहे हैं: स्मार्ट रूटिंग, ताकि आपको मॉडल चुनने की ज़रूरत न हो। अभी क्या मौजूद है: किफ़ायती inference।
Caffeine सब्सक्रिप्शन पर चलता है।
मेन्यू नहीं, रूटिंग।
स्मार्ट रूटिंग आने पर Caffeine अनुरोध को पढ़ेगा, तौलेगा कि हर मॉडल की लागत क्या होगी और वे उस समय कितनी तेज़ी से जवाब दे रहे हैं, और उसे उनमें से एक के पास भेजेगा। जब कोई मॉडल व्यस्त या धीमा होगा, तो अनुरोध विफल होने के बजाय कहीं और चला जाएगा।
जो टूल आप पहले सेचलाते हैं, उन्हें Caffeine पर मोड़ें।
Claude Code और हर वह चीज़ जो कस्टम बेस URL स्वीकार करती है। कॉन्फ़िग कॉपी करें, चिपकाएँ, काम चलता रहे।
Claude Code
ANTHROPIC_BASE_URL=...
ANTHROPIC_AUTH_TOKEN=...बाकी सब कुछ
base URL + key
same request shapeपहली कॉल तक चार चरण।
एक टूल चुनें, कॉन्फ़िग कॉपी करें और एक कॉल भेजें। Caffeine आपको उस टूल के अपेक्षित फ़ॉर्मैट में सेटिंग्स देता है।
1.अवलोकन
वे सवाल जिनका जवाब हम यहीं देना चाहेंगे।
इनपुट $0.2 प्रति दस लाख टोकन, कैश्ड इनपुट $0.05 और आउटपुट $0.5 है। रूटिंग बेहतर होने के साथ कीमतें बदल सकती हैं।
Caffeine Inference
यह आपके खाते में पहले से मौजूद Caffeine बजट पर चलता है, और आपकी मौजूदा कॉन्फ़िग बस तीन लाइनों की दूरी पर है।
अर्ली एक्सेस। न अलग बिलिंग, न अलग खाता।