Goose
GOOSE_PROVIDER=openai
OPENAI_HOST=...
OPENAI_API_KEY=...Caffeine Inferenceเข้าถึงก่อนใคร
เปิด Caffeine InferenceAI คุ้มค่าและการกำหนดเส้นทางอัจฉริยะ
สิ่งที่เรากำลังสร้าง: Caffeine Inference ตั้งเป้ามอบการกำหนดเส้นทางอัจฉริยะที่คุ้มค่า คุณไม่ต้องเลือกโมเดล ระบบกำหนดเส้นทางของเราจัดการให้ สิ่งที่มีอยู่ตอนนี้: การอนุมานที่คุ้มค่า
ทำงานด้วยการสมัครสมาชิก Caffeine
การกำหนดเส้นทาง ไม่ใช่เมนู
เมื่อการกำหนดเส้นทางอัจฉริยะมาถึง Caffeine จะอ่านคำขอ ชั่งดูว่าแต่ละโมเดลจะมีต้นทุนเท่าไรและกำลังตอบเร็วแค่ไหนในขณะนั้น แล้วส่งไปยังโมเดลหนึ่ง เมื่อโมเดลใดยุ่งหรือช้า คำขอจะถูกส่งไปที่อื่นแทนที่จะล้มเหลว
ชี้เครื่องมือที่คุณใช้อยู่แล้วมาที่ Caffeine
Claude Code และทุกอย่างที่รับ base URL ที่กำหนดเองได้ คัดลอกค่าคอนฟิก วาง แล้วทำงานต่อได้เลย
Claude Code
ANTHROPIC_BASE_URL=...
ANTHROPIC_AUTH_TOKEN=...อย่างอื่นทั้งหมด
base URL + key
same request shapeสี่ขั้นตอนสู่การเรียกครั้งแรก
เลือกเครื่องมือ คัดลอกการตั้งค่า แล้วส่งคำขอหนึ่งครั้ง Caffeine จะให้การตั้งค่าในรูปแบบที่เครื่องมือนั้นต้องการ
1.ภาพรวม
คำถามที่เราอยากตอบไว้ตรงนี้
อินพุต $0.2 ต่อหนึ่งล้านโทเค็น อินพุตจากแคช $0.05 และเอาต์พุต $0.5 ราคาอาจเปลี่ยนแปลงเมื่อการกำหนดเส้นทางพัฒนาขึ้น
Caffeine Inference
ทำงานด้วยงบประมาณ Caffeine ที่มีอยู่ในบัญชีของคุณแล้ว และคอนฟิกปัจจุบันของคุณห่างจากการใช้งานแค่สามบรรทัด
เข้าถึงก่อนใคร ไม่มีการเรียกเก็บเงินแยก ไม่มีบัญชีแยก