อธิบาย Context window

คุณสามารถคิดว่ามันเป็นพื้นที่ทำงานที่โมเดลมีอยู่ คำขอปัจจุบันใช้พื้นที่นั้นร่วมกับคำสั่งและข้อมูลอื่นๆ ที่แอปพลิเคชันจัดหาให้

Context window คือปริมาณข้อความที่วัดเป็นโทเค็น ที่โมเดลภาษาสามารถพิจารณาได้ในคราวเดียวเมื่อสร้างคำตอบ

นับมากกว่าแค่ prompt ที่มองเห็น

ข้อความของคุณใช้ส่วนหนึ่งของ context window การสนทนาก่อนหน้า คำสั่งของระบบ เอกสารที่อัปโหลด และข้อความที่ดึงมาอาจใช้ส่วนที่เหลือ

Window วัดเป็นโทเค็นมากกว่าคำ โมเดลต่างๆ อาจแบ่งประโยคเดียวกันเป็นโทเค็นแตกต่างกัน ดังนั้นการนับคำจึงเป็นเพียงแนวทางคร่าวๆ

ข้อมูลนำเข้าที่ยาวบังคับให้ต้องเลือก

เมื่อข้อมูลที่มีอยู่เกินขีดจำกัด แอปพลิเคชันต้องลบหรือสรุปบางอย่าง นั่นอาจทำให้รายละเอียดเก่าไม่สามารถใช้ได้สำหรับคำตอบถัดไป

Window ที่ใหญ่ขึ้นสามารถเก็บข้อมูลได้มากขึ้น แต่ความเกี่ยวข้องยังคงสำคัญ ชุดคำสั่งปัจจุบันที่มีโฟกัสและข้อความต้นฉบับที่มีประโยชน์ตรวจสอบได้ง่ายกว่ากองข้อความที่ไม่เกี่ยวข้องกัน

คำศัพท์เกี่ยวกับ context window

Token: หน่วยของข้อความที่อาจเป็นคำ ส่วนหนึ่งของคำ หรือเครื่องหมายวรรคตอน
Context length: ชื่ออื่นของปริมาณข้อความสูงสุดที่โมเดลสามารถพิจารณาได้ในคราวเดียว
Truncation: การตัดส่วนหนึ่งของข้อมูลนำเข้าออกเพื่อให้ส่วนที่เหลืออยู่ภายในขีดจำกัด

สิ่งที่ใช้พื้นที่ที่มีอยู่

คำขอของคุณ

คำถามปัจจุบันและเอกสารที่คุณให้มาจะใช้พื้นที่ context

ข้อความก่อนหน้า

ประวัติการสนทนาสามารถคงอยู่ได้เฉพาะเมื่อมันพอดีกับพื้นที่

คำสั่งที่ซ่อนอยู่

กฎของระบบและข้อมูลที่ดึงมาอาจใช้ส่วนหนึ่งของ window ด้วย

คำถามเกี่ยวกับ context window

ไม่ทีเดียว มันคือข้อมูลที่มีอยู่สำหรับคำตอบปัจจุบัน แอปพลิเคชันอาจเก็บข้อมูลอื่นไว้นอก window และเพิ่มเข้ามาทีหลัง

แอปพลิเคชันอาจแบ่ง สรุป หรือลบส่วนหนึ่งของมันก่อนส่งข้อมูลไปยังโมเดล

ข้อความก่อนหน้าอาจไม่พอดีกับ context ที่ใช้งานอยู่อีกต่อไป หรือแอปพลิเคชันอาจสรุปการสนทนาและละเว้นรายละเอียดนั้นไป

คำศัพท์ที่เกี่ยวข้อง

ให้ AI ได้รับบริบทที่สำคัญ

แอป Caffeine รันบน Internet Computer เครือข่ายสาธารณะที่สร้างมาเพื่อสิ่งนี้โดยเฉพาะ