Context window, dijelaskan
Anda dapat menganggapnya sebagai ruang kerja yang tersedia untuk model. Permintaan saat ini berbagi ruang tersebut dengan instruksi dan informasi lain yang disediakan oleh aplikasi.
Context window adalah jumlah teks, diukur dalam token, yang dapat dipertimbangkan model bahasa sekaligus saat menghasilkan respons.
Lebih dari sekadar prompt yang terlihat
Pesan Anda menggunakan sebagian dari context window. Percakapan sebelumnya, instruksi sistem, dokumen yang diunggah, dan bagian yang diambil mungkin menggunakan sisanya.
Window diukur dalam token, bukan kata. Model yang berbeda mungkin membagi kalimat yang sama menjadi token secara berbeda, jadi jumlah kata hanya panduan kasar.
Input panjang memaksa pilihan
Ketika materi yang tersedia melebihi batas, aplikasi harus menghapus atau merangkum sesuatu. Itu dapat membuat detail lama tidak tersedia untuk respons berikutnya.
Window yang lebih besar dapat menampung lebih banyak materi, tetapi relevansi tetap penting. Sekumpulan instruksi terkini yang fokus dan bagian sumber yang berguna lebih mudah diperiksa daripada tumpukan teks yang tidak terkait.
Istilah context window
- Token
- Unit teks yang dapat berupa kata, bagian dari kata, atau tanda baca.
- Context length
- Nama lain untuk jumlah maksimum teks yang dapat dipertimbangkan model sekaligus.
- Truncation
- Menghapus bagian dari input agar materi yang tersisa sesuai dengan batas.
Apa yang menggunakan ruang yang tersedia
Permintaan Anda
Pertanyaan saat ini dan dokumen apa pun yang Anda berikan menggunakan konteks.
Pesan sebelumnya
Riwayat percakapan hanya dapat tetap tersedia selama masih muat.
Instruksi tersembunyi
Aturan sistem dan informasi yang diambil juga dapat menggunakan bagian dari window.
Pertanyaan tentang context window
Tidak persis. Ini adalah materi yang tersedia untuk respons saat ini. Aplikasi dapat menyimpan informasi lain di luar window dan menambahkannya nanti.
Aplikasi dapat membagi, merangkum, atau menghapus bagian darinya sebelum mengirim materi ke model.
Pesan sebelumnya mungkin tidak lagi muat dalam konteks aktif, atau aplikasi mungkin telah merangkum percakapan dan meninggalkan detail tersebut.
Istilah glosarium terkait
Berikan AI konteks yang penting
Aplikasi Caffeine berjalan di Internet Computer, jaringan publik yang dibangun untuk ini.