Ventanas de contexto, explicadas
Puedes pensarlo como el espacio de trabajo disponible del modelo. La solicitud actual comparte ese espacio con otras instrucciones e información proporcionada por la aplicación.
Una ventana de contexto es la cantidad de texto, medida en tokens, que un modelo de lenguaje puede considerar a la vez al producir una respuesta.
Más que el prompt visible cuenta
Tu mensaje usa parte de la ventana de contexto. La conversación anterior, las instrucciones del sistema, los documentos cargados y los pasajes recuperados pueden usar el resto.
La ventana se mide en tokens en lugar de palabras. Diferentes modelos pueden dividir la misma oración en tokens de manera diferente, por lo que un conteo de palabras es solo una guía aproximada.
Las entradas largas fuerzan una elección
Cuando el material disponible excede el límite, la aplicación debe eliminar o resumir algo. Eso puede hacer que un detalle anterior no esté disponible para la siguiente respuesta.
Una ventana más grande puede contener más material, pero la relevancia sigue importando. Un conjunto enfocado de instrucciones actuales y pasajes de origen útiles es más fácil de inspeccionar que una pila de texto no relacionado.
Términos de ventana de contexto
- Token
- Una unidad de texto que puede ser una palabra, parte de una palabra o puntuación.
- Longitud de contexto
- Otro nombre para la cantidad máxima de texto que un modelo puede considerar a la vez.
- Truncamiento
- Eliminar parte de la entrada para que el material restante quepa dentro del límite.
Qué usa el espacio disponible
Tu solicitud
La pregunta actual y cualquier documento que proporciones ocupan contexto.
Mensajes anteriores
El historial de conversación puede permanecer disponible solo mientras quepa.
Instrucciones ocultas
Las reglas del sistema y la información recuperada también pueden usar parte de la ventana.
Preguntas sobre ventanas de contexto
No exactamente. Es el material disponible para la respuesta actual. Una aplicación puede almacenar otra información fuera de la ventana y agregarla más tarde.
La aplicación puede dividir, resumir o eliminar partes de él antes de enviar material al modelo.
El mensaje anterior puede que ya no quepa en el contexto activo, o la aplicación puede haber resumido la conversación y dejado ese detalle fuera.
Términos relacionados del glosario
Dale a la IA el contexto que importa
Las apps de Caffeine corren en Internet Computer, una red pública creada para esto.