Les fenêtres de contexte, expliquées
Vous pouvez la voir comme l'espace de travail disponible du modèle. La requête actuelle partage cet espace avec d'autres instructions et informations fournies par l'application.
Une fenêtre de contexte est la quantité de texte, mesurée en tokens, qu'un modèle de langage peut considérer à la fois lors de la production d'une réponse.
Plus que le prompt visible compte
Votre message utilise une partie de la fenêtre de contexte. La conversation précédente, les instructions système, les documents téléchargés et les passages récupérés peuvent utiliser le reste.
La fenêtre est mesurée en tokens plutôt qu'en mots. Différents modèles peuvent diviser la même phrase en tokens différemment, donc un comptage de mots n'est qu'un guide approximatif.
Les entrées longues forcent un choix
Lorsque le matériel disponible dépasse la limite, l'application doit supprimer ou résumer quelque chose. Cela peut rendre un détail plus ancien indisponible pour la prochaine réponse.
Une fenêtre plus grande peut contenir plus de matériel, mais la pertinence compte toujours. Un ensemble ciblé d'instructions actuelles et de passages sources utiles est plus facile à inspecter qu'un tas de texte sans rapport.
Termes liés aux fenêtres de contexte
- Token
- Une unité de texte qui peut être un mot, une partie d'un mot ou une ponctuation.
- Longueur de contexte
- Un autre nom pour la quantité maximale de texte qu'un modèle peut considérer à la fois.
- Troncature
- Suppression d'une partie de l'entrée pour que le matériel restant tienne dans la limite.
Ce qui utilise l'espace disponible
Votre requête
La question actuelle et tous les documents que vous fournissez occupent du contexte.
Messages précédents
L'historique de conversation ne peut rester disponible que tant qu'il tient.
Instructions cachées
Les règles système et les informations récupérées peuvent aussi utiliser une partie de la fenêtre.
Questions sur les fenêtres de contexte
Pas exactement. C'est le matériel disponible pour la réponse actuelle. Une application peut stocker d'autres informations en dehors de la fenêtre et les ajouter plus tard.
L'application peut diviser, résumer ou supprimer des parties de celui-ci avant d'envoyer le matériel au modèle.
Le message précédent peut ne plus tenir dans le contexte actif, ou l'application peut avoir résumé la conversation et omis ce détail.
Termes du glossaire associés
Donnez à l'IA le contexte qui compte
Les apps Caffeine tournent sur l'Internet Computer, un réseau public conçu pour ça.