Le finestre di contesto, spiegate
Puoi pensarla come lo spazio di lavoro disponibile del modello. La richiesta attuale condivide quello spazio con altre istruzioni e informazioni fornite dall'applicazione.
Una finestra di contesto è la quantità di testo, misurata in token, che un modello linguistico può considerare contemporaneamente quando produce una risposta.
Conta più del prompt visibile
Il tuo messaggio utilizza parte della finestra di contesto. La conversazione precedente, le istruzioni di sistema, i documenti caricati e i passaggi recuperati possono utilizzare il resto.
La finestra è misurata in token piuttosto che in parole. Modelli diversi possono dividere la stessa frase in token in modo diverso, quindi un conteggio delle parole è solo una guida approssimativa.
Gli input lunghi forzano una scelta
Quando il materiale disponibile supera il limite, l'applicazione deve rimuovere o riassumere qualcosa. Questo può rendere un dettaglio più vecchio non disponibile per la prossima risposta.
Una finestra più grande può contenere più materiale, ma la rilevanza conta ancora. Un insieme mirato di istruzioni attuali e passaggi di origine utili è più facile da ispezionare di un mucchio di testo non correlato.
Termini relativi alla finestra di contesto
- Token
- Un'unità di testo che può essere una parola, parte di una parola o punteggiatura.
- Lunghezza del contesto
- Un altro nome per la quantità massima di testo che un modello può considerare contemporaneamente.
- Troncamento
- Rimozione di parte dell'input in modo che il materiale rimanente rientri nel limite.
Cosa utilizza lo spazio disponibile
La tua richiesta
La domanda attuale e qualsiasi documento fornito occupano contesto.
Messaggi precedenti
La cronologia della conversazione può rimanere disponibile solo finché ci sta.
Istruzioni nascoste
Le regole di sistema e le informazioni recuperate possono anche utilizzare parte della finestra.
Domande sulle finestre di contesto
Non esattamente. È il materiale disponibile per la risposta attuale. Un'applicazione può memorizzare altre informazioni al di fuori della finestra e aggiungerle in seguito.
L'applicazione può dividere, riassumere o rimuovere parti di esso prima di inviare materiale al modello.
Il messaggio precedente potrebbe non rientrare più nel contesto attivo, oppure l'applicazione potrebbe aver riassunto la conversazione e omesso quel dettaglio.
Termini correlati del glossario
Fornisci all'AI il contesto che conta
Le app Caffeine girano sull'Internet Computer, una rete pubblica pensata per questo.