Janelas de contexto, explicadas
Você pode pensar nela como o espaço de trabalho disponível do modelo. A solicitação atual compartilha esse espaço com outras instruções e informações fornecidas pela aplicação.
Uma janela de contexto é a quantidade de texto, medida em tokens, que um modelo de linguagem pode considerar de uma vez ao produzir uma resposta.
Mais do que o prompt visível conta
Sua mensagem usa parte da janela de contexto. Conversas anteriores, instruções do sistema, documentos enviados e trechos recuperados podem usar o restante.
A janela é medida em tokens em vez de palavras. Modelos diferentes podem dividir a mesma frase em tokens de forma diferente, então uma contagem de palavras é apenas um guia aproximado.
Entradas longas forçam uma escolha
Quando o material disponível excede o limite, a aplicação deve remover ou resumir algo. Isso pode tornar um detalhe mais antigo indisponível para a próxima resposta.
Uma janela maior pode conter mais material, mas a relevância ainda importa. Um conjunto focado de instruções atuais e trechos de origem úteis é mais fácil de inspecionar do que uma pilha de texto não relacionado.
Termos sobre janela de contexto
- Token
- Uma unidade de texto que pode ser uma palavra, parte de uma palavra ou pontuação.
- Comprimento de contexto
- Outro nome para a quantidade máxima de texto que um modelo pode considerar de uma vez.
- Truncamento
- Remover parte da entrada para que o material restante caiba dentro do limite.
O que usa o espaço disponível
Sua solicitação
A pergunta atual e quaisquer documentos que você fornecer ocupam contexto.
Mensagens anteriores
O histórico da conversa pode permanecer disponível apenas enquanto couber.
Instruções ocultas
Regras do sistema e informações recuperadas também podem usar parte da janela.
Perguntas sobre janelas de contexto
Não exatamente. É o material disponível para a resposta atual. Uma aplicação pode armazenar outras informações fora da janela e adicioná-las depois.
A aplicação pode dividir, resumir ou remover partes dele antes de enviar material para o modelo.
A mensagem anterior pode não caber mais no contexto ativo, ou a aplicação pode ter resumido a conversa e deixado esse detalhe de fora.
Termos relacionados do glossário
Dê à IA o contexto que importa
Os apps do Caffeine rodam no Internet Computer, uma rede pública feita para isso.