Tool calling, explicado

Tool calling também é chamado de function calling ou tool use. Ele conecta a resposta de linguagem de um modelo a uma forma definida de ler informações ou solicitar uma ação.

Tool calling permite que um modelo de IA retorne uma solicitação estruturada para uma função externa, que a aplicação ao redor pode executar e reportar de volta ao modelo.

O modelo propõe a chamada

A aplicação fornece ao modelo descrições das ferramentas disponíveis. Quando uma solicitação precisa de uma, o modelo pode retornar o nome da ferramenta e as entradas propostas em um formato estruturado.

O modelo não executa a função em si. A aplicação recebe a solicitação, verifica-a e decide se executa a ferramenta.

O resultado retorna como contexto

Depois que a ferramenta é executada, a aplicação envia seu resultado de volta ao modelo. O modelo pode então usar essa informação para responder à solicitação original ou escolher outro passo permitido.

Essa separação cria um ponto de controle. A aplicação pode rejeitar entradas inválidas, restringir permissões ou pedir que uma pessoa aprove uma ação importante.

Termos de tool calling

Definição de ferramenta
Uma descrição de uma função disponível, incluindo sua finalidade e entradas esperadas.
Chamada de ferramenta
Dados estruturados que nomeiam uma ferramenta e fornecem as entradas para um uso solicitado.
Resultado da ferramenta
A informação retornada ao modelo depois que a aplicação executa a ferramenta.

Controles em torno de uma ferramenta

Defina uma finalidade

Uma ferramenta específica é mais fácil de entender, limitar e testar.

Verifique as entradas

A aplicação deve validar uma chamada proposta antes de executá-la.

Proteja ações importantes

Exija aprovação quando uma ferramenta puder alterar dinheiro, acesso ou registros sensíveis.

Perguntas sobre tool calling

Uma chamada de ferramenta é a solicitação estruturada do modelo. A aplicação pode usar uma chamada de API ou outro método para executar a função solicitada.

Não. Ele só pode solicitar ferramentas que a aplicação descreveu e disponibilizou. A aplicação ainda controla a execução e o acesso.

O resultado fornece ao modelo informações atuais ou confirma o que aconteceu. Ele pode usar esse contexto para completar sua resposta.

Conecte cada ação a uma regra clara

Os apps do Caffeine rodam no Internet Computer, uma rede pública feita para isso.