Le tool calling, expliqué

Le tool calling est également appelé function calling ou tool use. Il connecte la réponse linguistique d'un modèle à une manière définie de lire des informations ou de demander une action.

Le tool calling permet à un modèle d'IA de renvoyer une demande structurée pour une fonction externe, que l'application environnante peut exécuter et rapporter au modèle.

Le modèle propose l'appel

L'application fournit au modèle des descriptions des tools disponibles. Lorsqu'une requête en nécessite un, le modèle peut renvoyer le nom du tool et les entrées proposées dans un format structuré.

Le modèle n'exécute pas la fonction lui-même. L'application reçoit la demande, la vérifie et décide d'exécuter ou non le tool.

Le résultat revient comme contexte

Après l'exécution du tool, l'application renvoie son résultat au modèle. Le modèle peut alors utiliser cette information pour répondre à la demande initiale ou choisir une autre étape autorisée.

Cette séparation crée un point de contrôle. L'application peut rejeter des entrées invalides, restreindre les permissions ou demander à une personne d'approuver une action importante.

Termes du tool calling

Définition de tool
Une description d'une fonction disponible, incluant son objectif et les entrées attendues.
Appel de tool
Données structurées qui nomment un tool et fournissent les entrées pour une utilisation demandée.
Résultat de tool
L'information renvoyée au modèle après que l'application a exécuté le tool.

Contrôles autour d'un tool

Définir un seul objectif

Un tool restreint est plus facile à comprendre, limiter et tester.

Vérifier les entrées

L'application doit valider un appel proposé avant de l'exécuter.

Protéger les actions importantes

Exiger une approbation lorsqu'un tool peut modifier l'argent, les accès ou des données sensibles.

Questions sur le tool calling

Un appel de tool est la demande structurée du modèle. L'application peut utiliser un appel d'API ou une autre méthode pour exécuter la fonction demandée.

Non. Il ne peut demander que les tools que l'application a décrits et rendus disponibles. L'application contrôle toujours l'exécution et l'accès.

Le résultat donne au modèle des informations actuelles ou confirme ce qui s'est passé. Il peut utiliser ce contexte pour compléter sa réponse.

Associez chaque action à une règle claire

Les apps Caffeine tournent sur l'Internet Computer, un réseau public conçu pour ça.