« Améliorer le prompt » n’est pas un plan de test. Sans définition de la réussite, on peut rendre une réponse plus agréable tout en la rendant moins exacte, moins constante ou plus difficile à vérifier. Une boucle d’évaluation légère apporte aux prompts la même rigueur qu’à toute autre amélioration produit.
Définissez la tâche et les échecs possibles
Commencez par la tâche de l’utilisateur. Quelle décision ou action la sortie doit-elle aider à prendre ? Traduisez-la en contrôles observables : exactitude, sections requises, ton, longueur, format ou gestion prudente de l’incertitude. Notez aussi ce qui ne doit jamais arriver, comme des citations inventées, l’exposition de données privées ou une réponse affirmative lorsque la source est silencieuse.
Créez un petit jeu de tests représentatif
Un bon jeu contient généralement un cas normal, un cas court ou incomplet, un cas limite et un cas qui doit être refusé ou transmis à un humain. Gardez les entrées stables pour comparer les versions. Avec uniquement des exemples parfaits, vous optimisez une démonstration plutôt que le processus réel.
Ne changez qu’une variable à la fois
Enregistrez la version du prompt, le modèle, les réglages utiles, l’entrée et le résultat de l’évaluation. Modifiez une consigne ou une contrainte de sortie, puis relancez le même jeu. Le lien de cause à effet est ainsi plus visible et les modifications restent explicables.
Combinez contrôles automatiques et jugement humain
Les contrôles automatiques sont parfaits pour la structure : titres obligatoires, JSON valide, limite de mots ou présence d’une référence source. La revue humaine reste nécessaire pour l’utilité, la nuance et l’adéquation avec l’intention. Gardez la grille assez courte pour que deux collègues l’appliquent de façon comparable.
Améliorez la consigne, pas seulement l’exemple
Lorsqu’une sortie échoue, cherchez la partie ambiguë du contrat. Faut-il un nom d’entrée plus clair, un contre-exemple, une règle en cas d’information manquante ou un exemple de format ? Corrigez la plus petite consigne qui traite le problème, puis relancez tout le jeu. Une amélioration n’est fiable que si elle corrige le cas visé sans en casser un autre.
Conservez un journal des décisions
Pour chaque changement publié, notez ce qui a changé, pourquoi et quels cas ont progressé ou régressé. Ce journal évite de revenir à un ancien défaut et aide les nouveaux responsables à comprendre les compromis. PromptVar peut réunir le modèle, ses variables et son contexte de version afin que les tests fassent partie du flux de travail.
