IA sous contraintes : rendre les exigences vérifiables
Une exigence comme rester dans une zone autorisée doit disposer d’un test explicite. La décrire dans une consigne ne permet pas à l’opérateur de vérifier que le résultat final la respecte.
Analyse G-ATAI
Séparez les exigences obligatoires des préférences. Un plan peut respecter les permissions et un budget fixe tout en cherchant à réduire les délais. Placez les règles strictes dans un validateur indépendant avec des résultats explicites. Vérifiez au plus près de l’action pour qu’une transformation ultérieure ne rende pas une approbation obsolète sans être détectée.
Testez les demandes impossibles et contradictoires autant que les cas réussis. Sans solution valide, l’application doit expliquer le blocage et rendre la main au responsable. Mesurez les violations séparément de la qualité moyenne, qui ne compense pas le franchissement d’une limite. Un petit pilote réversible permet de vérifier le validateur, le repli et le journal avant des actions importantes.
Questions avant le déploiement
- Quelles règles ne peuvent jamais être sacrifiées ?
- Un validateur séparé contrôle-t-il l’action finale ?
- Une demande impossible s’arrête-t-elle avec une explication ?
Commentaire indépendant inspiré de MIT News. Aucune affiliation ni approbation n’est suggérée.
