Autonomie explicable : tester la compréhension humaine
Une explication est utile lorsqu’elle aide à anticiper le comportement d’un système. Un récit soigné peut tromper s’il décrit une histoire plausible plutôt que les raisons pertinentes de la décision.
Analyse G-ATAI
Définissez la décision que l’évaluateur doit comprendre et les preuves disponibles. Distinguez le récit généré des entrées mesurées et des sorties du modèle. Testez les explications sur les échecs comme sur les situations ordinaires. L’interface doit reconnaître quand les données ne suffisent pas à expliquer une recommandation.
Nous proposons de demander aux participants de prédire le comportement du système avant et après l’explication. Comparez leur exactitude à une version sans explication. La confiance seule est insuffisante : une histoire élégante mais fausse peut l’augmenter. Utilisez les résultats pour améliorer l’examen et le débogage, en conservant un processus indépendant pour tester le comportement du système lui-même.
Questions avant le déploiement
- L’explication repose-t-elle sur la décision réelle ?
- Aide-t-elle à prédire les échecs plus précisément ?
- Confiance et précision sont-elles mesurées séparément ?
Commentaire indépendant inspiré de MIT News. Aucune affiliation ni approbation n’est suggérée.
