可解释的自主系统:测试人们究竟理解了什么
解释的价值在于帮助人们预测系统行为。精致的描述若提供的是合理故事而非决定相关的依据,仍可能误导。
G-ATAI 分析
确定审核人员需要理解的决定,以及支持解释的证据。区分生成叙述、实测输入和模型输出。对失败和常规情况都测试解释。现有证据不足以说明推荐时,界面应承认这一限制。
我们建议让参与者在看解释之前和之后预测新情景中的系统行为,并与无解释版本比较准确率。信心本身是较弱指标,因为优雅但错误的故事也可能提高信心。利用结果改善审核与调试,同时保留独立验证系统本身行为的程序。
部署前应确认的问题
- 解释是否反映真实决定的证据?
- 阅读后能否更准确地预测失败?
- 信心与预测准确率是否分开衡量?
根据 MIT News 撰写的独立评论,不代表与 MIT 存在合作关系或获得其认可。
