← 更多 AI 文章

    MIT News · 原文发布日期:

    可解释的自主系统:测试人们究竟理解了什么

    解释的价值在于帮助人们预测系统行为。精致的描述若提供的是合理故事而非决定相关的依据,仍可能误导。

    G-ATAI 分析

    确定审核人员需要理解的决定,以及支持解释的证据。区分生成叙述、实测输入和模型输出。对失败和常规情况都测试解释。现有证据不足以说明推荐时,界面应承认这一限制。

    我们建议让参与者在看解释之前和之后预测新情景中的系统行为,并与无解释版本比较准确率。信心本身是较弱指标,因为优雅但错误的故事也可能提高信心。利用结果改善审核与调试,同时保留独立验证系统本身行为的程序。

    部署前应确认的问题

    • 解释是否反映真实决定的证据?
    • 阅读后能否更准确地预测失败?
    • 信心与预测准确率是否分开衡量?

    阅读 MIT News 原文 ↗

    根据 MIT News 撰写的独立评论,不代表与 MIT 存在合作关系或获得其认可。

    带透明概念平面与青色路径的银色几何车辆