説明可能な自律性：人が理解した内容を試す
説明が役立つのは、システムの次の行動を人が予測しやすくなるときです。整った文章でも、判断の根拠でなくもっともらしい物語を述べるだけなら誤解を生みます。
G-ATAIの分析
確認者が理解すべき判断と、その説明を支える証拠を定めます。生成した文章と計測入力、モデル出力を分けます。通常の例と失敗の例の両方で説明を試し、証拠が足りないときは説明できないことを明示します。
新しい状況で何が起こるかを、説明の前後で予測してもらう評価を提案します。説明なしの条件と予測精度を比べます。自信だけでは不十分で、誤った物語でも自信が増えることがあります。評価結果をレビューとデバッグの改善に使いつつ、基礎となるシステムの動作を独立して検証する工程は残します。
導入前に確認したいこと
- 説明は実際の判断の証拠を反映していますか。
- 説明後に失敗をより正確に予測できますか。
- 自信と予測精度を別々に測っていますか。
MIT Newsを参考にした独立した論評です。MITとの提携や推奨を示すものではありません。
