설명 가능한 자율성: 사람이 이해한 내용을 시험하기
설명이 유용한 때는 사람이 시스템 행동을 예상할 수 있을 때입니다. 매끈한 글도 실제 결정의 이유 대신 그럴듯한 이야기를 제공하면 오해를 만들 수 있습니다.
G-ATAI 분석
검토자가 이해할 결정과 설명을 뒷받침할 근거를 정합니다. 생성된 이야기, 측정한 입력, 모델 출력을 구분합니다. 일반 사례와 실패 사례 모두에서 설명을 시험합니다. 근거가 부족하면 추천을 설명할 수 없는 상태임을 화면에 표시해야 합니다.
새 상황의 시스템 행동을 설명 전후로 예측하게 하는 평가를 제안합니다. 설명이 없는 조건과 예측 정확도를 비교합니다. 잘못된 이야기도 자신감을 높일 수 있어 신뢰감만으로 평가해서는 안 됩니다. 결과를 검토와 디버깅 개선에 활용하되, 시스템 자체의 행동을 시험하는 독립 절차는 유지합니다.
도입 전에 확인할 질문
- 설명이 실제 결정의 근거를 반영하나요?
- 설명 후 실패를 더 정확히 예측하나요?
- 자신감과 예측 정확도를 별도로 측정하나요?
MIT News를 참고한 독립적인 논평이며, MIT와의 제휴나 추천을 의미하지 않습니다.
