ブラックボックス

ブラックボックスとは、入力と出力は分かるものの、内部でどう判断しているのかが人には理解できない状態のことです。

ディープラーニングは膨大な重みの組み合わせで判断するため、なぜその結論になったのかを直接読み取れません。精度と引き換えに説明のしやすさを失った形です。

医療や融資のように理由の説明が求められる場面では大きな障害となり、説明可能 AI の研究が進められています。