説明可能AI（XAI）とは？AIの答えの理由をどこまで説明できるか｜業務で確認したいこと

AIが候補の順位や予測、判定を示したとき、その理由を社内外から尋ねられる場面があります。出力を判断材料にするほど、答えだけでは足りないことがあります。

理由を知りたいとき、確認したいのはAIが参照した根拠なのか、モデルの動きなのか、利用時の記録なのかを分ける必要があります。ここが混ざると、説明を求めても必要な情報にたどり着きにくくなります。

この記事では、説明可能AIの意味、理由を求められる業務の場面、確認できることと限界を整理します。AIの出力を使う前に、どの説明を誰へ求めるかを考えるための用語解説です。

説明可能AIとは何を説明できる性質なのか

説明可能AIは、Explainable AIの略で、XAIとも呼ばれます。NISTIR 8312では、AIの出力や仕組みについて、理由や根拠を人が確認できる形にしようとする性質・考え方として整理されています。

NISTは説明を、AIの出力または過程に関係する証拠、裏付け、理由と整理しています。予測の結果だけでなく、その予測に至る仕組みの説明も対象になり得ます。

XAIは理由が表示されるかだけを問わない

NISTは、説明があることに加えて、相手に理解できるか、実際の仕組みを正しく反映しているか、想定した条件の範囲で使われているかを分けて示しています。

たとえば、専門用語だけの説明は担当者に理解できないかもしれません。分かりやすい説明でも、実際の判断理由とずれていれば、確認の材料としては不足します。

方針や統制とは役割が異なる

説明可能AIは、個々の出力について「なぜこの答えになったのか」を扱います。方針や体制を考える責任あるAIとは、同じではありません。

また、誰が利用を決め、確認し、止めるかを整える話はAIガバナンスの領域です。本記事では、その統制の中で確認したくなる出力理由に絞ります。

なぜAIは答えの理由をいつも説明できるわけではないのか

「理由が分かるか」は、ひとつの質問ではありません。NISTは、出力と、その出力を生んだ過程を分けて扱っています。

業務で説明を求められたら、まず何についての理由かを分けると、確認先を決めやすくなります。

出力の根拠とモデル全体の傾向は別です

出力の根拠は、今回の回答や判定に関係した情報です。たとえば、ある申請を通すかどうかの予測で、どの入力項目が影響したかを確認する問いです。

モデル全体の傾向は、どの入力項目を重く見やすいか、どんな条件で誤りやすいかという問いです。個別の出力理由だけでは、全体の傾向までは分かりません。

機械学習の基本は機械学習で確認できます。多層のニューラルネットワークを使うディープラーニングのように、仕組みが複雑な場合もあります。

利用時の記録も説明の一部になります

NISTがいう過程には、システムの設計、開発に使ったデータの情報、関連する文書などが含まれます。モデルの理由と、どの設定・データ・版を使ったかという利用記録は同じものではありません。

そのため、回答の根拠を示す機能があっても、いつどの条件で使ったかまで自動的に分かるとは限りません。必要な説明の範囲を、利用前に分けておくことが大切です。

業務のどんな場面でAIの理由を求められるのか

EU AI Act Annex IIIには採用・人事評価・与信に関するAIの分類があります。米国EEOCは雇用でのAI利用例を、米国CFPBは信用判断の具体的理由に関する要件を示しています。

以下は日本での法的な可否を判定するものではありません。自社の利用については、社内の法務・コンプライアンスや担当部門の確認が必要です。

採用と人事評価

EU AI ActのAnnex IIIは、採用・選考、雇用条件や昇進・終了に影響する判断、労働者の業績や行動の評価を列挙しています。これはEU法の分類です。

米国EEOCも、求人、応募書類の選別、採用、職場での監視、昇進・報酬、解雇でAIが使われる例を示しています。

導入を検討するときは、AIを使う工程と、どの情報をもとに出力するかを社内で確認しておくとよいでしょう。

与信や信用に関わる判断

EU AI ActのAnnex IIIには、自然人の信用力や信用スコアを評価するAIも含まれます。CFPBは米国の信用判断について、複雑なアルゴリズムを使う場合でも、不利益な判断の具体的な理由に関する要件が適用されるとの見解を示しています。

この例で重要なのは、難しいモデルを使っていることが説明の代わりにならない点です。日本でどの説明が必要かは、この米国機関の見解だけでは判断できません。

説明を求められたとき実際に何を確認できるのか

説明を求められたときに、どのAIでも同じ画面や資料が出るとは限りません。出力を使う側は、必要な説明を小さく分けて確認できます。

確認できた資料や機能は、出力が正しいことの保証ではありません。説明の対象と限界を一緒に確認します。

まず出力と利用条件を残せるかを確認する

最初に確認したいのは、入力、出力、参照した情報、利用した設定や版を後から照合できるかです。何の回答について説明を求めるのかが定まると、確認したい記録も具体的になります。

次に、提供元や社内の管理者に、想定用途、対象外の条件、評価方法、既知の限界を説明する文書があるかを確認します。NISTは、こうした文書や関連知識を過程の情報に含めています。

製品固有の説明機能を確認する

Microsoft Azure Machine Learningの公式ドキュメントは、モデル全体と個々のデータ点の特徴量重要度を表示する説明を案内しています。

前者は全体の傾向、後者は個別の予測でどの項目が影響したかを見るためのものです。

同ドキュメントではSHAPを、入力特徴量が予測へ寄与する度合いを示す手法として説明しています。これはAzure Machine Learningの案内であり、すべてのAIや生成AIの回答に同じ機能があるという意味ではありません。

説明が実際の仕組みを反映しているかを確認する

NISTの「説明の正確さ」は、説明が出力を生んだ理由やシステムの過程を正しく反映することです。もっともらしい説明文が表示されたことだけでは、この条件を満たしたとは言えません。

確認するときは、説明がどの入力・モデル・版に対応するのか、対象外の条件は何かを分けます。必要に応じて、説明を受け取る相手が理解できる言葉になっているかも確認します。

精度が高ければ説明はいらないのか

精度は、AIの出力が期待した結果にどれだけ合うかを考える軸です。説明可能性は、その出力や仕組みの理由をどう示し、どう確認できるかを考える軸です。

NISTは、説明の有無と、説明の正確さを別の原則にしています。NIST AI RMFの資料でも、妥当性・信頼性と、説明可能性・解釈可能性は別の特性として示されています。

説明は事実確認の代わりになりません

理由が表示されても、入力情報が誤っている、対象外の条件で使われている、出力が誤っている可能性は残ります。説明を見たあとにも、根拠となる情報や業務上の確認は別に必要です。

生成AIの回答にもっともらしい誤情報が混じる現象は、ハルシネーションとして別に整理しています。説明可能性は、その誤情報を自動的になくす性質ではありません。

正確な説明にも限界があります

NISTは、説明が利用者にとって理解できることと、システムが設計された条件や十分な確信の範囲で動くことも原則に含めています。説明の量を増やすだけでは、分かりやすさや利用範囲の問題は解決しません。

使う業務では、出力の精度、説明の正確さ、説明を受け取る人にとっての分かりやすさを別々に確認します。どれか一つだけで判断を終えないことがポイントです。

説明可能AIを業務でどう確かめるか

本記事では、NISTIR 8312の整理をもとに、説明可能AIをAIの答えについて理由を分かる形にできるかを考えるための言葉として扱います。

説明があるかだけでなく、誰に向けた説明か、仕組みを正しく反映しているか、利用条件が分かるかを確認します。

業務で使う前には、次の4点を整理すると質問を具体的にできます。

• AIのどの出力について理由が必要か
• 誰が説明を受け、何を判断するのか
• 出力の根拠、モデル全体、利用記録のどれを確認するのか
• 説明とは別に、正確さや対象外の条件をどう確認するのか

AIの出力を使う業務と、理由を確認する必要がある場面を整理したうえで、社内の確認項目を決めたい場合は、AIリスキルへの相談窓口をご利用ください。

この記事の出典

• Four Principles of Explainable Artificial Intelligence（NIST, NISTIR 8312）
• AI Risks and Trustworthiness（NIST AI Risk Management Framework resources）
• Regulation (EU) 2024/1689（EUR-Lex, Annex III）
• Employment Discrimination and AI for Workers（U.S. Equal Employment Opportunity Commission）
• Consumer Financial Protection Circular 2022-03（U.S. Consumer Financial Protection Bureau）
• Model interpretability - Azure Machine Learning（Microsoft Learn）