ニュースの概要
EYは、生成AIが業務や意思決定に入り込む時代に、AIを単なる便利な道具ではなく、管理対象となる重要な仕組みとして捉える必要性を示しています。AIへの信頼は、モデルの性能だけで決まりません。入力データの扱い、利用者の権限、外部サービスとの接続、出力の確認、事故発生時の追跡までを一つの安全設計として組み立てることが重要です。導入速度を優先して個別の対策を積み重ねるだけでは、見えない経路から機密情報が流出したり、AIが過大な権限で処理を実行したりする危険が残ります。
引用元: AI時代のセキュリティアーキテクチャ｜AIへの信頼をどう設計するか（EY）
分析・見解
AIの正確さより、判断経路を追える設計が重要になる
生成AIの安全性を語るとき、多くの企業は誤回答の少なさや回答品質を最初に確認する。しかし、実務で問題になるのは、正しい答えを出せるかだけではない。誰がどの資料を入力し、どのモデルが処理し、どの外部サービスを経由し、最終的に誰が承認したのかを後から説明できることが重要になる。
例えば、営業担当者が顧客情報をAIに入力して提案書を作る場合、モデルが高性能でも、入力内容が学習に使われる設定なら情報管理上の問題が起きる。逆に、回答に誤りがあっても、参照資料と確認者が記録されていれば、訂正や再発防止につなげられる。AIへの信頼は、正答率という一つの数字ではなく、判断経路の透明性で測るべきだ。
プロンプトインジェクションは入力検査だけでは防げない
AIへの指示を巧妙に書き換え、隠された命令を実行させる攻撃は、生成AI特有の弱点である。社内文書を検索して答える仕組みでも、文書の中に「この指示を優先せよ」といった悪意ある記述が含まれていれば、AIが本来の利用者の意図から外れる可能性がある。これは、従来のウイルス対策だけでは扱いにくい。
対策の要点は、AIを信頼しすぎないことだ。検索、要約、メール送信、受発注といった機能を一つのAIに無制限で与えず、処理ごとに権限を分ける。外部への送信や契約変更のような不可逆の操作には、人の承認を必須にする。入力の監視に加えて、出力と実行動作を別々に検査する多層構えが必要になる。
データ、モデル、接続先を一体で守る必要がある
AIの仕組みは、モデル本体だけで完結しない。学習や検索に使う社内データ、開発者が追加した部品、クラウドの接続設定、外部の拡張機能までが一つの連鎖を作る。そのため、どこか一箇所の管理が甘いだけでも、全体の信頼性が下がる。
特に、社内検索と生成AIを組み合わせるRAG（検索した資料を回答に反映する方式）では、検索結果の権限確認が欠かせない。元の文書を見られない社員が、AIへの質問を通じて内容を推測できれば、従来の閲覧制御を迂回したことになる。文書単位の権限をAIにも引き継ぎ、回答に使った資料を表示する設計が現実的な防波堤になる。
検知して止めるだけでなく、復旧までを設計する
AIを使った攻撃や誤操作は、完全に防ぎ切れない。そこで必要なのは、異常を見つける仕組みと、被害を小さくして戻す手順である。利用者、入力、参照資料、出力、実行した操作を記録し、普段と異なる大量取得や外部送信を検知する。記録は監査のためだけでなく、事故の原因を短時間で特定するために使う。
今後は、AIの安全管理が情報システム部門だけの仕事ではなくなる。法務、内部監査、事業部門が、許される利用範囲と人の確認が必要な場面を共同で決める必要がある。重要なのは、厳しい規則を一律に掛けて利用を止めることではない。低リスクの要約は自動化し、高リスクの送信や判断は段階的に承認するという、業務の危険度に応じた設計である。
ビジネスへの影響
導入前にAIの用途を危険度で三段階に分ける
企業はまず、AIの利用目的を「参考情報の作成」「社内判断の補助」「外部に影響する自動処理」に分けるとよい。議事録の要約や文章の下書きは比較的低リスクだが、人事評価、融資判断、顧客への自動回答は影響が大きい。後者ほど、入力データの制限、出力確認、操作記録、人の承認を厚くする必要がある。
この分類を先に決めれば、すべてのAIに同じ制限を掛ける必要がなくなる。現場の利便性を保ちながら、事故が起きたときの損失が大きい業務に予算と人員を集中できる。導入申請では、モデル名だけでなく、扱うデータ、接続先、実行できる操作、停止方法まで記載させるべきだ。
既存のゼロトラストと監視基盤をAI向けに広げる
新しいAI専用基盤を最初から作るより、既存の認証、端末管理、アクセス記録、情報漏えい対策をAIの処理経路に接続する方が現実的である。利用者を毎回確認し、必要最小限の権限だけを与えるゼロトラストの考え方は、AIにも適用できる。ただし、利用者だけでなく、AIが代理で行う操作も同じように記録しなければならない。
経営層が見る指標も、導入したAIの数では不十分だ。承認なしで外部送信された件数、機密情報を含む入力の検知数、回答を人が修正した割合、異常発生から停止までの時間を追うと、実際の安全性を把握しやすい。これらは運用改善だけでなく、投資効果を判断する材料になる。
小さな業務で試し、監査可能性を確認してから広げる
全社展開を急ぐと、部門ごとに異なるAIや契約が増え、管理できない利用が残りやすい。まずは社内文書の要約など、影響範囲を限定した業務で試す。その段階で、入力データの遮断、参照権限の継承、操作記録、停止手順が機能するかを確認する。
試行の合否は、回答が便利かだけで決めない。事故が起きた場合に誰が止め、何を調べ、どの範囲へ連絡するかを実演できることが条件になる。AIを増やすことより、信頼できる利用経路を再現可能な形で作ることが、長期的には導入費用と事故対応費用の双方を抑える。