AIエージェント時代のサイバーリスクを抑える実践的ガバナンス戦略
ニュースの概要
PwCとトレンドマイクロは、利用者の指示を受けて情報収集や判断、外部サービスへの操作まで進めるAIエージェントについて、サイバー上の危険と管理の考え方をまとめた共同レポートを公表しました。生成AIの議論が誤回答や情報入力の問題に集中しがちだったのに対し、AIエージェントでは、与えられた権限を使ってメール送信、ファイル変更、発注などを実行できる点が大きく異なります。便利さを優先して導入を急ぐのではなく、権限の範囲、判断の記録、異常時の停止方法を設計段階から組み込む必要があるという問題意識が示されています。
引用元: 自律するAIの時代：AIエージェントのサイバーリスクと実践的ガバナンス（トレンドマイクロ共同レポート）（PwC）
分析・見解
質問に答えるAIから、業務を動かすAIへの転換
従来の対話型AIは、主に文章や画像を出力する道具でした。最終的な送信や登録は人が行うため、誤りがあっても被害を止める余地がありました。AIエージェントは、社内データベースを検索し、複数のサービスを呼び出し、結果を見て次の処理を選びます。ここでは、誤った回答よりも「誤った処理を最後まで進める」ことが問題になります。
危険性は、AIの性能だけで決まりません。営業担当の代理として動かす場合、顧客情報、価格表、契約書、メール送信機能に一度で触れられる設計なら、乗っ取られたときの被害は一人の端末侵害を超えます。AIに与えた権限の組み合わせが、そのまま新しい攻撃面になるのです。
外部指示と内部情報が混ざる攻撃経路
代表的な脅威は、外部文書やメールに埋め込まれた指示をAIが命令として扱う「間接的な指示の乗っ取り」です。例えば、取引先から受け取った資料を要約するエージェントが、文書内の隠れた指示に従い、社内の別資料を探して外部へ送信する可能性があります。利用者が悪意ある指示を入力しなくても成立する点が、通常のチャット利用とは異なります。
さらに、接続先の部品が増えるほど、弱い部分が全体の入口になります。連携用の接続口、外部プラグイン、共有された作業記憶、古い認証情報のどれかが侵害されれば、AIは正規利用者のように動けます。攻撃者がAIそのものを壊すのではなく、AIに正しい権限で間違った仕事をさせる発想に変わっている点を見落としてはいけません。
権限を細かく分け、判断の境界に人を置く
対策の出発点は、AIに万能なアカウントを渡さないことです。閲覧、作成、変更、送信、決済を別々の権限に分け、業務ごとに必要な最小限だけを短時間与えます。これを最小権限の原則と呼びます。例えば請求書の確認は許可しても、支払先の変更と送金は別の承認にする設計です。
すべての判断を人が確認すると、作業速度が落ちます。そこで、低額の定型処理は自動実行し、一定金額を超える発注、社外への送信、個人情報の取り扱いだけを人の承認に回す段階方式が現実的です。重要なのは承認画面を置くことではなく、AIが何を根拠に、どのデータを使い、どの操作を行おうとしているかを短く表示することです。
性能評価より、失敗後に戻せる仕組みが重要
導入前の検証では、正答率や処理時間だけでなく、悪意ある文書、曖昧な依頼、権限外の要求を与えたときの挙動を試す必要があります。テスト用の環境で実際の業務に近いデータを使い、機密情報の持ち出し、無限に続く処理、同じ発注の重複といった失敗を再現します。
運用後は、指示、参照データ、判断結果、実行した操作、承認者を改ざんしにくい記録として残します。異常な大量アクセスや普段と違う送信先を検知したら、接続を切り、処理を取り消せることも必要です。AIエージェントの安全性は、賢く間違えないことではなく、間違えても被害を限定し、原因を追跡し、すぐ復旧できることによって測るべきです。
ビジネスへの影響
導入目的ではなく、任せる業務の境界を先に決める
企業が最初に作るべきなのは、AI導入の件数ではなく業務の危険度一覧です。社内検索や会議日程の調整は比較的自動化しやすい一方、採用判断、与信、送金、契約変更は影響が大きく、原則として人の承認を残すべきです。作業を細かい単位に分解し、「読む」「提案する」「登録する」「確定する」を別の許可として設計すると、効果と安全性を両立しやすくなります。
費用の見積もりには、AIの利用料だけでなく、権限設計、監査記録、テスト環境、事故時の調査費用を含めます。短期の人件費削減だけで判断すると、便利な試作がそのまま本番の業務基盤になり、後から統制を付ける高い改修費が発生します。
現場の承認を形骸化させない運用設計
承認者に長い技術情報を読ませても、確認は形式化します。送信先、対象データ、金額、変更内容、判断理由を一画面で示し、承認期限と差し戻しの手順を決めることが重要です。繁忙期に承認が集中する場合は、処理を止める代替担当者もあらかじめ登録します。
加えて、AIの利用者だけでなく、業務責任者、情報システム部門、法務、監査部門の役割を明文化します。月次で権限と連携先を見直し、使われていない接続を削除します。新しいモデルや外部サービスを追加するたびに、同じ審査を通す仕組みが必要です。
経営層が追うべき指標は処理件数だけではない
経営会議では、自動処理数や削減時間に加えて、承認差し戻し率、権限外の試行回数、異常停止から復旧までの時間、監査記録の欠落件数を追うと実態が見えます。特に「何件処理したか」より「何件を安全に止められたか」が成熟度を示します。
最初から全社展開を目指す必要はありません。影響範囲が限定された一つの業務で、権限分離、記録、停止、復旧を一巡させます。その結果を基準に対象を広げれば、AIエージェントを単なる自動化製品ではなく、管理可能な業務担当として育てられます。
