サイバー攻撃におけるAIとは？企業の対策・リスク判定を解説

AIを悪用した自然なフィッシング、偽音声・偽動画によるなりすまし、AIエージェントの過剰権限など、企業が備えるべきサイバー攻撃の論点は広がっています。AI利用を一律に禁止すると、未承認ツールの利用が見えにくくなるおそれもあります。

重要なのは、AIを使う攻撃、AIシステムへの攻撃、AIによる防御を分けて捉え、自社のデータ・接続先・権限に応じて優先順位を決めることです。本記事では、リスク判定、導入・運用の手順、経営判断に使えるKPIを整理します。

サイバー攻撃におけるAIとは：攻撃への悪用と防御への活用を分けて理解する

サイバー攻撃におけるAIリスクは、攻撃者がAIで従来の攻撃を効率化するもの、生成AIや社内RAG、AIエージェントなどAIシステム自体を狙うもの、防御側がAIで検知・分析・対応を支援するものに分けられます。
防御側でAIを使う場合も、誤答、誤検知、過度な自動遮断、入力データの漏えいといったリスクがあります。AIは単なる製品機能ではなく、業務、データ、権限、監視を含む運用として設計する必要があります。

AIで高度化する従来型攻撃：フィッシング、BEC、マルウェア、脆弱性探索

生成AIにより、攻撃者は役職や取引先、公開情報に合わせた自然な文章を短時間で作成できます。誤字脱字や不自然な日本語だけでフィッシングを見抜く方法には限界があります。認証情報の窃取、不正ログイン、添付ファイル経由の感染を前提に、複数の対策を組み合わせることが必要です。

BEC（Business Email Compromise：ビジネスメール詐欺）では、経営者や取引先を装い、送金先の変更や緊急振込を求めます。文体の模倣に偽音声・偽映像が加われば、見た目や声だけで本人性を判断するのは難しくなります。AIはマルウェア改変、公開資産の調査、脆弱性探索も補助し、攻撃の試行を増やす可能性があります。

AI導入企業に固有の攻撃面：生成AI、社内RAG、AIエージェント、API

AI導入では、モデルだけでなく、プロンプト、参照データ、検索基盤、ツール連携、APIが攻撃面になります。RAG（Retrieval-Augmented Generation）は、社内文書を検索して回答に使う構成です。文書ごとのアクセス制御を継承しなければ、AI経由で閲覧権限のない情報を取得されるおそれがあります。

AIエージェントは、メール送信、ファイル操作、チケット登録、発注などを実行できます。外部文書に含まれる悪意ある指示を読み込み、不適切な操作を行うプロンプトインジェクションへの備えが欠かせません。APIキーやシークレットをプロンプト、ソースコード、ログに平文で残さず、接続先は許可リストで管理します。送信・削除・発注は人の承認を経る設計が基本です。

自社は狙われやすいか？業種・保有データ・AI利用形態で行うリスク判定

狙われやすさは企業規模だけでは決まりません。判断材料となるのは、扱う資産の重要度、外部接点の広さ、AIに与えた権限の強さです。認証情報、APIキー、決済情報、個人情報、設計図、ソースコードは、漏えいや改ざん時の影響が大きい資産です。

まず、メール、クラウド、VPN、公開Webサイト、公開API、委託先接続、AIエージェントを洗い出します。そのうえで、AIが何を読めるか、何を実行できるか、どこへ接続するかを確認します。公開情報を要約するAIと、顧客データを参照してメール送信や発注まで行うAIエージェントでは、必要な統制が異なります。

業種別に優先度が変わる代表的なリスクシナリオ

5分で確認できるAIセキュリティ自己点検チェックリスト

未実施の項目は、機密データを扱う用途や外部サービスと連携する用途から優先して見直します。IPAの中小企業の情報セキュリティ対策ガイドラインは、資産管理や基本対策を確認する出発点になります。

AI利用の段階別：導入前・導入中・運用後・事故発生時の実行手順

AIリスクは導入時の設定だけでは管理できません。用途の決定、設計、運用、事故対応を一つのライフサイクルとして扱います。利用目的、扱うデータ、関係者、想定される影響を整理し、評価結果に応じて対策と責任者を決めることで、実務に落とし込みやすくなります。

導入前：用途・入力データ・提供先を決め、利用可否を判定する

業務部門は利用目的、対象業務、利用者を定義し、情報システム部門は漏えい・攻撃リスクを評価します。法務・個人情報保護の担当者は、入力データ、契約、委託・再委託、保存・削除条件を確認します。AI利用申請書、リスク評価票、利用可否の判定記録を残すと、後から判断根拠を確認できます。

確認すべき項目は、入力データの種類、提供事業者による学習・再利用条件、保存先、出力を人が確認する工程、障害時の連絡条件です。顧客評価、採用、医療、決済、本番環境の操作など影響が大きい用途は、経営層またはガバナンス責任者が承認します。

導入中：権限・接続先・プロンプトを最小化して安全に設定する

導入時は、システム構成図、データフロー図、権限マトリクス、許可するAPI・接続先一覧、停止手順を作成します。個人アカウントではなく管理可能な企業アカウントを使い、MFAを有効化します。管理者、開発者、一般利用者の権限を分離し、AIには必要なデータと操作だけを付与します。

テストは匿名化・マスキングしたデータで実施し、プロンプトインジェクション、過剰なデータ取得、誤権限、不要な自律実行を確認します。送信、削除、決済、発注、設定変更は人の承認を求め、AI出力をそのまま実行・公開・顧客通知しない運用を設計します。

運用後：ログ、棚卸し、評価を続け、AIの誤作動も監視する

モデル更新、プロンプト変更、検索対象の追加、外部サービスの仕様変更により、AIの挙動は変化します。認証ログ、管理者操作ログ、APIログ、権限変更履歴、接続先一覧を保管し、定期的に棚卸しします。監視対象には、不審なログイン、大量プロンプト、異常なデータ取得、未知の接続、禁止データの入力兆候、過剰なツール実行を含めます。

誤答、危険な助言、不適切な出力、顧客への影響、利用者からの苦情も評価対象です。正確性だけでなく、安全性、権限、業務への影響を継続して点検します。

事故発生時：AIの利用停止だけで終わらせない初動対応フロー

漏えい、異常操作、プロンプトインジェクション、アカウント侵害が疑われる場合は、①影響するAI連携・API・アカウントを停止または権限縮小する、②ログ・設定・入力データを保全する、③影響範囲を調査する、④経営層、法務、情報システム、業務責任者へ連絡する、⑤復旧と再発防止を実施する、という順で対応します。

停止対象はAI画面だけではありません。連携先のAPIキー、サービスアカウント、共有フォルダ、メール送信権限も確認します。証拠を失わないようログや設定を先に保全し、個人情報、契約、取引先への影響に応じて、報告や通知の要否を判断します。

人を狙うAI攻撃への防御：偽メール・偽音声・偽動画を業務フローで止める

AIによるなりすましには、「見抜く力」だけに依存しないことが重要です。攻撃者は役員や取引先の公開情報をもとに、自然な日本語のメール、本人らしい音声、会議映像を作成する可能性があります。緊急性や秘密性を装う依頼ほど、現場は通常手順を省略しやすくなります。

防御の中心は、送金、口座変更、顧客情報の開示、認証情報の共有、契約変更をメールや会議だけで完結させないことです。登録済みの電話番号、社内の別チャネル、承認システムなど、攻撃者が操作しにくい経路で確認します。

「声や映像が本物」は確認根拠にならない：従業員向け判断基準

教育では、不自然な表現を探すよりも、重要な依頼は止めて別経路で確認する行動基準を繰り返し訓練します。業務フローに組み込めば、偽音声や偽動画の精度に左右されにくくなります。

限られた予算・人員で進める対策ロードマップ：中小企業から大企業まで

対策の優先順位は、専任担当者の有無、クラウド利用の深さ、扱う機密情報、24時間監視の必要性で決めます。最初から複数の高額製品を導入するより、アカウント防御、復旧、資産把握、AI利用ルールという土台を先に整える方が現実的です。

最小限で始める対策：優先して検討したい6項目

実施順序は、自社の資産、運用体制、既存対策に合わせて決めます。上記の6項目と緊急連絡網を整えた後は、資産・アカウント・AI連携の台帳化、重要ログの確認、クラウド設定点検、従業員教育、インシデント対応訓練へ段階的に進めます。外部公開システムや重要クラウド環境は、脆弱性診断や監視サービスの必要性も検討します。

内製・製品導入・SOC委託の選び方：費用だけで比較しない判断基準

内製は対象が限定され、担当者が営業時間内の監視と初動を担える場合に向きます。ただし、担当者1人に依存せず、手順書、連絡網、復旧担当を複数化する必要があります。端末、クラウド、アカウントが増え、手作業での確認が難しい場合は、EDR（Endpoint Detection and Response：端末の挙動を検知・調査・封じ込めする仕組み）、資産管理、ログ管理などの製品導入を検討します。 夜間・休日の対応が必要で、社内でアラートを継続監視できない場合は、SOCやMDRが選択肢になります。比較時は月額だけでなく、監視対象、通知時間、端末隔離やアカウント停止の対応範囲、ログ保存、追加調査費、契約終了時のデータの扱いを確認してください。取引先・委託先を含む対策の考え方を把握する際は、IPAのSCS評価制度の概要も参考になります。

経営層が判断するためのAIセキュリティ投資：KPI、費用対効果、説明材料

AIセキュリティ投資は、防げた攻撃件数だけでは判断しにくい領域です。投資前後で比較できる事業継続と統制の指標を設定します。代表例は、検知から封じ込めまでの時間、復旧時間、管理者・AI連携アカウントへのMFA適用率、重大権限数、AI利用台帳の登録率、バックアップ復元成功率、訓練時の報告率です。

稟議では、現状の弱点、投資後の目標値、未達時に残るリスク、取引先・監査要件への影響を一枚に整理します。外部調査の平均被害額をそのまま当てはめず、重要業務の停止許容時間、過去の障害対応、保有データ、復旧テスト結果など社内データを使う方が判断精度を高められます。IPAのサイバーセキュリティ経営可視化ツールは、サイバーセキュリティ対策の実施状況を5段階で可視化する際の参考になります。

まとめ：AIを止めるのではなく、利用範囲と権限を管理して攻撃面を減らす

AIはフィッシングやBECを高度化する一方、脅威検知やログ分析にも活用できます。企業に求められるのはAI利用を一律に止めることではなく、どの業務で、どのデータを使い、どこへ接続し、何を実行できるかを可視化することです。

まず利用中のAI、入力データ、接続先、権限を棚卸しし、機密情報や重要操作を扱う用途から見直します。次に、MFA、最小権限、人による承認、ログ監視、復元テスト、二経路確認を業務フローへ組み込みます。事故時にはAI画面の停止だけでなく、APIキーや連携先権限、ログ保全、影響調査まで行う準備が必要です。

生成AIの安全な導入・運用を検討する際は、IPAのテキスト生成AIの導入・運用ガイドラインを、生成AIのセキュリティリスクと対策を確認する資料として参照し、自社のリスクと運用体制に応じて統制を強化してください。

参考文献