総務省「AIセキュリティ分科会開催」を受け改めて考える、今後のAIセキュリティの脅威事情

生成AIをはじめとするAI技術は急速に普及しており、その利活用と並行してセキュリティ確保の重要性が高まっています。政府がAI事業者向けガイドラインの策定や、関係省庁・機関による「AIセーフティ・インスティテュート（以下 AISI とする）」の設立を進め、AIに起因する脅威の特定や対策を検討しているのは、こういった背景があるものであると理解しています。

特に総務省の「サイバーセキュリティタスクフォース」配下で開催されている「AIセキュリティ分科会」では、AI固有の脅威やその技術的対策についての議論が進められている現状です。本稿では、AIセキュリティ分科会の議論や中間報告を踏まえ、過去のサイバー事例を振り返りつつ、今後想定されるAIセキュリティの課題と展望を整理します。

従来のサイバー対策に加え、AIを組み込んだシステムには学習過程や推論過程への介入、入出力の悪用・改ざんといった特有のリスクが存在します。これらは学習データの漏えいやモデルの誤出力として表れ、医療・自動運転など人的影響が大きい分野では直接的な被害に結びつくと考えられています。三井物産セキュアディレクション株式会社が発表した「AIシステムに対する脅威の事例」によると、以下のような攻撃類型があります。この分類はさらにAISI「AIシステムに対する既知の攻撃と影響」より引用されており、A～Kの11種の類型で整理されています。

^{参考：三井物産セキュアディレクション株式会社「AIシステムに対する脅威の事例」}

ここでは、なかでも代表的な7種（A、B、D、E、F、H、I）について解説します。

AIモデルのエンドポイントに繰り返しアクセスし、同程度の性能を持つ複製モデルを作成する攻撃であり、競争上の地位低下や機密情報の窃取、モデル漏えいにつながります。

AIモデルの入出力や内部情報を観察することで、学習データ漏えいを推測・再現する攻撃です（モデル反転攻撃、メンバーシップ推論攻撃など）。

学習データやファインチューニングデータを細工することで、AIモデルの出力を改ざんし、モデル誤動作を引き起こします。

人間には識別できない微細なノイズを混ぜた（敵対的サンプル）画像をAIに入力することで、AIの挙動を操作し、モデル誤動作を誘発します。

特殊な入力を与えることで、AIモデルが稼働するシステムの計算資源を枯渇させるDoS攻撃の一種です。

細工したプロンプトをAIモデルに入力することで、AI提供者の意図しない不正な回答を出力させます。また、連携システムを不正操作するコードが生成・実行され、システム侵害や内部データ漏えいや毀損を引き起こす可能性があります。

MLaaSサービスを悪用し、AIモデルの内部に悪意のあるコードを実行する仕組みを設置することで、システム侵害を引き起こします。

これらの攻撃は単独でも脅威となりますが、供給連鎖の脆弱性やOTとITの境界を越える手法と組み合わされると、被害は一層深刻化する恐れがあります。特にAIエンジンを自社で運用する企業においては、データやモデル、推論基盤を含めた多層的な防御に加え、運用プロセスそのものの見直しが不可欠です。

近年の紛争では、軍事行動の「前段階」や補完手段として重要インフラを狙うサイバー作戦が現実化しています。2015年のウクライナ送電網乗っ取りや、2016年の電力系統への攻撃で確認されたIndustroyer^※などのICS向けマルウェアはその典型例であり、OT（Operational Technology）が物理的被害に直結する重大な標的であることを示唆しています。

さらに2017 年のNotPetya^※は供給連鎖を悪用し、経済や物流に甚大な影響を及ぼしました。近年は鉄道や変電所といった工業基盤を狙う攻撃や、砲撃やドローン攻撃とサイバー攻撃を組み合わせた戦術も観測されており、複合的な「サイバーと物理のハイブリッド化」が進んでいます。こうした攻撃は一箇所の侵害にとどまらず、復旧計画やサプライチェーン全体の耐性が問われます。

これらの事例からも分かるように、OTへの侵入は単なるIT側の不正アクセスとは異なり、現場運用を直接操作して物理的な被害を引き起こす点が大きな問題です。たとえば供給連鎖が改ざんされ、正規ソフトウェアの更新が侵害されると、制御装置のロジックが一斉に書き換えられ、停止や誤動作を誘発する恐れがあります。このような場合、「同一ベンダー製品で短期間に同様の異常が発生する」「更新直後にエラーや再起動が急増する」といった兆候が観測される恐れがあり、署名検証や配布経路の二重化が不可欠です。さらにOTプロトコルへの直接操作やセンサーの値の改ざん（センサーポイズニング）も現実的な脅威であり、未登録デバイスからの制御要求や複数センサー間の値の不一致は重要な検知サインとなります。したがって、センサーの冗長化や投票ロジック、物理的クロスチェックを組み合わせることが、信頼性確保において重要です。

^{※Industroyer：ロシア軍参謀本部情報総局（GRU)が作成・使用したと考えられているワイパー型マルウェア
※NotPetya：暗号化マルウェアの一種で、Microsoft Windows ベースのコンピューターを標的とします}

AIを用いたサイバー攻撃の現実味が増しており、紛争や地政学的緊張の場面でその活用が一層懸念されます。過去の事例としては、重要インフラを標的にした攻撃（ウクライナの送電網事案やNotPetyaによる供給連鎖被害）が、サイバーパワーが物理的・経済的影響を与え得ることを示しています。これらは攻撃が「ネットワーク侵害 → 現場操作 → 業務停止」へと波及する典型例です。

近年、ディープフェイクや高品質な音声合成を用いた詐欺事例が報告されており、こうした技術が OT の運用現場に持ち込まれた場合には、運用担当者に対する偽の指示や緊急対応の要請を通じて誤操作を誘発するおそれがあります。その結果、OT環境では単なる情報漏えいや信用低下を超えて、物理的な設備故障や長期的な操業停止につながる可能性があると考えられます。実際に近年は大手企業を狙った高額なディープフェイク詐欺が報告されています。

機械学習や異常検知に依存する監視システムやセキュリティ製品（NGAVやEDR等）は、学習用のデータに細工（いわゆる「データポイズニング」）をされると、わざと精度を落とされたり、特定の条件で誤検知させられる可能性があります。さらに、こうした改ざんがソフトウェア更新や供給連鎖を通じて広がれば、検知をすり抜けたまま危険な制御命令が実行されてしまうリスクも高まります。実際に、各国のAIセキュリティに関する報告書でも「学習データの漏えい」や「モデルの誤動作」は重要な懸念事項として挙げられています。

学習済みモデルや学習データ、リアルタイムの監視センサーデータが流出すると、敵対勢力は対象環境の挙動を精緻に再現できるため、最短効率でターゲット選定並びに攻撃の遂行が可能になると思われます。特に地政学的緊張が高まる台湾や周辺海域では、既に政府機関や重要産業に対する大量のサイバー攻撃が観測されており、こうした情報漏えいが戦略的価値を持つことは明白です。

公開情報や傍受データを取り込んで LLM（大規模言語モデル）や強化学習を用い、偵察から侵入、脆弱性発見・エクスプロイト作成、現場制御までを自律的に設計・実行する「自律攻撃チェーン」の概念は研究と実証が進んでいます。LLMベースのエージェントや自動化ツールは、複数地点を短時間で同時に攻撃（同期破壊）し、復旧リソースを枯渇させることが想定されるため、従来の人手ベースの攻撃とは次元の違う脅威をもたらします。実験的に LLMによる攻撃計画自動化や攻撃チェーンの模擬が報告されている点は注視すべきです。

情報窃取マルウェア（InfoStealer）がAIシステムや学習インフラに侵入すると、学習データやトレーニングログが盗まれ、モデル反転やメンバーシップ推論といった手法で機密情報が推論過程で露出する恐れがあります。また、推論パイプラインに仕込まれたバックドアが生成物を通じて外部へ情報送信する可能性も指摘されています。これにより「情報漏えい → モデル悪用 → 物理的標的化」の連鎖が現実化する可能性があります。