昨年末に内閣府の「人間中心のAI社会原則検討会議」において7つのAI社会原則案が示された。そのうちの1つが「セキュリティ確保」である（*1）。

AIを用いてビジネスや情報サービスを検討・構築・リリースするうえで、セキュリティ確保について最初から深く考慮して、適切な対策を講じることは今後ますます求められるようになるだろう。

最近、筆者の周辺では、AI等のデジタル技術を活用したビジネス展開を模索する企業から、セキュリティマネジメント支援を求められるケースが増えてきている。筆者の職務経験を踏まえて、AI機能を活用する組織のセキュリティマネジメント上、留意しておくべきと考える点を述べる。

本コラムでの「AI機能」とは、全体としての目的・目標がある情報システム・情報サービスを構成する1機能として、外部から訓練データを取り込んで、何らかの学習済みモデルを構築したうえで、所定の目標を達成するために動作する機能等を指すこととする。

セキュリティを毀損させようとする攻撃者がAI機能に係る何らかの情報を知ることができる場合に、たとえば以下の脅威が知られている（*2）。

（ア）訓練データの一部が推定される可能性
（イ）訓練データの変化による、AI機能の精度低下の可能性
（ウ）入力の変化による、AI機能の精度低下の可能性

（ア）は、通常想定される方法に沿ってAI機能を使用するうえでは表に出てこない内容が、知られてしまう可能性があることを意味する。訓練データが個人の機微な情報や、個人と紐付けられた画像情報で構成される場合などに、深刻なプライバシー情報の暴露等につながる可能性がある。

（イ）は、訓練データの一部を僅かに変化させることで、AI機能による判定・予測の結果を変えることができることを意味する。たとえば、訓練実施者と実業務遂行者が同一人物である場合に、自らに都合が良くなるように訓練データをこっそり改ざんする可能性等を考慮する必要が生じる。

（ウ）は、AI機能の入力情報として、たとえば画像情報（顔写真等）にわずかなノイズ情報を追加することで、AI機能に係る判定・予測結果を不正に変化させることが考えられる。顔を認識し本人確認、認証等するAI機能を使う情報サービス提供に際して、なりすましの被害を想定することができる。

上述したAI機能のセキュリティ上の脅威の一例を踏まえ、組織のセキュリティマネジメントを行ううえでの留意事項を4点述べる。

1点目は、AI機能に係る訓練データ、学習済みモデル等を保護すべき情報資産として明確にし、これらへの不正確・不適正な情報の混入を防止することである。また、学習済みモデルを用いての検証活動等を行う際に得られるノウハウ、検証結果等は、知的財産として保護すべきものとなる。

2点目は、AI機能を用いた情報システム等の利用に関わる脅威と脆弱性、その発生頻度や、事象が発生した際に起こり得る結果のリスク分析を行うことである。AI機能のアウトプットを受けて、人間が判断する際にどのような誤りが起こり得るのか、誤りが発生して人間が下す判断の結果で生じうる事象（特に悪影響）は何か、といったことに関するリスク分析を行う。AI機能の脅威・脆弱性に関して、さまざまな研究がなされているものの、実用レベルの脅威・脆弱性に関する情報公開データベース等は筆者が知る範囲では存在せず、今後の進展が期待される。

3点目は、AI機能を用いた情報システム等による悪影響が発生する際の責任分担や原因追求の手続きを定めることであるが、これはなかなか難しい。AI機能の一般的な特徴として、判定・予測された理由、およびそのための基準が確立されるまでの流れが不明なため、責任分担を画一的には定めにくい。AI機能の判定・予測には不確実性が伴い、その結果として悪影響が生じるとしても、責任の追求先をどのように決めていくか、社会的に合意が取られた判断基準はまだない。今でもできることは、関係者間で想定され、起こり得る結果への対応について事前に合意形成しておくこと、悪影響が生じた際、是正・改善を求める関係者やユーザーからの問い合わせ窓口を明確にしておくことである。

4点目は、関連法令、規制等の順守である。特に、個人情報やプライバシー情報を扱う可能性があるAI機能を使う場合に、日本の改正個人情報保護法、EUの一般データ保護規則（GDPR）など、各国の関連法令、規制等に十分に配慮したうえでの対応が必要となる。先行する米国では、Amazonが提供する顔認識のAI機能が人種差別につながる判定を行ったとされ物議を醸した（*3）。Googleは、同社クラウドサービス上での汎用の顔認証APIの提供を、一時的に停止する旨を発表した（*4）。こうした先行する企業の動向をチェックすることで、参考になる点も多いと考える。

1. *1政府がAI原則「人間中心」個人情報保護・説明責任を重視（日本経済新聞、2018年12月13日）
2. *2宇根正志「機械学習システムのセキュリティに関する研究動向と課題」（日本銀行金融研究所、2018年8月）
   （PDF/915KB）
3. *3平 和博「AIと『バイアス』：顔認識に高まる批判」（HUFFPOST、2018年9月3日）
4. *4Google、（他社のように）汎用の顔認識APIを当面は提供しないと宣言（ITmedia、2018年12月14日）