ＡＩが普及するにしたがって、その脆弱性にも注目が集まっている。

By Bruno Cordioli (CC BY 2.0)

ＡＩをダマして人の顔を別人と認識させたり、交通標識の「止まれ」を「時速４５マイル制限」と誤認識させたり、さらにはスマートスピーカーに悪意あるコマンドを送り込むことも可能――。

そんな脆弱性を突いて、ハッキング（サイバー攻撃）が行われれば、大きな被害が出る可能性もある。

ＡＩの安全性をどう守るのか。

●ＡＩの「目」をダマす

数年前から知られているのが、ＡＩの画像認識における脆弱性だ。

「アドバーサリアル・エグザンプルズ（敵対的見本）」と呼ばれる、ＡＩの画像認識を"ダマす"サイバー攻撃だ。

これは、画像にノイズデータを加えることで、人間には見分けが付かなくとも、ＡＩにとっては全く別の画像として認識されてしまう、という弱点を突いたものだ。

この弱点を明らかにしたグーグルやニューヨーク大学などの研究チームによる２０１３年の論文では、「スクールバス」「携帯電話」「カマキリ」「犬」といった画像にノイズを加えたところ、ＡＩはすべてを「ダチョウ」と認識したという。

また、カーネギーメロン大学とノースカロライナ大学の研究チームの２０１６年の論文では、ノイズデータをプリントしたものフレームに貼り付けたメガネをかけることで、顔認識ＡＩに、白人男性を女優のミラ・ジョボビッチ氏に誤認識させることができた、としている。

このほかにも、ミシガン大学やワシントン大学のなどの研究チームは２０１７年、交通標識に白と黒のステッカーを貼り付けることで、「止まれ」を「制限時速４５マイル（７２キロ）」とＡＩに誤認識させるなどの実験結果を公表している。

これは、現実の対象物を細工することでも、画像誤認識のサイバー攻撃が可能になる、という事例だ。そして、実験で使ったのは自動運転車ではないが、交通標識の誤認識は、事故につながる危険性が存在することを示している。

●悪意ある音声コマンドを送る

だがそれに加えて、スマートスピーカーなどの音声認識ＡＩに意図的にサイバー攻撃を仕掛け、乗っ取りを行うことも可能だとの、専門家らの研究結果も、次々に明らかされている。

こちらは、「オーディオ・アドバーサリアル・エグザンプル」だ。

※参照：「顔認識で監視」「アレクサが会話を盗み聞き」アマゾンＡＩに相次ぐ懸念（05/26/2018）

カリフォルニア大学バークレー校のニコラス・カーリニ氏とデビッド・ワグナー氏は、ＮＰＯの「モジラ財団」が開発したオープンソースの音声認識ＡＩ「ディープスピーチ」をターゲットに、人が聞き取り可能な音声の中に、ＡＩにのみ聞き取り可能な悪意ある別の音声コマンド（サブリミナルメッセージ）を埋め込むことに成功した、との論文を公開している。

それによると、人には「Without the data set, the article is useless（データセットのない論文には意味がない）」と聞こえるカムフラージュ音声で、ＡＩには「O.K. Google, browse to evil.com（オーケーグーグル、邪悪サイトにアクセスせよ）」と指示するコマンドを送ることができた、という。

また、カムフラージュ音声は話し言葉だけではなく、音楽でも同様の攻撃は可能で、ヴェルディの「レクイエム」でも成功した、という。

このほかにも、中国・浙江大学のチームは昨年、人間には聞こえない音声コマンドをスマートスピーカーなどに送り込む攻撃「ドルフィンアタック」を発表。

アレクサやシリなど、７種類の音声ＡＩを使った１６種類の端末で攻撃に成功した、という。

●テスラ車をハッキングする

中国のＩＴ大手「テンセント」傘下のキーン・セキュリティラボは２０１６年９月、テスラ・モデルＳのシステムの弱点を突いたハッキングを行い、遠隔操作での乗っ取りが成功した、と発表している。

システムに侵入にした上で、ドアやウインドウを操作。さらに走行中のモデルＳに遠隔からブレーキをかけることもできた、という。

テスラは通告を受けて、システムを修正した、というが、同ラボはその後、２０１７年７月にも、モデルＳに別の弱点を突いて、やはりハッキングに成功した、と発表している。

●ＡＩの脆弱性に取り組む

「アドバーサリアル・エグザンプルズ」については、すでにグーグルからは対策のための「クレバーハンス」というプログラムも公開されている。

ただＡＩは、ビッグデータの中から、人間には見えていない特徴を見つけ出す。それが何者かによって改竄され、ＡＩがダマされているのかも知れないが、人間にはそもそも見えていないので、気づくことも難しい。

人間には見えない世界での、そんなＡＩの弱点が、これ以外にないとは限らない。

英ワイアードは、この問題をめぐり、ＭＩＴのリサーチャー、アニシュ・アサリー氏のこんなコメントを紹介している。

このタイプの攻撃が、悪意のあるグループによって現実に行われたという事例は今のところ聞いたことはない。だが、この分野の研究で明らかなように、多くのマシンラーニングのシステムは極めて脆弱だ。現実に稼働しているシステムが、この種の攻撃に弱いことがわかっても、驚かないだろう。

また、交通標識の実験を行った研究チームの１人、ワシントン大学のエアレンス・フェルナンデス氏は、自動運転車は複数のセンサー、複数のアルゴリズムで稼働するため、一つのマシンラーニングのモデルだけで判断を下すことはない、と指摘。画像認識をダマすことができても、「それがすぐに人に危害を及ぼすわけではない」と言う。

同じ研究チームでミシガン大学のケビン・アイクホルト氏は、「アドバーサリアル・エグザンプルズ」への防御策と、さらにその突破法の研究は急速に進みつつある、という。

ただ今のところ、明確な防御策は確立されてはいない、と。

アサリー氏は、一つの方法として、「アドバーサリアル・エグザンプルズ」の攻撃で使われる画像をあらかじめ学習しておくことで、ある程度の耐久性はつくのではないか、と述べる。

そして、フェルナンデス氏は、一般的なＡＩのとらえ方そのものにも、問題があるという。つまり、人と同じ思考回路をとるかのように、錯覚してしまうことだ。

ニューラルネットは人間の脳を極めて粗雑にまねたものだ。それが人間と同じように動くと思うのは、あまりいい考えとは言えない。

--------

■新刊『信じてはいけない　民主主義を壊すフェイクニュースの正体』（朝日新書）