アマゾンが提供するＡＩ（人工知能）サービスに懸念を呼び起こす出来事が、相次いで起きた。
アマゾンの顔認識ＡＩ「レコグニション」が、警察による「監視データベース」に利用されていることに、人権団体が「人権侵害だ」として抗議の公開書簡を発表。
By littlelostrobot (CC BY 2.0)
その翌日には、スマートスピーカー「アマゾンエコー」が、家庭での夫婦の会話を勝手に録音し、外部に送信する、という騒動が明らかになった。
スマートスピーカーなどの音声認識ＡＩを巡っては、「悪意ある音声」を使ったサイバー攻撃が可能であることも、研究者によって明らかになってきている。
ＡＩの進展には、新たなイノベーションの核として期待が高まる。
その一方で、ＡＩの使われ方や、その安全性への警戒感も、急速に広がっている。
●「危険な監視機能を提供」
人々は、政府に監視されずに通りを歩く自由が保障されるべきだ。顔認識テクノロジーは、米国のコミュニティにおけるこの自由を脅かすものだ。警察による過剰取り締まりが問題となっている有色人種コミュニティにおいては、顔認識テクノロジーが、この自由を実質的に奪うことができる。連邦政府は顔認識テクノロジーを使うことで、移民が新たな暮らしに踏み出す時から、継続的な追跡が可能になる。地域の警察が使えば、警察官のボディーカメラで撮影した政治的デモの参加者を特定することができる。レコグニションによって、アマゾンはこれらの危険な監視機能を、政府に直接提供しているのだ。
公開書簡が指摘しているのは、仮定の話ではない。
ＡＣＬＵが情報公開によって入手した文書やアマゾンのマーケティング資料などによれば、アマゾンは２０１７年、オレゴン州ワシントン郡保安官事務所やフロリダ州オーランド市と契約。
from ACLU
ワシントン郡保安官事務所では、すでに「レコグニション」を使って３０万人分の容疑者の顔写真データベースを構築。さらに、保安官が顔写真照会ができるよう、モバイル用アプリも開発した、と郡保安官事務所の担当者がアマゾンＡＷＳのブログで紹介している。
from AWS blog
またオーランド市では、市内の監視カメラと「レコグニション」をつなぎ、不審者の身元をリアルタイムで特定できる、とアマゾンの担当ゼネラルマネージャー、ランジュ・ダス氏がＡＷＳ（アマゾン・ウェブ・サービス）のカンファレンスで説明していた。
from AWS YouTube Channel
だがこの説明には、オーランド市警察から物言いがついたようだ。市警の説明では、「レコグニション」の導入は市所有の監視カメラ８台に限定されており、有志の警察官の顔写真を使った試行段階だという。
アマゾンはその後、ダス氏のユーチューブ動画に、「事実誤認だった」とお詫びのコメントを掲載している。
また、ＡＣＬＵなどの申し入れについて、アマゾンの広報担当はＣＮＮの取材へのコメントで、こう述べているという。
アマゾンでは顧客に対し、（ＡＷＳの）サービス利用に際しては、法令を遵守し、責任ある使い方をするよう求めています。顧客がＡＷＳのサービスを悪用していることが判明した場合には、顧客のサービス利用を停止することになります。
●「個人の調査と監視が簡単かつ正確に」
「レコグニション」はアマゾンのクラウドサービスＡＷＳ向けの画像認識ＡＩとして２０１６年１１月に発表された。
画像に写っているのがイヌかネコか、どのような種類か、あるいはどんな場面か、といった検出から、テキストの認識、そして人の顔の識別などを、動画を含めて行うことができる、という。
２０１７年１１月に公表したバージョンアップでは、１枚の画像から最大１００人の顔認識が可能になった、という。
また、アマゾンのサイトのＦＡＱでは、動画の認識について、こんな記述もある。
Rekognition Video（レコグニションビデオ ）を使用すると、ショット内の各人物を追跡したり、ビデオ全体のショット間で追跡したりすることができます。Rekognition Videoは、カメラが動いていても人物を検出し、それぞれの人物について、境界ボックスと顔、および顔の属性とタイムスタンプを返します。セキュリティと監視のアプリケーションでは、これにより、個人の調査と監視が簡単かつ正確になります。
捜査機関が顔認識のテクノロジーを使うのは、これが初めてというわけではない。
ジョージタウン大学ローセンターの推計では、前科前歴の有無に関係なく、米国成人の半数の１億３０００万人が、犯罪捜査で使われる顔写真データベースの登録されていると見られる、という。
ただ、アマゾンのＡＩの手軽さと低コストが、捜査の顔認識と結びつくことで、新たなインパクトを生んでいる、ということのようだ。
アマゾンの説明書きでは、「最初の１年間は１か月間に１，０００分、動画を無料」とし、米国西部（オレゴン）での利用料金は「分析したライブストリーム動画１分あたり ０．１２ＵＳＤ」「毎月保存した顔のメタデータ１０００ 個につき０．０１ＵＳＤ」などとしている。
ＣＮＮによると、ワシントン郡保安官事務所が「レコグニション」の利用で払っているのは月額６ドルから１２ドル程度、という。
「レコグニション」はメディアでも利用されている。
英スカイニュースは、１９日に行われた英王室ハリー王子の結婚式で、著名人ゲスト特定のためにこの「レコグニション」を使っていた。
また、ニューヨーク・タイムズも、ハリー王子結婚式などで「レコグニション」を使用している、という。
●アレクサの「盗み聞き」
シアトルのＣＢＳ系列のテレビ局ＫＩＲＯ７は２３日、オレゴン州ポートランドの家庭で起きた、「アレクサの盗み聞き」騒動を報じた。
「ダニエル」と名乗る女性は、アマゾンのＡＩ「アレクサ」を搭載したスマートスピーカー「アマゾンエコー」を各部屋に置くほど愛用し、暖房、照明、セキュリティシステムの操作などに使っていた、という。
だが２週間前、夫の会社の従業員から電話があり、「アレクサ端末のコードを今すぐ抜きなさい。ハッキングされている」と警告された、という。
「ダニエル」さん夫妻の会話を録音した音声ファイルが、この従業員の元に送られてきたのだ、という。この従業員から音声ファイルを送ってもらい、聞いてみると、それはまさに自分たちの会話だった、という。
「ダニエル」さんはＫＩＲＯ７にこう話している。
家の中に忍び込まれたみたいに感じた。完全なプライバシー侵害です。私はすぐにこう言いました。「もう二度とこの端末をつなぐつもりはありません。とても信用できないから」
この騒動について、アマゾンの広報担当はこう説明しているという。
エコーは、背後の会話で（起動ワードの）「アレクサ」のように聞こえた言葉で起動した。さらにそれに続く会話で「メッセージ送信」の要求を聞き取った。この時点でアレクサは、「誰に？」と大きな声で尋ねた。そして背後の会話から、顧客の連絡先リストにある名前と解釈。アレクサは大きな声で「～さんですね？」と確認する。アレクサはその上で背後の会話を「そう」と解釈した。この一連の出来事が起きる可能性は極めて低いですが、それをさらに低くするための対応策を検討中です。
●アレクサとの会話を確かめる
音声メッセージの送信機能は、米国ではアレクサの標準機能として提供されている（日本ではまだのようだ）。
その手順は、まさにアマゾンが説明している通りだ。
だがその説明通りだとすると、「ダニエル」さんはなぜ、エコーが復唱する確認の音声を聞いていないのかなど、不可解な点は残る。
「ダニエル」家では各部屋にエコーを置いていたようなので、夫婦が会話をしていたのとは、別の部屋のエコーが作動した可能性もある、とワイアードは指摘している。
ユーザーとアレクサがどんなやりとりをしたかは、履歴が残されている。
アレクサアプリの「設定」 「履歴」を見れば、ユーザーの言葉をアレクサがどう聞き取り、それに対してどう返答したかがすべて確認できる。
心当たりのないやりとりが見つかったら、いったん電源を抜いておいてもいいかもしれない。サイバー攻撃、という可能性も、なくはないからだ。
●音声によるサイバー攻撃
アマゾンの説明の通りだとすると、「ダニエル」家の「盗み聞き」騒動は、「誤作動」ということになる。
それだけでも十分気持ちの悪い事態であり、現にスマート家電に入れ込んでいた「ダニエル」さんは、エコーを使うのやめてしまった。
だがそれに加えて、スマートスピーカーなどの音声認識ＡＩに意図的にサイバー攻撃を仕掛け、乗っ取りを行うことも可能だとの、専門家らの研究結果も、次々に明らかされている。
カリフォルニア大学バークレー校のニコラス・カーリニ氏とデビッド・ワグナー氏は、モジラ財団によるオープンソースの音声認識ＡＩ「ディープスピーチ」をターゲットに、人が聞き取り可能な音声の中に、ＡＩにのみ聞き取り可能な悪意ある別の音声コマンド（サブリミナルメッセージ）を埋め込むことに成功した、との論文を公開している。
それによると、人には「Without the data set, the article is useless（データセットのない論文には意味がない）」と聞こえるカムフラージュ音声で、ＡＩには「O.K. Google, browse to evil.com（オーケーグーグル、邪悪サイトにアクセスせよ）」と指示するコマンドを送ることができた、という。
また、カムフラージュ音声は話し言葉だけではなく、音楽でも同様の攻撃は可能で、ヴェルディの「レクイエム」でも成功した、という。
このほかにも、中国・浙江大学のチームは昨年、人間には聞こえない音声コマンドをスマートスピーカーなどに送り込む攻撃「ドルフィンアタック」を発表。アレクサやシリなど、７種類の音声ＡＩを使った１６種類の端末で攻撃に成功した、という。
●一層不気味な問題点
月額わずか数百円のコストで使える高度なＡＩ監視システム。そして、音声認識ＡＩを標的に、人に聞こえない音を通じてに行うことができるサイバー攻撃。
これらは、「仕事が奪われる」といった、これまでＡＩに対して漠然と抱いていた不安とは少し肌合いの違う、リアルで、それだけに一層不気味な問題点だ。
ＡＩが広がる社会とは、こういう不気味さとも折り合いをつけていく世の中なのだろう。
--------
■新刊『信じてはいけない 民主主義を壊すフェイクニュースの正体』（朝日新書）