Googleの傘下にあり、驚異的学習能力をそなえた人工知能を開発するDeepMind社の研究者を含めたグループは、AIが人間のコントロールを拒否し、あるいは人間を害することを止めるための「非常ボタン（big red button）」を開発したことを発表しました。
その研究成果はSafely Interruptible AgentsというPDF文書にまとめられ、ウェブサイト上で公開中です。
一時は停滞していた人工知能の研究はここ数年で再び活発となり、ニューラルネットワークを押し進めたディープラーニング技術によって加速しています。
今年3月にも「魔王」の異名を取る最高峰の棋士、イ・セドルに対してDeepMind社の囲碁ソフトAlphaGoが勝利を収め、人工知能の進化を10年早めたとも言われました。
想像を超えた進化のスピードを前にして、著名な科学者や先端企業のリーダーが警告を呼びかけることも相次いでいます。
英国の宇宙物理学者、スティーブン・ホーキング博士も人工知能の進化が人間にとって脅威になると折に触れて発言。
そして博士やテスラモーターズおよび SpaceX CEOイーロン・マスク氏らが参加する非営利組織 Future of Life Institute (FLI) も自律ロボット兵器の禁止を訴える公開書簡を国連宛に提出していました。
今回の発表は、DeepMind社の研究者とFIL関係者の共同によるもの。
この文書では、人工知能がいつでも適切に動作するわけではないこと。よって人間のオペレータが人工知能に有害な行動をやめさせて、安全な状況に導くための「非常ボタン」が必要であると述べられています。
すでに人間のオペレータがいつでも安全に人工知能を中断できる「フレームワーク」は完成しているとのこと。一方では、人間の介入を妨害する方法を学習させない方法も確立しているそうです。
もう少し具体的にいうと、アルゴリズムに「割り込みポリシー」を組み込み、人工知能の振る舞いを強制的に変更するトリガーを仕込んでおき、マシンが自分でそう考えたと「騙す」のだとか。
ちょうど『キャプテン・アメリカ』のバッキーが特定のキーワードを聞くと洗脳スイッチが入るのと近そうです。
もともとDeepMind社はGoogleに買収されるに際して社内にAI委員会を設置することを条件としており「人工知能の暴走」には自覚的でした。
この分野でトップを行く同社と、人の手を離れて自律判断するAI兵器にストップをかけるFLIが緊密な協力を続ける限り、『ターミネーター』のスカイネットなどAIが人類に反乱を起こす未来は来ないのかもしれません。
（2016年6月6日 Engadget日本版「Google、人工知能の反逆を抑止する「非常ボタン」開発」より転載）
【関連記事】