自動運転、ドローン、人工知能――。人が「使う」ものだった機械（コンピュータ）が「賢く」なりつつある中、自律的な機械と人との新たな関係が議論されている。人と機械の関係を考える上で欠かせないのが、そのインターフェースだ。
東京大学助教の鳴海拓志さんはバーチャルリアリティ（VR）や拡張現実感など、私たちが現実と感じているものを編集し、新しい現実をつくる技術を研究する中で、人と機械の新しい関係をつくるためのインターフェースのあり方を提案している。
後編では、知覚から、感覚や行動、情動をつくりだし、現実を編集するインターフェースの研究について聞いた。
五感をつくるディスプレイ
――VRの研究室で、五感をつくりだす研究を多くされています。どんな研究をされていますか。
五感をどうつくりだすか、という五感ディスプレイから僕の研究は出発しています。五感を単純に物理的に再現するには、限界があります。例えば視覚を追求していくと、解像度を高めて４Kや８Kのディスプレイをつくる、となります。
きれいに見えるようになるけれど、ある線を越えるともう十分きれいだし、わざわざそこに投資する価値がないよねとなってしまう。解像度が上がることで副次的な効果が見込まれる間はいいのですが、そのままやっていると超えられない壁がある。また、味覚や嗅覚のように正確に再現するのが難しい感覚があるという課題もあります。
そこで、五感刺激を再現するのではなく、五感を受け取ったときに脳内でどのような処理がなされているかを考えて、処理の結果として頭の中で再構成されている「知覚」をつくろうと考えるようになりました。五感を「ディスプレイする」というよりも、「編集する」という方がしっくりきます。
脳の中では、感覚器から脳内に入ってきた情報が組み替えられて、一番もっともらしい形に編集されて理解されます。錯覚はそういう仕組みの裏側が見えてしまう現象なんです。だから錯覚のような現象について考えることをきっかけとして、こういう感覚入力の組み合わせを与えると脳がうまく編集してくれる、という組み合わせを見つけて、それを提示してあげる。そうしたら様々な知覚の編集ができるようになるのではないかと研究しています。
五感ディスプレイの研究を始めたのは、研究室でもともと匂いを出す嗅覚ディスプレイの研究をやっていたのが最初です。ところが、なかなか良い嗅覚ディスプレイはつくれない。１種類の匂いを出すのに１種類の香料が必要だからです。匂いは化学物質起因なので、その場でインタラクティブに混ぜ合わせて好きな匂いを作るというのは難しいんですね。
一方、人は匂いを嗅いでも正確に当てられないというところに思い当たりました。例えばリンゴを置いて、目を閉じて匂いだけをかいてもらったら、「リンゴの匂いです」と答えられるのは４割くらいの人しかいません。でも、目の前にあるリンゴを見て匂いを嗅ぐと、誰もが「リンゴの匂いです」と言います。これは、見た目が効いている。そこで、同じ匂いしか出せなくても、映像と合わせて使えば様々な匂いが出ているように感じさせることができるディスプレイを作れるのではと思ったんです。
それで、まずどの匂いとどの匂いが似ているかというのをいろいろな人に評定してもらいました。その結果として、オレンジとグレープフルーツはそっくりだよねとか、ブドウとリンゴの匂いはある程度似ているということがわかります。その上で、ブドウの映像を見せながらミカンの匂いを提示すると、「ブドウの匂いがした」と感じてもらえました。こういう方法で、１種類の匂いの元で、１０種類くらいの匂いを表現できれば、数種類の基本臭のカートリッジをさせばほとんどの臭いを表現できる嗅覚ディスプレイが実現できるようになりますよね。
ところで、その研究を始める数年くらい前から、認知科学の領域で「クロスモーダル」が注目されるようになりました。クロスモーダルとは、従来のように五感をそれぞれ独立したものとして考えるのではなく、それぞれの感覚がある程度混ざり合い、お互いに影響を与え合っているという特性を言います。錯覚も、このクロスモーダルによって引き起こされるものがあります。
有名なのは腹話術効果とか、マガーク効果と呼ばれるような現象です。もちろんこうした現象があることは知られていましたが、2000年代に入って脳機能計測が進んできたおかげで、例えば、音を聞いている時に視覚野が反応しているなど、様々なところでこの現象が起きていることがわかってきました。僕がクロスモーダルに着目して研究を始めた時には、すでに認知科学などで十分な知見の蓄積があったので、それを参考にしたら工学的にいいものがつくれると考えました。
嗅覚ディスプレイの次にやった研究が味覚のディスプレイです。好きな味を出せるようにしようという、わかりやすく欲望と直結した研究です。代表的な研究が、見た目と匂いでクッキーの味が変わる「メタクッキー」です。クッキーにARマーカーを付けて、映像が表示されるという広告コンテンツをウェブで見たのがきっかけです。たまたまそれを見て、映像が出るだけじゃなくて食べ物そのものが変わったらいいのにな、と。ちょうど嗅覚の研究をしていたので、見た目を変えて匂いを足したら、味も変わるのではないかと考えました。
そこで、すぐにクッキーを焼きました。マーカーの部分はココアを混ぜた生地で、地の部分はプレーンな生地で作るのですが、味を変える効果を確かめたかったので、できるだけ味のしないクッキーになるようにしました。研究室にある香料を持ってきて、匂いを嗅ぎながら目をつぶってクッキーを食べました。そうしたら、味が変わるじゃんと。「クッキーをつくったんですけど」と（研究室の上司で東京大学教授の）廣瀬（通孝）先生に持って行ったら「おもしろいじゃん」となった。それで本格的に研究をすることにしました。
ヘッドマウントディスプレイ（HMD）をつけて、画像と匂いを出して、クッキーを食べます。クッキーには焼き印でARマーカーが焼いてあって、それを認識してその位置に合うようにHMD上では違う味のクッキーの画像を表示させます。さらに、チョコレートやイチゴなどの匂いをHMDから出せるようにしました。そうして、プレーンクッキーでも、チョコレート味やイチゴ味になるというわけです。
７割くらいの人が狙い通りの味を感じることがわかりました。わたしたちが日常的に味といっているものは化学感覚としての味覚ではなくて、舌で感じた味覚と匂いや見た目や食感などとを加味したいわゆる「食味」なわけです。だからこそ見た目と匂いを変えると体験としての食味は変わってしまうと。
このとき、見た目を変えるのに、実写でさまざまなクッキーの画像を撮って、HMDで実際のクッキーに重ねて表示するようにしました。実はその前に色を変えることで味が変わるジュースというのを作っていたのですが、人によって効果がまちまちだったんです。色からイメージするジュースの種類ってバリエーションがありすぎるんですよね。
メタクッキーでは、写実的な見た目という具体的な情報が加えられて、本当にそこにチョコレートクッキーがあるという感覚が強まって、その瞬間に食味が変わる効果も強くなった。食味を変えるには、事前にどれくらいそれだと思わせるかが重要だったんです。
強くそれだと信じられる情報を出すのが重要で、リアリティはそういう意味で大事なんです。そう信じていれば信じているほど、足りない情報は脳内補完して自分を騙してしまうわけですね。だから、もしかしたら、重ねて表示する画像の解像度が低ければうまくいかなかったかもしれません。
（電気通信大学教授の）梶本（裕之）先生がデモを体験したときに、「これはＨＭＤの解像度がもっと高いほうがいいね」と言って帰って行きました。現状のバーチャルリアリティ研究の多くはリアリティが高い映像や体験を作り出すということを目的に推進されていますが、実はリアリティの高さは副次的なところで本質的な効果を生んでいて、だからこそ追求する価値があるものなんだと考えています。
「予測」とある体験の設計
――クロスモーダルの特性にもとづいた、ものづくりやサービス、体験の設計を提案されていますね。
かなり初期の頃は、目、耳、鼻といった別々のところから入ってきた五感の情報脳内で統合されるときに、ボトムアップにお互いの情報量を上書きしてしまうのかなと思っていたんですが、チョコレートだと思っているからチョコレートの匂いを感じやすくなっているというように、トップダウンな影響も大きいんですよね。だから五感を活用した体験を設計しようというときには、人がどういう予測をして、その予測とどれくらいあった感覚情報を返せるかということがポイントになると考えています。
「予測」を適切に導くことは、ある体験をつくるときにすごく重要と思っています。人はどんな時でも経験などに依って「きっとこうに違いない」と、勝手に予測をしてしまう。それに近いことが起きるとすんなりと受け入れる。だから、どれだけ適切な予測を引き出して、その予測に近いものを出せるかが、ある体験をつくり出せるかにとって重要です。
予測しない感覚が来たら、「変だ」と思って終わってしまう。五感の情報を提示しようということだけ考えると、与える感覚情報を設計することのみを考えがちですが、感覚情報を与える前にどのように予測を設計できるか、その両者を考える必要があると考えています。
クロスモーダルで行動を変える
――感覚の入力を変えることで、五感という知覚だけでなく、行動や情動までも変えられる研究をされています。
メタクッキーで味覚をつくって、その後、HMDを使ってクッキーのサイズを変えて満腹感を変えるという「拡張満腹感」の研究をしました。クッキーのサイズを1.5倍にして見せると食べる量は１０％減り、逆に３分の２のサイズに見せると食べる量は１５％増えました。食べる量が変わるというのも、食べたいという意志であったり、実際の食行動が変わった結果なわけです。人間は結局五感を通してしか情報を得ていないわけで、五感の感じ方を変えるとそこから生まれる行動や情動も変わってしまうということに気づきました。
味覚と満腹感ができたことで、五感だけではなくその先のプラスアルファを編集してつくれるのではないかとなってきたときに、「拡張持久力」をつくりました。HMDを使って目の前にある物の見た目を変えることで、重さの感覚が変わり、その物を運ぶ力仕事の仕事量が２割ほど変わるという研究です。
物の色が黒いと重く感じてすぐに疲れてしまうために仕事量が減り、白いと軽く感じて仕事量が増えました。なぜか。見た目が変わると「重そう」とあらかじめ予測して、勝手に筋肉が動いてしまうためです。結果として、物をどれだけ運べるかという人の行動まで変わります。
人の体は、フィードバックとフィードフォワードによって制御されています。フィードバックは自分の行動の結果を受けて、自分の行動を修正する仕組みです。一方、フィードフォワードは、事前に予測をして行動を変える仕組みです。筋肉の動かし方は、フィードフォワードの制御が関わっています。どんな予測をするかで、人の行動が変わります。そうすると五感の変化で行動や気持ち、情動を変えられるんですね。
「拡張持久力」では、見た目を変えるだけで行動が変わることにチャレンジしました。見た目が変わるだけで仕事量が２割も変わると思わないですよね。「気のせい」がドラスティックに人の行動を支配していることが、おもしろい。なぜ、このようなことが起きるか、というのは脳内でどのようなモデルができているか知ればわかります。
「拡張持久力」では、黒い見た目の物を重く感じ、白い見た目の物を軽く感じました。自然界では白い物ほど上にあるから軽く感じ、黒い物ほど下にあるので重く感じる、と言われています。例えば上の方にある雲は白く、下の方にある影は黒い。そういう脳内のモデルがあるから、人は黒い物ほど重く、白い物ほど軽く感じると勝手に予測をしてしまいます。そういった脳内にできあがっているモデルをうまく使った五感の提示の仕方が、予測をうまく活用する設計の方法になります。
クロスモーダルで情動を変える
――感覚の入力を変えることで、感情、情動も変えられる、という研究はどのような経緯でされたのでしょうか？
デジタルミュージアムの研究をしていた時に、立花隆さんが研究室に来て「戦争の博物館をつくりたい。VRしかできないことで、お互いの視点を交換したものをつくりたい。太平洋戦争といった時に、日本人と中国人では全く違う感情を持ちます。日本人が中国人の気持ちになって体験をするとか、中国人が日本人の気持ちになって体験するとか、お互いがお互いの視点を体験して、新しい発見を得る必要がある。それができるのはVRだけだ」とおっしゃいました。だけど、実現するのは難しいとその時は思いました。いままでのVRは、人を取り囲む環境を変える技術です。環境を変えることで、心の中に踏み込んで主観や気持ちまで変えるのは難しいのではと思いました。
他方、研究室では日常生活を画像などのログをとる「ライフログ」の研究もしていて、客観的なログだけでなく主観的なログも取れたら、さらにはその主観を追体験できるような方法があれば良いのになと考えていました。ログをとったときの楽しさや悲しさについて、ログを取った人は後から思い出すことができるかもしれない。けれど、ほかの人には共有できません。ほかの人の気持ちを追体験し、本人以外も同じ気持ちで見るにはどうしたらいいか。そこで、気持ちを共有できるような主観のVRをやりたいと考えていました。
認知科学や心理学では、身体の反応が先立って情動が生まれる、というモデルがあります。例えば、人工的に自分の心拍が早まったように感じさせることで、感情を変えるという研究もあります。ただ、心拍がはやまったからといってなかなか感情と一対一で結びつけることはできません。こうした研究をやりはじめた頃に、身体反応から感情をつくる技術には、あまり有効な手段がありませんでした。
僕が着目したのは「顔」です。表情と気持ちは一対一で結びついています。そこで自分の表情が変わったように感じさせればいいのでは、とつくったのが「扇情的な鏡」です。これはすごく効果的でした。「扇情的な鏡」はカメラ付きのパソコンのディスプレイを鏡に見立てて、そこに映った人の表情をリアルタイムで画像処理をして、笑顔にしたり悲しい顔にしたりします。
心理学的な指標で図ると、自分が笑顔になっているのをみると気持ちが上向き、逆に自分が悲しい顔になっているのを見るとどんどんネガティブになってしまうという効果がはっきり現れました。展示などで多くの人に体験してもらっていますが、展示をしながらお客さんの反応のデータを取って分析をすると、笑顔になる鏡を覗き込んだ人はその後笑顔になる確率が高く、また悲しい顔になる鏡を覗き込んだ人はその後悲しい表情をする確率が高くなっていました。バーチャルな表情の変化が実際の表情にも影響を与えてしまうというわけです。
実はそのころ、クロスモーダルの研究を調べていて、「クロスモーダル情動」に関する研究を知りました。「笑いながら怒る」など、声と表情の見た目が異なる感情を表している時に、感情の認識は声と見た目のどちらの影響を受けやすいかといったような研究です。そこで初めて、感覚知覚の先にある高次認知もクロスモーダルと関係しているんだなと気付きました。関係が深いのであれば、クロスモーダルな影響を使えば知情意（知恵、意思、情動）に代表される人間の高次機能にも影響を与えられるということです。そこで、そういうことが可能なのか、一通り試してみました。
知恵を変えることにチャレンジしたのが、Smart Faceという研究です。テレビ会議システムを使ってブレインストーミングをするのですが、対話相手の表情をリアルタイムな画像処理で笑顔にしながらブレストを行ったところ、何もしないときと比べて、ブレストで出てきたアイデアの量が1.5倍に増えました。これは、相手に対する快感情が生まれたためで、このように見た目を変えるだけで、情動にうまく働きかけて知的な能力を引き出せるようになるというわけです。
意思を変える、というのは、食べたいという気持ちの例もそうなのですが、他には買い物をするときに何を選ぶかという意思決定を変える研究をしました。鏡に見立てたディスプレイの前でマフラーを試着して、どちらを買うか選んでもらいました。この時に画像処理を施して表情を変化させます。そうすると、笑顔にした時に試着をしたマフラーを選ぶ傾向が高いことがわかりました。試着した結果笑顔になるので、それが似合っているように感じられて、好きになってしまうんです。好き嫌いの判断は選好判断というんですが、そういった判断も感情と深い関わりがあるので、感情に影響を与えるとそういったことまで影響が現れるというわけです。
現実を編集する
僕は、いわゆるVRについて研究している、という意識はあまりありません。人のリアリティがどこから生じるのか、人が現実と思っているものがどこから生じるのか、というのと、それがどうやったら簡単に変えられるのかにチャレンジしたい。僕がやっていることは、「編集」だと思っています。つくっている、というより編集している。
現実は変わらないものだとみんな思っているじゃないですか。特にいじめられている人とか。でも、ちょっといじるだけであたりまえとして感じている現実がこんなに変わるというのが、伝えたいことです。人の頭の中のことなんて、ひょろっと変わってしまう。それが僕はおもしろい。それがわかったら苦しいこともあるけれど、わかっていないから苦しい人の方が多くて、だからそういうことを伝えていきたい。
僕はずっと質問をし続けたいんです。人間ってこういう原理で動いています、人間の思考はこういう仕組みになっています、みんなはそれをどう思いますか？と。ものをつくっている人は、便利になることがゴールかもしれないけれど、僕はそうではなくて、それがわかって、ではどうしますか？ということを問い続けたい。
そもそも現実は曖昧なもので、簡単に変わってしまう。例えば、人ってこんな理由で太りますけれど、どうしますか？とか。Choice blindnessという現象があって、あなたが奥さんを選んだ理由は後付けかもしれないけれど、とか。その上でどうやって幸せに生きるのかということを、自分の頭で考えてもらいたくて問いを発しているわけです。
僕が研究をしているのは、みんなに考えてもらいたいからです。考えるきっかけをつくりたくて、そのためには人間の本質に近い問いを発していくだけでなく、多くの人が自分もやってみたいなと思えるように、ある面ではセンセーショナルでなければならない。研究で目指していることをそのまま社会に適用して、「ほらよくなったでしょ」じゃなくて、考えるきっかけにして欲しい。
人間の性質を露わにしてしまって、「人間はこうなっている」と突き付ける。そのときにこうやったらよくも使えるし、無視するとか、いやそれは本当は正しくないんじゃないの、という人もいるかもしれないけれど、それはそれぞれの人が考えてくれればよくて。僕は、「いや、人はこうなっていますよ。その時に社会をどう設計していけばよいと考えますか」と聞きたくて、研究をしています。
自分の頭で考えてもらいたい、というのは、自閉症の弟の影響が結構あります。例えば、自閉症という障害についても、考えることと、一緒に生活してみたり、体験することは全然違います。それと、常識だからと思っていることと、自分で考えてこうしようというのも全然違います。自閉症に対してバイアスを持つ人は多いけれど、弟を見て一緒に生活をしてきて、僕はあまりバイアスがない。町で弟と同じような人を見てもバイアスを持たないけれど、違う障害の人だった時に、自分の中にもバイアスがあると気付く。「これはバイアスだ、いかんいかん」と。
最近ではLGBTが話題になることも多いですけど、近くにLGBTの人がいなかったら、自分がバイアスを持つことにも気付かないかもしれない。きっかけがあれば自分で考えるけれど、きっかけもなく近くに人がいなかったら、無頓着に生きている。僕が自閉症には寛容になれるけれど、LGBTの人にはもしかしたら寛容じゃないかもしれない、というのは、結局LGBTについて体験を通して考えたことがないからです。
世の中は動的に変わっていきます。それに適応するには、自分の頭で考えないと、これまで障害とされてこなかったことが障害になる、これまで問題とされてこなかったことが問題になる、人間観が変わっていく、という現実の変化に対応できません。自分で考える、というのが最もよい方法と思います。
だからこそ、思考としては理学的なのかも知れませんが、必ず人が体験できる工学的なシステムとしてアウトプットしたいんです。どんなに人間にはこういう性質があるということがわかりました、と言葉を尽くしていっても、頭で理解することと体験することの間にギャップがあることを強く感じているから、最後は体験してもらって自分の頭で考えてもらうために、工学的なアプローチから研究を続けてきたんじゃないかなと思いっています。
■プロフィール
鳴海拓志（なるみ・たくじ）
東京大学大学院情報理工学系研究科助教。
1983年福岡生まれ。東京大学大学院工学 系研究科博士課程修了。博士（工学）。バーチャルリアリティや拡張現実感の技術 と、認知科学・心理学の知見を融合し、五感に働きかけることで人間の行動や能 力、生活の質を向上させる方法について研究している。また、これらの研究成果を 博物館や美術館で実践的に活用する取り組みもおこなっている。日本バーチャルリ アリティ学会論文賞、グッドデザイン賞など、受賞多数。