安価で手軽なヘッドマウントディスプレイ（HMD）の販売が相次ぎ「VR（普及）元年」と呼ばれた2016年から２年が経ち、バーチャルリアリティ（VR）という言葉も人口に膾炙してきた。だが、HMDを活用したVRのエンターテインメントなどでの産業活用が進みつつある一方で、日本では大学の研究者らアカデミアが培ってきたVRの知見がそこで十分に活かされているとは言い難い。
1989年にアメリカで初めてVRという言葉が使われ、その後世界的に「第一次VRブーム」が起きた。その中で、大学の研究者らを中心として、工学だけでなく心理学なども含む複合領域としてVRという研究領域が確立していった（『VRブーム再び、歴史は繰り返すか？「VR黒歴史」から展望するこれからのVR』参照）。だが、HMDを活用したVRが一般に普及しつつある今も、研究領域としてのアカデミアVRは、産業や社会と必ずしも密接に結びついてはいない。
大学の研究者らが進めるアカデミアVRは、どこへ向かうのだろうか？社会や人々が抱える課題を解決するテクノロジーとして、社会に定着していくのだろうか？
VRを使った教育や研究を推進
日本のVR研究者らは1990年代の第一次VRブームの時期から、アカデミアVRで存在感を示してきたが、その中心となったのが東京大学の研究者らだった。
今年２月、東京大学は、VRを使った教育や研究を推進するとして「バーチャルリアリティ教育研究センター（VRセンター）」を設置した。目指す方向のひとつが、学内だけでなく、現場の課題を持つ学外や企業などと進めるVRの社会実装だ。11月１日に開催された設立記念式典「東京大学が挑戦するバーチャルリアリティの未来」では、会場となった同大伊藤国際学術研究センター伊藤謝恩ホールを埋め尽くす400人近くが参加し、産学官からの期待の高さがうかがわれた。
同センターは東大内７部局（情報理工学系研究科、人文社会系研究科、工学系研究科、医学系研究科、新領域創成科学研究科、情報学環、先端科学技術研究センター）からの運営委員を含む約70人の研究者が参加し、VRを活用した教育や研究を推進する。VRの社会実装やVRコンテンツ開発支援を目的とした応用展開部門と、人の知覚や心理などの基盤研究、VRの要素技術の研究などを行う基礎研究部門からなり、それぞれの活動は学内外や企業と連携していくとした。
１日の記念式典では同センター長で東大教授の廣瀬通孝氏が取り組みについて紹介し、社会との接続に向けた研究の場として「バーチャルリビングラボ」と「バーチャルフィールドラボ」を挙げた。
「リビングラボ」とは生活空間を模した実験空間で、研究者だけでなく生活者やサービス提供者など多様なステークホルダーが集まり、新たなサービスを一緒に作るための場を指す。「バーチャルリビングラボ」の狙いは、個別のバラバラの研究を融合して行くことだと言う。工学部１号館に拠点空間として整備中で、設計は東大教授の隈研吾氏が担当する。また、「バーチャルフィールドラボ」では、博物館や公共施設などのリアル空間に研究者が出ていきフィールドワークなどに取り組むとした。
今後のVRセンターとアカデミアVRの方向性について、強いメッセージが感じられたのが、若手講演・パネルディスカッションだった。
「バーチャルリアリティへの期待」とした前半では、教育や医療などに携わる４人の若手教員が現場からの課題とVRへの期待を議論した。続く「バーチャルリアリティのこれから」とした後半では、VR研究に取り組む４人の若手教員が、それぞれの研究や取り組みについて紹介した。モデレーターを務めたVRセンター応用展開部門長で東大教授の稲見昌彦氏はこのプログラム構成について、「VRを活用して教育、研究をしていくのがセンターの狙い。そのため、VR研究者ではない、現場の課題を持っている先生に先に話してもらい、それに応える形でVR研究者が話すという構成にした」と説明した。
「日々現場で使われるにはどうすべきか。研究としての業績優先もほどほどに」
前半の「バーチャルリアリティへの期待」に最初に登壇した医学系研究科（東大病院脳神経外科）助教で医師の金太一氏は、自身もVRを使った手術シミュレーションの研究と臨床現場での利活用を進めており、3D解剖学アトラス「iRis」やDICOMビュアー「eMma」を開発し提供している。。脳腫瘍など脳神経外科手術では、知識、戦略、判断、手先の器用さが必要となる。こうした知識やスキルの支援、トレーニングとして、手術プランニングソフトや手術トレーニングといった手術シミュレーションがある。だが、金氏は「現状はどちらにも課題がある。（現場で使いやすい）手術プランニングソフトはほぼ皆無。手術トレーニングに必要な高精細な生体モデルが存在しない」と説明する。
そこで金氏はこうしたシミュレーターの開発を進めているが、「反省したこと」として紹介したのが、脳動脈瘤クリッピングシミュレーターの開発だ。脳動脈瘤クリッピングの手術シミュレーションとして実際に手術症例で使ってみて役に立ち、またこれをもとに研究論文を書くこともできた。だが、現在は使っていないという。「役に立ち、日々現場で使われるにはどうしたらいいか。（研究としての）業績優先もほどほどにしなければいけない」とした。
こうした課題を踏まえて、金氏は現状の取り組みを紹介した。手術１症例あたりの医用画像は数十種類、数千枚にものぼる。金氏らはこれらの情報を融合しようとしている。手術のシミュレーションとして臨床現場で活用するために、「（3DCGの）シンプルなモデルでも、プアであってはならない。研究開発済みだからといって、更に研究する要素がないというわけではないし、社会還元という課題がある」と話した。
開発を進める手術シミュレーターでは、手術適応の可否の判断にも役立つと。例えば、これまで26年間手術不適応とされてきた顔面痙攣の患者の場合、開発したシステムでシミュレーションをしたところ、手術可能とわかったという。こうして手術前のシミュレーションとしてこれまでに900症例以上で活用してきた。
金氏は手術シミュレーターの3DCGモデル開発について、開発と臨床現場に携わる立場から２つの視点を述べた。ひとつは、形状を変形させたときの物理的整合性は必要か？という課題について、「厳密な物理的整合性は必要ない。本当に見たいのは、変形させたときの脳の奥にある構造だ」と話した。また、視覚的なリアリティはどこまで必要か？という課題については、「『多分必要になるからリアルに作る』というのではなく、目的を明確にする必要がある。単に視覚的にリアリティがあればいいというわけではない」とした。
「耳鼻科とVRの親和性は非常に高い」
続いて医学系研究科（東大病院耳鼻咽喉科）助教の吉川弥生氏が登壇し、耳鼻咽喉科の医師の立場からVRへの期待を述べた。耳鼻咽喉科では、脳から直接出ている神経である脳神経12対のうち、視神経以外のすべての神経を対象としている。これは、耳鼻科では視覚以外の感覚すべてを扱っていることを意味する。VRは感覚を扱う技術だが、「耳鼻科とVRの親和性は非常に高い」と吉川氏は強調した。
吉川氏は現状臨床でVRを活用しているわけではないが、耳鼻咽喉科で活用の可能性がある用途を提案した。まず、外科医の手術の練習を挙げた。御遺体や人工側頭骨を使って練習するが、高額な費用がかかる上、後者は神経が通っていないなど実際の手術とは大きく異なる。その上手術手技の高度化が進んでいるため、習得に時間がかかるという課題もある。さらに、医師の働き方改革も議論されており、短時間で効率的に学ぶシステムが必要だと指摘した。
こうした現状の課題に対し吉川氏は、「VR手術教育で解決できないか。VR手術シミュレーターは今でもあるが、削る感覚が異なるなど『コレジャナイ感』がある。耳鼻咽喉科での外科手術教育には、触覚ディスプレイがないと難しいのではないか」としてVRへの期待を示した。
学習では自己効力感が最も大切な要素と言われる。吉川氏はHMDをかぶってけん玉をすることでけん玉の技術が向上するという「VRけん玉」の例を引いて、VRによって手術トレーニングでも自己効力感向上ができるのではないかといった期待も述べた。
美術鑑賞、本物の作品『そのもの』以外の価値も
次に登壇した、美術教育（ギリシア・ローマ美術史）が専門で人文社会系研究科教授の芳賀京子氏は美術鑑賞、美術教育、美術研究における現状でのVR活用と今後の期待を述べた。
まず、近年の美術鑑賞のトレンドとして、従来の美術館や博物館へ行ってただ鑑賞するだけではなく、「参加する」方向にあると説明。その例として東京国立博物館の見学コース紹介アプリ「トーハクなび」、東博にあるVRシアターを紹介した。だがこれらのVR活用は、「美術館や博物館へ行くことが前提にある。その上で作品鑑賞を支援するものとしてVRが活用されている」と指摘した。
こうしたVRの活用方法について、従来の美術鑑賞では「『そのもの』が目の前にあるという事実が感動を呼ぶ。それを補助するためのVRという考え方が主流だった」と芳賀氏は説明する。一方で、国内４つの国立博物館に所蔵される国宝・重要文化財の高精細画像が公開されているウェブサイト「e国宝」では、博物館で見る国宝『そのもの』よりも高精細にはっきりときれいに見える。こうした、『そのもの』よりも価値のあるものとしてのVRの活用に期待を寄せた。
新しい鑑賞の場や手法の取り組みとして、フィンランド国立アテネウム美術館とDNPミュージアムラボによる、美術鑑賞のプログラム開発を挙げた。「高齢者など混雑している美術館へ行くのは結構大変。美術館へのアクセスが難しい人は多いが、こうした取り組みは、美術館や博物館へ行っての作品鑑賞の代替になりうるだろうか」（芳賀氏）。
本物の作品『そのもの』があることが美術鑑賞の価値だという考え方は根強いが、一方で芳賀氏は必ずしも本物だけに価値があるわけではないという例も紹介した。徳島県鳴門市にある大塚国際美術館は、展示されている作品は全て西洋名画のコピーだが、「行ってよかった美術館ランキング」１位になるなど高評価だという。「リアルではできない、バーチャルならではの鑑賞の仕方、楽しみ方があるのではないか」と芳賀氏は指摘した。
人と人、社会をつなぐVRが研究の出口に
前半の「バーチャルリアリティへの期待」の最後は、先端科学技術研究センター准教授の檜山敦氏が登壇した。檜山氏は廣瀬氏の研究室を経て、現在は稲見氏の研究室に所属。VR研究サイドの研究者だが、技術伝承や高齢者の支援のためのVR活用を進めてきた現場の立場から、自身の活動をもとにVRへの期待を述べた。
一般に技能の獲得には長い年月のトレーニングが必要だ。一方、檜山氏らの研究では、カメラやマイク、筋電センサーをつけて記録した紙漉きの人間国宝の方の動きを、HMDとヘッドフォン、振動モーターを使い初心者の身体で感じるように再現することで、通常よりも基本動作の取得を早くできることがわかったという。
最後に檜山氏は、「人と人、そして社会をつなぐVRが研究の出口ではないか」として締めくくった。
続いて、前半の若手講演の登壇者らによるパネルディスカッションが行われた。モデレーターで情報学環教授の苗村健氏は、４人の講演から、今後のVR研究の課題として「映像と聴覚の次に、触覚や体性感覚といった次のテーマが残っている。またデータなしでは研究ができないが、地に足の着いたデータ基盤をどうするか。この２つが気になった」と指摘した。
また苗村氏の「動機づけやモチベーションの話題が（４人の講演に）共通して出ていたが、これをどうするかも課題だ」とした投げかけに対して、吉川氏は「技を学ぶ上では自己効力感と能動性が重要だが、能動性に関してはVRが視点を足す必要がある」とした。
小中学校での美術教育の課題を講演で指摘した芳賀氏は、「クラス全員で五感を共有できるVRができると素晴らしいと思った」と話した。複数の人で同じ体験を共有するなど、現在のVRはネットワーク環境が前提になっているものが多い。これに対し檜山氏は「リアルタイムで遠隔で環境が持っている空気感を再現できればと思っているが、そのためにはVRのための通信符号化などVRに特化した通信技術を考える必要がある」と指摘した。
前半の講演では２人の医師からVRへの期待が述べられた。苗村氏の「VRは医師だけでなく患者が使うものという方向も出てくる。患者サイドのニーズはどうか」とした問いかけに対し、金氏は「医師にとってVRは基本的には技術の均てん化に貢献するが、触れる機会が増えることで新しいアイデアにつながる。（医用画像である）DICOM画像を見られるビュワーを提供しているが、患者が自身の医用画像をダウンロードして他の医療機関の先生に見せる用途に使っていた。これは我々が想定していなかった使い方。また、（情報系研究者との）共同研究では我々からすると役に立たないと思う突飛なアイデアからすごくいい結果になりつつある。このような場で情報共有できるのがもしかしたらいいのかもしれない」と述べた。
これからのVRは「身体と心を作り出す」
VRと言うとHMDを被って、あたかも現実であるかのような体験することを思い浮かべる人は多いが、アカデミアではより広く扱っている。VRとは「コンピュータの作り出した空間の中に入り込み、そこでいろいろな体験をしようという技術のこと」と廣瀬氏は説明する。そのためのツールのひとつとして、HMDが活用されてきた。
従来よりアカデミアのVR研究ではHMDや部屋の壁全体をディスプレイとする没入型ディスプレイ、触覚ディスプレイなど知覚に働きかけるツールを活用して、リアリティのある環境を作り出すための研究が進められてきた。一方で最近では、知覚に働きかけることで、人間の身体や心そのものに影響を与えるVR研究が進んでいる。
「バーチャルリアリティのこれから」とした後半の若手講演・パネルディスカッションでは、従来の「環境を作り出す」VRに対して、若手研究者らが取り組む、「人間の身体や心を作り出す」VR研究や、課題の抽出から解決に向けたVRの活用について議論がなされた。
最初に登壇した情報理工学系研究科講師の鳴海拓志氏は、「こころと上手に付き合うためのVR」と題して「人間の心を作り出す」VR研究を紹介した。
従来のVR研究は、自身の周囲の環境をいかに作り出すかに取り組んできた。だが、「環境と自分は分かれているのではなく、我々は環境から得たもので自己を形作る。環境を作るVRは、実は同時に自分を作り出しているのかもしれない。そこで身体を考えるのが重要なトピックスになってくる」と鳴海氏は指摘した。
では、VR空間内で自身の身体を変化させると、どうなるのだろうか？HMDを被り、自身がアインシュタインのアバターになって認知課題を解くと成績が向上したという海外の研究を紹介。さらに、ビデオチャットの表示画面で映し出される表情を画像処理で笑顔にすると、ブレストのアイデア量が増えたという鳴海氏自身らの研究を紹介した。
VRで環境を自在に操作することで、成功体験を自在に作り出すこともできる。鳴海氏らの研究では、HMDを被ってボールを使った的当てトレーニングを行い、動きを補正して「成功させてみせる」練習を繰り返すことで、自己効力感が高まり、実際の的当てでも成功確率が上がったという。
これからのVR研究の方向性として「身体と心を作り出す」とした上で、再現性のあるツールとしてVRを活用していくためにはサイエンスとしての基盤研究が必要となり、そこで得られた知識を元にエンジニアリングとしての応用を考えていく必要があると述べた。一方で、VRによって他者が心を自在に操作できるという可能性にも触れ、「例えば『好きでないものを好きにする』などといった使い方はまずいだろう。どういった分野でどういった使い方をしていくべきか、社会とアカデミアが学際的に考えていく必要がある」とした。
異なる分野の人々と協働して価値を作る
続いて情報学環准教授の筧康明氏が登壇した。VRでは、フィジカルの世界を捨ててバーチャルの世界に入ってくとする向きもある。一方で筧氏はそうではなく両方を活用する可能性を追求してきた。
筧氏は人が働きかけることで相互作用が生まれるような、特に2000年代は映像を「膜」としてそこにあるものに重ね合わせることで新たな価値を持つような作品や装置を作ってきた。一方、プロジェクションマッピングやディスプレイなどの映像表現だけでは、「物理的なものへの介入としては物足りない。物理的なものを直接コントロールできることがディスプレイの夢としてある」（筧氏）として、超音波や磁力、熱なども活用しているという。
筧氏の研究室では、エンジニアだけではなく彫刻家やデザイナー、手話通訳者など、様々な分野の専門家が一緒に作っていく学際的なやり方をとっている。そうした中で、VRなどのデジタル技術の活用で新たな価値を作っていく活動として、山口情報芸術センターで行った、ダンスを作るためにデジタル技術を使うプロジェクトを紹介した。
このプロジェクト「Reactor for Awareness in Motion（RAM）」では、ダンサーとプログラマーがチームを組み、ダンサーたちの新しい動きを開拓し、表現を作り出すことに取り組んだ。ダンサーを動きをデータ化し、そこからまた新しい動きを作る。「時にはプログラマーがダンスし、ダンサーがプログラムを書き、両者がともに関わり、出たアイデアをその場で作ってみて試してみた」（筧氏）。
こうした異なる分野の協働の経験を踏まえ、筧氏は「VRもすでにあるものを使うのではなく、その場でリアリティを作り出すところから、皆が関わるのがよいのではないか。それがこれからのVRではないか。そのためには、（ステークホルダーの）動機づけとVRを実際に作れる人を増やすことが重要になる」とまとめた。
映像の中から触覚情報を取り出す
次に登壇した新領域創成科学研究科准教授の牧野泰才氏は、「身体の動きから知る触覚」として、映像の中から触覚情報を抽出する研究を紹介した。
VRで触覚を再現するための課題のひとつとして、もともとの触覚情報をどのように取ってくるかという課題がある。3DCGでデザインされた空間内に触覚情報を付与することはすでにある程度可能だが、一方、全天周カメラで撮影した360度映像にリアルタイムで触覚情報を付与することは難しい。そこで、牧野氏らは映像から触覚情報を抽出できないかと考えた。
例えば、パントマイムでは、動きの見た目だけで触覚情報を伝えている。また、TV番組などで食べ物をレポートする「食レポ」では視聴覚で触情報を伝えることを試行錯誤してきた。「これができるのなら、機械でもできるのでは」と牧野氏。
そこで物を持ち上げる動作を、映像から三次元的な骨格情報として記録。物の重さを１キロずつ増やしそれぞれの情報を記録した情報を機械学習させることで、持ち上げる動作からものの重さを推定させることに成功した。同様にして、硬さが異なるものを突いた時の手の動きを機械学習させることで、手の動きからものの硬さを推定することもできた。
重さや硬さといった触覚情報に応じた人の反応の変化が特徴的に現れることで、これらの推定が可能となった。だが、「個人差が大きい」（牧野氏）という課題も残った。
一方で比較的個人差が少ないのが、身体全体を動かす動きという。ジャンプをする動作を機械学習させることで、数秒後の動作予測をすることができた。「リアルタイムでジャンプ予測をし、ほとんど予測ミスが起こらない」（牧野氏）。
VR研究者と現場で課題を持つ人たちとの協働をいかに進めるか？
最後に登壇した情報学環特任准教授の味八木崇氏は、知覚の拡張などの「ヒューマンオーグメーテンション学」を学問領域としていく取り組みについて紹介をした。これらのいわば「人間拡張」は稲見氏が率いる研究事業のほか、今年11月に産業技術総合研究所が研究拠点を設置するなど、研究領域として近年注目を集めている。
ヒューマンオーグメンテーションのコンセプトの起源として味八木氏は17世紀に顕微鏡を発明し、「顕微鏡は視覚の拡張」「他の感覚を拡張する機構も発明されるだろう」と記したロバート・フックを挙げた。VRというキーワードが生まれる前の1960年代にアイヴァン・サザランド氏がHMDの元となる研究を行った時期を「第ゼロ次VRブーム」を呼ぶことがあるが、味八木氏は「第ゼロ次VRブームは（ロバート・フックの時代である）17世紀だと言いたい」と話した。
味八木氏は、知覚の拡張に向けた研究を紹介した。研究テーマはSF作品からヒントを得ることが多いとし、1980年代のサイバーパンクの代表作である「ニューロマンサー」（ウィリアム・ギブスン）で登場する、サイバースペースに意識を没入することを指す「ジャック・イン」などから影響を受けたという。
続いて、後半の若手講演の登壇者らによるパネルディスカッションが行われた。まず、前半の若手講演での現場からの期待について、鳴海氏は「金先生の最後の話は非常に共感できる。（鳴海氏が研究している）クロスモーダル（感覚間相互作用）でも、どこを現実のエッセンスとして抜き出せば効率的かを考えることが重要で、ある感覚情報だけにフォーカスすれば他のリアリティも上がって感じられるというものがある。何が重要か気づけるのは現場ならでは。（VR研究者は）現場からのフィードバックを受けてできることがあるのではないか」と述べた。
前半で度々出ていた「自己効力感」というキーワードについては、鳴海氏は「我々の研究と非常に近いトピックだ」とし、牧野氏はジャンプ動作予測のデモで数秒後の動作予測を本人に提示しながらジャンプをしてもらうと、「機械の予測を超えてジャンプをしようとする人が出てきた。機械が出来ると言ったことを人は超えようとする。そこにヒントがあるかもしれない」と話した。
VR研究者と現場で課題を持つ人たちとの協働は大きなテーマだが、実際はなかなか難しい。筧氏は自身の経験も踏まえ、「吉川先生の話で、アイデアを試してみたいと上の先生に言ってNOと言われたとあったがこれは興味深い。もっと即興的に作ることができればアイデアだけ伝えてNOではなく、作りながら考えるということができるのではないか。作り手と使い手の垣根をいかに崩していくかが重要だ。もっと使う人と作る人がごちゃまぜになっていくとよい」と話した。これに対しモデレーターを務めた稲見氏は、「リビングラボでは、何を作るかというところからステークホルダーが集まって議論をしていければ」と補足した。
他分野との連携を進めている味八木氏は自身の経験から、「コンピュータサイエンスと他の分野の連携には、基盤となる知識を共有することが必要と言われるが、最近その考えが揺らぐことがあった。VRで幻視を提示して緩和ケアをしている方を紹介され、VRが役に立っていることを知った。ただこれは当事者の方がVR装置を組み立てて試行錯誤してやっている。そこに自分が入っていてそれ以上のことができるのか？と思った。当事者が簡単にVRを使えるツールキットを作ることも同時にやっていく必要があるのではないか」と問題提起した。
他分野との協働の経験が多い筧氏はそのうまくいくための秘訣を問われ、「異なるバックグラウンドの人と一緒にやるのはとても難しい。結局はチームメイキングのような話で、お互いの『違い』をどう深く見つめて、『違い』を楽しめるかどうかなのではないか」と答えた。
VRセンターは、多様な人々が集まり価値を生む場になるか？
後半の若手講演で伺えたように、今後のアカデミアVRは、単なる環境の再現にとどまらず、それによる人の身体や心への影響を考慮した感覚の提示へと進んでいくだろう。そのためには、心理学や認知科学といった、人を知る学問との融合もこれまで以上に進んでいきそうだ。こうした学際的な研究を進めるにあたり、異なる分野や立場の人たちとの協働は不可欠だ。
アカデミアVRはもともと学際的に成り立ってきた。1989年にアメリカのコンピュータ科学者で音楽家のジャロン・ラニア―が設立したベンチャー企業VPL Researchが製品紹介としてVRという言葉を使ったのが、VRという言葉の起源と言われている。その翌年、米マサチューセッツ工科大学が中心となり、工学や心理学、芸術など様々な分野で同じ目的を持つ研究者を一同に集めたサンタバーバラ会議を開催。それまで異なる名称で呼ばれていた研究領域をVRに統一するという方向ができ、VRの研究領域ができていった。
日本では第一次VRブームにあたる1997年に、廣瀬氏が中心となり当時として世界最大のVR装置である「CABIN」を東大に建設、そこに工学だけでなく心理学などの異分野の研究者らが集まり、共同研究に発展していった。そこでは、当時若手研究者だった苗村氏や稲見氏も活躍した。VRセンターのリビングラボは、こうした多様な分野の人が集まり、価値を生み出す場になるのだろうか？
一方で、アカデミアVRが社会や産業といった、現場の課題解決に本当の意味で役立つテクノロジーとして浸透していくのかという大きな課題も残る。第一次VRブームでもアカデミアVRは産業や社会と密接な関係を持って進められてきたが、その後社会や人々が抱える課題解決のテクノロジーとして定着することはなかった。前半の講演・パネルディスカッションでは、医療や教育などの現場からの課題とVRへの期待が述べられた。課題解決につなげるためには、金氏が指摘したように、研究にとどまらず、日々臨床現場で使われる、本当に役に立つこと、またそれに対してコストを払う人がいるような「稼ぐ」ことを念頭におくことが必要ではないだろうか。