「目は口ほどにものを言う」という言葉があります。これは「目というものが、興味や感情、本心といった、人の様々な内面を映し出す鏡である」という意味です。それほど「目」の動きは、実に様々なことを伝えてくれます。
一般的に、人は何かに興味を持ったり、何かの行動を起こしたりする際、興味や行動の対象に視線を向けてしまいます。このような視線の動きに着目し、「人の興味や行動を先読みして、さりげなくサポートしてくれるテクノロジー」を実現しました。それが、富士通の「視線検出」技術です。
富士通研究所は、以前から、「人がどこを見ているか」目の動きを検出する研究・開発に取り組んできました。富士通のPCでは、画面のスクロールや拡大など、さまざまな操作を自動的に行う「視線アシスト」という機能で、すでに2012年10月から実用化しています。
小型センサーが埋め込まれた富士通のPC
この技術の実現には、2つの大きな課題がありました。
1つ目は「小型化の実現」。サイズが大きくなってしまうと、センサーを様々な機器に内蔵することや、センサーを自由に設置することが難しくなってしまいます。
2つ目は「低コスト化の実現」。精度よく視線を検出するためには、鮮明な画像を撮影する必要があり、鮮明な画像を撮影するために高性能なカメラとLEDを用いると、コストが高くなり、加えてサイズも大きくなってしまいます。
つまり、小型化と低コスト化の両立を求めると、撮影する画像が不鮮明となり、視線検出の要である精度が失われてしまうため、製品化がとても難しかったのです。
これらの課題を解決したのが、株式会社 富士通研究所 メディア処理システム研究所 イメージコンピューティング研究部 中島 哲主任研究員をはじめとする研究グループ。顔検出やそれを応用した人感センサーで培った画像処理技術をベースに、これまでは不可能だった不鮮明な画像からでも視線を精度良く検出する技術を実現しました。
視線検出技術のポイントについてのムービーをご覧ください。
■ 小型かつ低コストでありながら高精度で視線を検出。その技術の秘密とは?
カメラを利用する視線検出技術の原理は、目の「動かない部分=基準点」と「動く部分=動点」を見つけ、両者の位置関係に基づいて視線を検出する、というのが基本になります。この「基準点・動点の選び方」の違いで分けると、大きく2つの方法に分けることができます(図A)。
図Aのように、従来の2つの方法ともにメリット・デメリットがあります。富士通研究所では、精度を重視して、赤外カメラと赤外LEDを用いる「2」の方法をベースとして選択しました。ただし、小型で低コストの赤外カメラと赤外LEDを用いた場合、撮影した画像が不鮮明になり、不鮮明な画像から視線を検出すると、精度が悪くなってしまいます。このため、「小型で低コストの赤外カメラで撮影した不鮮明な画像からであっても、高精度に視線検出が可能な画像処理技術の実現」という難題に挑戦しました。
そして、不鮮明な画像からでも高精度な視線検出が可能な、富士通独自の視線検出技術を開発しました(図B)。具体的には、次のような処理を行っています。①赤外カメラで撮影した不鮮明な入力画像から、②角膜反射と瞳孔の候補を抽出し、③視覚や光学の特性などをもとに作成したさまざまな整合性ルールから最も整合性が高い角膜反射と瞳孔の候補を絞り込み、④正確に角膜反射と瞳孔を検出、この角膜反射と瞳孔から視線の検出を行います。
この新たな技術によって、小型で低コストの赤外カメラと赤外LEDにもかかわらず、高精度な視線検出が可能となりました。薄さ7mmという小ささから、PCのデザインを損なわずに内蔵できます。
その小ささは1円玉と比べても一目瞭然。小型でも高精度な視線検出ができるようになり、視線検出技術の新たな可能性が生まれました。
■ 小型視線検出センサーが拓くビジネスの可能性
小型で低コストでの視線検出という技術は、PCに内蔵するだけでなく、視線検出のセンサーとして使用することも可能にしました。例えば、店舗のショーケースなど、ディスプレイのデザインを損なわずに設置できるようになります。視線を検出するためのセンサーを店舗内の様々な場所に設置すると、来店者が何の商品に興味を持ったかといったマーケティングに結び付くデータの収集が可能になります。また、観光案内図などに設置して、気になった観光名所についての情報を表示したり、音声ガイダンスを流したりすることも可能になります。視線検出技術を活用することで、これまでにはない便利なサービスの登場が期待されます。
これら最新技術の一端となる「小型視線検出センサー」。そのデモンストレーションムービーを、ぜひご覧ください。
そして、この技術開発は、視線検出技術のさらなる可能性を広げようとしています。
■ 小型化の技術をベースにした視線検出技術の新たなステージ
前述の小型視線検出センサーは、センサーから人までの距離が比較的近い80センチメートル程度までの範囲で視線の検出が可能でした。このたび、小型化で培った技術がベースとなり、近距離だけでなく、より遠い範囲での視線の検出を目的とした技術を新たに開発しました。この技術では、人の顔の位置を検出するためのカメラと、顔の位置を検出した後に視線を検出するためのパン・チルト・ズーム型視線検出カメラの2つを使います。この2つのカメラを高速に連動させる制御を工夫することで、センサーから数メートル離れた位置にいる人を対象とした遠距離視線検出技術を実現しました。
遠距離視線検出では、やや離れた場所からでも視線を検出できるため、遠距離視線検出の特長を活かした次のような用途への展開が期待できます。例えば美術館や博物館、あるいは店舗のショーウインドウといった、展示物を直接手に取って眺めたり、近づいたりすることが難しい場面での利用が考えられます。
センサーから数メートル離れた位置にいる人の視線まで検出できる「遠距離視線検出」技術。その最新技術の一端となるデモンストレーションムービーを、ぜひご覧ください。
他にも、自動車に取り付けてよそ見運転といった不注意の察知など、安全運転を支援する研究も進めています。
現在取り組んでいる視線検出技術は、赤外LEDを使っているため、赤外光を含む日光の影響を受けやすく、視線検出はさらに難しくなります。自動車向けの視線検出技術では、これまでの画像処理技術に新たな工夫を加えることで、そのような条件下であっても安定した視線の検出が可能になりました。
明るい日中でも安定して視線を検出可能な自動車向けの視線検出技術は、よそ見防止など、様々な使い方が期待されています。
小さな部品が生み出す大きな可能性。これこそ、富士通のイノベーションの成果なのです。
■「人の考えを先読みする」ことを目指した視線検出技術。最新テクノロジーがもたらす未来の可能性
視線検出技術は、アイデア次第で無限の可能性を秘めています。この技術に対する想いを、中島 哲主任研究員は、「私たちの研究チームでは、ヒューマンセントリックという人を中心とした社会の実現を目標に、"人の気持ちを先読みする気の利いた技術の実現"という想いを大切にしているんです。」と語ります。
視線検出技術の発展は、私たちのビジネスや社会にどんな未来の可能性を与えてくれるのでしょう。
例えば、機械操作の単純ミスや作業中の見落としなどのような「不注意の察知」。交通事故の過失を未然に防ぐなどの「ヒューマンエラーの予防」。視線の先にあるモノをロボットが取ってくる、あるいは視線の動きから興味や迷いなどを理解してサポートする、というような「人の気持ちを先回りして円滑なコミュニケーションを支援する機器やロボット」など───。
富士通の技術は、このようなヒューマンセントリックな未来を実現していきます。
関連リンク
【関連記事】
「FUJITSU JOURNAL (富士通ジャーナル)」は、【ICT×INNOVATION】豊かな未来を創るビジネスやテクノロジー情報をお届けするWEBマガジンです。