ここから本文です。

「C&Cユーザーフォーラム&iEXPO2016」レポート

耳を使った「ヒアラブルデバイス」で広がる、新たなコンピューティングの可能性

2016年12月15日

スマートウォッチ、スマートグラスなどのウェアラブルデバイスが、新しいコンピューティングスタイルを実現するものとして注目されています。そうした中、NECは“耳”に着用する新デバイスとアプリケーションインターフェースを開発。C&Cユーザーフォーラム&iEXPOでは、この「ヒアラブルデバイス」の可能性について紹介しました。

人間の“耳”に着目した新たなウェアラブルデバイス

講演では、NECの3名が登壇し、それぞれの担当領域から新しいウェアラブルデバイスの可能性について言及しました。

現在は、あらゆる人がスマートフォンやタブレットを使ってインターネットにアクセスし、必要な情報を入手したり、サービスを利用するようになっています。しかし、現在のデバイス活用法には、ある問題が存在するとNECの古谷聡は指摘します。「前提として、ユーザーが自らデバイス画面を注視し操作しなければならないため、その間は他の作業をいったん止める必要がある。より一層、便利でスマートなIT活用を目指すのであれば、本質的にはこの状態は望ましくありません。今こそ、新たなコンピューティングスタイルを模索すべき時期に来ていると当社は考えています」。

左から
NEC NTTドコモ営業事業部
マーケティング部長
古谷 聡

NEC データサイエンス研究所
主幹研究員
越仲 孝文

NEC テレコムビジネスユニット 新事業開発室
主任
大杉 孝司

求められているのは、必ずしもユーザーのアクションを必要とせず、「ハンズフリー」で、簡単かつ自然にサービスにアクセスできる環境。この観点でNECが進めているのが、人の「耳」「聴覚」に着目したデバイスの研究開発です。具体的には、耳に装着する、すなわち“ヒアラブル(Hear+able)”なデバイスを使った、新たなコンピューティングスタイルを提案しているのです。

これまでも、スマートウォッチに続くウェアラブルデバイスについては、例えば「Google Glass」のようなメガネ型デバイスの開発が進められてきました。ただし、現実には技術的な壁も高く、まだ人々が日常的に使える段階には達していません。「これに対し、NECのヒアラブルデバイスは、すでにさまざまなソリューションを提供していける段階に来ています」とNECの大杉孝司は語ります。

「耳の内部の形状の違い」を個人認証に活用する

ヒアラブルデバイスの活用を支える技術の例として紹介されたのが、NECが2016年3月に発表した「耳音響認証技術」です。

「耳音響認証技術」の原理と特徴
認証時に必要な動作がほぼなく、ユーザーの手間や負担が少ない点がメリット。今後は、NECが持つ顔認証、指紋認証などのノウハウも投入し、一層の精度向上を目指しています。

これは、マイクロホンとイヤホンの機能を併せ持つヒアラブルデバイスを耳に装着し、イヤホンから出した音の反響音を基に個人を識別する技術。「耳の穴の入り口から鼓膜に達する『外耳道』の構造は、人それぞれに異なるとされています。この技術は、その特性を利用し、個人に固有の反響音を認証に使用するものです」とNECの越仲孝文は説明します。

現在までのところ、認証精度は「他人受入率」が0.1%(1000回に1回)、「本人拒否率」は2%(50回に1回)を達成。これは顔認証や音声認証と同等の精度であり、すでに十分実用化レベルにあるといえます。

「何より、認証用機器に体の一部をかざすなどの動作が不要で、移動中、作業中など、いつ・どこでも瞬時に認証が行える点がメリット。失敗したときのリトライも、ユーザーに負担をかけることなく行えるため、その回数によって誤りを指数関数的に減少させていくことも可能です」と越仲は述べます。

地磁気の情報を基に、GPSが苦手とする屋内での位置測位を実現

もう一つ、ヒアラブルデバイスの活用を支える重要技術が、「屋内位置測位技術」です。

地磁気を活用した「屋内位置測位」
単にデータを収集するだけでなく、ディープラーニングでの学習結果を活かすことで、データのぶれに左右されにくい、高精度な位置測定を実現します。

現在は、従業員や顧客の動態把握といった狙いから、屋内で人の位置を正確に把握したいというニーズが高まっています。屋外と違い、GPS信号が届きにくい屋内での位置測位には、これまでビーコンや無線LANなどを用いた方法が存在していましたが、これには機器の設置コストがかさむというデメリットがありました。

「そこでNECは、『地磁気』の活用に着目しました。一般に、鉄を用いて建てられたビルなどの建築物は、時間が経つうちに構造部分が地磁気を帯びて磁石化し、外とは異なる磁場を屋内に生成しています。その磁場のデータを、屋内の人の位置測位に活用するものです」と大杉は説明します。

具体的には、まず対象となる建物内の地磁気の状況や位置情報に関するデータを、あらかじめ調査して取得します。それを、対象者のヒアラブルデバイスに搭載した「地磁気センサー」や「PDR(Pedestrian Dead-Reckoning:歩行者自律航法)センサー」から上がってくるデータと照らし合わせることで、その人が建物内のどこにいるかを検出するというものです。

ポイントは、事前調査で得た地磁気のデータ、および対象者からのセンサーデータを、ディープラーニングで学習することで、イレギュラーなデータの乱れを排除し、高精度な位置測位が実現できること。また、加速度センサーなども併用することで、鉄柱と鉄柱の間の距離が長く、固有の磁場が弱い建物の中でも精度の高い位置測位が可能になるとNECは考えています。

こうした仕組みを活用すれば、新たな設備インフラを設置することなく、低コストで位置測位を活用したサービスが実現できます。例えば、個人の位置情報を、その人の趣味や嗜好などの情報とともにパーソナルデータとして蓄積し、居場所に応じたタイムリーなサービスを提案していくといったことが可能になるでしょう。

「もちろん、センサーをスマートフォンなどに搭載するという方法も可能です。ただし、スマートフォンの場合、対象者がデバイスを持ち替える可能性があり、位置測位の精度を維持することが難しい。平衡感覚(回転加速度)を司る三半規管もある耳に固定できるヒアラブルデバイスが最適だと考えています」と大杉は話します。

高度な「感情認識」で人々の暮らしの利便性向上に貢献

さらにNECは、より発展的なヒアラブルデバイス活用を実現するものとして、人の表情や体の動き、感情などを深く理解してモデル化するヒューマンセンシング技術にも注力しています。

「例えばコールセンター業務では、通話時の声の高さや大きさ、発話のタイミング、速度、交わされる単語などから、お客様の『怒り』やオペレータの『謝意』などのデータを取得。従来は見落とされてきた不満を抽出するといった感情認識ソリューションも、すでに実用レベルにきています」と越仲は語ります。

また同時に、耳の内側で鳴る「体内音」を拾えば、脈拍、呼吸などのバイタルサインまでをデータとして取得することが可能。「表情」のデータを取得する他のセンサーなどと併用すれば、より高度な感情認識が可能になります。

これが実現できれば、「対象者の体調や心理状況を加味した、最適な行動支援を音声でナビゲートする」仕組みや、「店の前を通りがかった人のうち、『急いでどこかへ向かっている人』以外にセール情報を音声で伝える」といった仕組みが可能になるでしょう。そのためにNECは、すでにヘルス関連のデバイスを提供するサルーステック社との協業も進めており、技術的な検討を開始しています。

「また、ゆくゆくはさまざまなメーカー様に参画いただき、デバイス自体のラインアップも拡充したいと考えています。リファレンスとなるプロトタイプの開発にも着手しているため、ぜひ新たなビジネスアイデアとして、ご検討いただければと思います」と古谷は語り、講演を締めくくりました。

ヒアラブルデバイスでの個人認証を実体験できる環境を用意

C&Cユーザーフォーラム&iEXPO2016の展示会場においては、ヒアラブルデバイスのテスト機を用意し、体験型のデモンストレーションを実施しました。

ヒアラブルデバイスによる個人認識のデモ

具体的には、実際に来場者がカナル型のヒアラブルデバイスを装着し、外耳道の反響音によるユーザー情報の登録・認証プロセスを体験できる環境を用意。登録後、別の人が認証しようとしてもはじかれる様子などを体験した来場者は、登録プロセスのスムーズさと、認証の精度に驚いている様子でした。

ほかにも展示では、地磁気とAI、ディープラーニングを活用した屋内位置測位技術についてのデモも実施しました。このデモでは、ヒアラブルデバイスを装着して移動する人物が画面上に動画で映し出され、その1秒ごとの移動データを、インターネット経由でクラウド上のデータベースに送信。用意した建物内の間取り図に表示される様子をWebブラウザで確認できるようにしました。来場者は、解説員から「買い物時の顧客の動線の確認」「工場内での人員配置の最適化」といった活用例の説明を受けながら、興味深そうに見入っていました。

地磁気を使った屋内位置測位のデモ

スマートデバイスの登場を例に挙げるまでもなく、新しいデバイスの活用は、これまでにない可能性を人々の暮らしにもたらします。これからもNECは、人々の活動の効率化、社会の安全・安心に貢献する新技術を追求していきます。

関連キーワードで検索

さらに読む

本文ここまで。
ページトップ