開発と実用化が進むxR
仮想世界で活躍するインターフェース技術を紹介

現実とデジタル情報を融合させるxR(xReality)技術は、近年、開発と実用化が進んできました。

その活用範囲はエンターテイメント分野にとどまらず、工業、教育、医療、小売業などの分野にも広がっています。

xR技術の概要を解説するととともに、xRを活用するためのインターフェースの技術について紹介していきます。

xRとは

ARやVR、MR、SRなど、現実世界の情報にデジタル情報を融合させる画像処理技術の活用が盛んにおこなわれています。それらの技術を総称してxRと呼んでいます。

xR技術を活用することで、仮想空間内で実際に手を動かして機械を操作しているような体験ができたり、過去や架空の世界を実際に歩いているかのような体験ができたりします。

例えば、アミューズメント施設で、ゴーグルをつけて乗り物に乗ると、実際には飛んでいないのに空を飛んでいるかのような感覚を味わえるアトラクションを見たことがないでしょうか?他にも、スマートフォンのカメラで風景を撮影すると、現実ではそこに居ないキャラクターが現れたりするゲームなどもあります。

アミューズメント分野だけにとどまらず、xR技術は工業や教育、医療、小売業など、様々な分野への活用が進んでいます。

AR、VR、MR、SRの技術は、それぞれ以下のような技術になります。

AR(Augmented Reality:拡張現実)

ARは、現実世界の情報にCGやテキストなどのデジタル情報を重ね合わせる技術です。

スマートフォンやタブレット端末などにより撮影された画像に、CGで描かれたキャラクターや建造物を重ね合わせることで、現実にその場にあるかのような体験ができます。

AR

VR(Virtual Reality:仮想現実)

VRは、CGや特殊効果を用いた画像などを使って仮想世界を作り、仮想空間内で現実世界と同じように活動しているような体験ができます。

利用者はヘッドマウントディスプレイや専用のコントローラーなどを用いて仮想空間内の画像を見たり、操作をおこなったりします。

VR

MR(Mixed Reality:複合現実)

MRは、現実世界の情報にデジタル情報を重ね合わせる点はARと同じですが、仮想空間内に現実の世界のデータを重ねるなど、現実の世界と仮想の世界がより複合的に重なり合わさります。

ヘッドマウントディスプレイなどを用いて、同じ仮想空間内で現実世界のように複数の人間で会話や共同作業をおこなったり、現実世界の映像を仮想空間内で鑑賞したりすることができます。

MR

SR(Substitutional Reality:代替現実)

SRは、仮想世界の情報を現実世界の別の情報に置き換えて認識させることで、別の現実世界の情報を今の現実世界の情報として認識させる技術です。

例えば、ヘッドマウントディスプレイを使い、過去や別の場所の360度映像を見せることで、現実にその場にいるような体験ができます。

SR

用途が広がるxR技術

xR技術は、いままでエンターテイメント分野での利用が大半を占めていました。

現在では他の分野でも利用が進んでいます。

例えば、医療分野では、仮想空間上に投影された立体的な人の臓器を360度方向から観察することで、臓器構造の理解を深めることや、手術前の患者への説明に役立てる取り組みがおこなわれています。事前に撮影されたCT画像から人体の3Dモデルを作り、仮想空間上でさまざまな角度から患部を検証するとともに、手術のシミュレーションをおこなうシステムも開発されています。

工業や建築分野では、3DCADデータから立体モデルを作成し、仮想空間上で複数人による設計レビューをおこなうシステムが利用されています。工事の手順確認をおこなうため、実際の建築物の映像の上に、設計データから作成した3D CGによる構造物を投影することで、確認時間の大幅な削減に成功している例もあります。工場の事前のレイアウト確認などにもxR技術は活用されています。

また、小売りや不動産業では、家具を部屋に置いた際にどのように見えるのか、AR技術により事前に確認できるサービスや、部屋の中を360度方向に歩いて見学しているかのような体験ができるサービスも登場しています。

xRを実現するインターフェース技術

xR技術を実現するためのインターフェースにはさまざまな物があります。スマートフォンもその1つです。

スマートフォンにインストールしたVR、ARアプリを利用することにより、仮想空間内で自らの分身(アバター)を動かしたり、カメラで撮影した画像にキャラクターを投影してゲームを楽しんだりできます。

xRでは、より没入感を増したり、人の動きをリアルタイムで仮想世界に取り込んだりするためのインターフェースが各種開発されています。

 

以下に代表的なインターフェースを挙げます。インターフェースは主に情報を受け取る側のインターフェースと、現実世界の情報をデジタル情報として入力するインターフェースに分けられます。

まず情報を受け取る側のインターフェースを挙げます

ヘッドマウントディスプレイ

ヘッドマウントディスプレイは、頭部に装着するディスプレイの総称であり、ゴーグル型やメガネ型など各種の形状があります。

ジャイロセンサーや角速度センサーなどにより、装着している人がどちらの方向に顔を向けているか検知し、それに合わせた画像を投影します。これにより、ディスプレイに映し出された仮想空間内で、現実世界と同じように視線を360度動かす体験ができます。

ヘッドマウントディスプレイには、片目と両目のタイプがあり、左右の目の視差を用いて、立体的な画像を空間上に浮かび上がらせることも可能です。

ディスプレイ部分は、装着すると全く周囲が見えない非透過のものや、カメラにより外部の画像も確認できるもの、ディスプレイが半透明で外部も同時確認できるものがあります。頭部に装着するので、ディスプレイ部分は薄く、軽量なものが求められます。

ヘッドマウントディスプレイ

スマートグラス

スマートグラスは、メガネ型のヘッドマウントディスプレイの一種で、カメラと網膜投射型のディスプレイを備えており、通常のメガネのように軽量で小型です。

ゴーグル型のヘッドマウントディスプレイとは異なり、周囲の景色が確認できるので、現実世界にデジタル情報を表示するARで主に利用されます。

例えば、操作手順を装置ごとに表示して、作業者の動きを補助するといったことがおこなわれています。

スマートグラス

次に情報を入力するインターフェースです。

加速度センサーやジャイロセンサーを搭載したコントローラー

多くのxRコンテンツでは、上下左右で全周囲の映像情報が用意されます。

ユーザーは頭や体の向きを変えたり、視線をずらしたりすることで仮想空間内のどこを見るかをコントロールします。

そのため、ゴーグルにはXY方向の2次元の動きと、Zやθ方向の動きを検知する加速度センサーやジャイロセンサーが搭載されています。

また手術シミュレーターのように複雑な操作を行なうシステムでは、そのシステム専用のコントローラーが必要になります。

このようなコントローラーで物体を動かす、ひねる、回転させるといった動作を入力する目的でも加速度センサーやジャイロセンサーが活用されています。

加速度センサー・ジャイロセンサー搭載コントローラー

モーションセンサー

モーションセンサーは、人の体の各部に取り付けたセンサーから、体の動きを検出します。

体の動きをより正確にリアルタイムで検出できるので、仮想世界のキャラクターの動きを滑らかにできます。

モーションセンサー

グローブ型センサー

グローブ型センサーは、人の手にはめて使用するセンサーです。

指関節の細かい動きを検知することで、仮想世界内で、実際に手で掴むように物を取ったり離したりすることができるようになります。

また、仮想空間上のキーボードを現実世界のように操作するなど、細かい作業が可能になります。

グローブ型センサー

触覚センサー

触覚センサーは、接触表面にかかる力や温度などを測れるセンサーです。

通常はZ方向の力のみ検知するセンサーが使われることも多いですが、3軸の力(XYZ方向)の力を検出できるセンサーもあります。

3軸方向の力を接触点で測定することで、押す力(圧力)や滑りかけの状態、滑っている状態などを検知することが出来、より人間の触覚に近い挙動を検知する事が出来ます。

例えば、物体の表面に指先を載せて滑らせたときにその指先が物体を摩擦する感覚や、ドライバーでネジを回し入れているときの握力と摩擦力の変化などが挙げられます。

また、触覚センサーには薄いシート型のものも有ります。このシートセンサーを床に敷き詰めることで、地面を踏みしめている足圧や、足の裏に生じる摩擦力が検知できます。動きだけでなく、力の変化も仮想空間に反映できるので、よりリアルに動作の入力が可能になります。

NISSHAではこのシート型の触覚センサー(摩擦・せん断力センサー)を開発しています。詳しくは製品ページで紹介しています。

触覚センサー

これからのxR技術

xRインターフェースは進化を続けています。現在多く利用されているヘッドマウントディスプレイは、厚みや重さがあり、長時間装着するにはユーザーの負担が大きくなります。今後は、より軽量で、装着感のないインターフェースや、人や物の動きをダイレクトに伝えられるインターフェースの開発が求められます。

既に、眼鏡程度の軽量、小型で、より鮮明な画像を映し出せるゴーグルや、コンタクトレンズ型のディスプレイの開発も始まりつつあります。何も装着していない手でも、空間で動かすだけで、仮想世界内のボタンを操作できるようになる技術も実現しつつあります。

今後、5G、6Gと、通信の高速大容量化が進めば、遠隔地間でのxR活用が進み、利用される分野も更に広がることが予想されます。

関連記事

大型ひずみゲージの量産に対応可能 NISSHAのエッチング加工技術
ひずみゲージは民生分野から産業分野に至るさまざまなシーンで用いられています。構造物の強度試験や劣化診 ... もっと見る

大型ひずみゲージの量産に対応可能 NISSHAのエッチング加工技術

フィルムデバイス
センサー電極に使われる導電材料の種類、各材料の加工方法や用途をご紹介
センサーは、さまざまな物理現象、化学現象を電気などの信号に変換する部品です。たとえば、光に反応する光 ... もっと見る

センサー電極に使われる導電材料の種類、各材料の加工方法や用途をご紹介

フィルムデバイス
こんなことも可能!フォトレジストで製造できる微細な構造体をご紹介
フォトリソグラフィは、光(主に紫外線)を使用して基板上のCu薄膜などにパターンを形成する技術です。パ ... もっと見る

こんなことも可能!フォトレジストで製造できる微細な構造体をご紹介

透明デバイスを実現するための光学特性 透明性の向上方法について解説
現在、タッチパネルはスマートフォンや大型ディスプレイ、カーナビなど、日常生活に欠かせない製品の多くに ... もっと見る

透明デバイスを実現するための光学特性 透明性の向上方法について解説

フィルムデバイス
NISSHAのフィルムデバイス加工技術で実現する高い加工精度
フィルム基材の上にセンサーなどの電子部品を形成したフィルムデバイスは、現在多くの製品に採用されていま ... もっと見る

NISSHAのフィルムデバイス加工技術で実現する高い加工精度

フィルムデバイス生産で活躍するフォトエッチング加工の基礎知識
エッチング加工の基礎 エッチング加工は、液体やガス状の薬品により素材表面を腐食させて目的の形状を形成 ... もっと見る

フィルムデバイス生産で活躍するフォトエッチング加工の基礎知識

フィルムデバイスの基材となるベースフィルムの種類と特長
ベースフィルムの役割 フィルムデバイスを形成する基材のことをベースフィルムと呼びます。ベースフィルム ... もっと見る

フィルムデバイスの基材となるベースフィルムの種類と特長

フィルムデバイスの量産技術 NISSHAのロール to ロール技術を紹介
Web検索からこの記事にたどり着かれた皆さんは「ロールtoロール」という言葉を既にご存知の方も多いで ... もっと見る

フィルムデバイスの量産技術 NISSHAのロール to ロール技術を紹介

光と電気を通す透明導電膜
透明導電膜とは 透明導電膜は、金属材料と同じように導電性を持ちながら、可視光を透過する性質を持つ材料 ... もっと見る

光と電気を通す透明導電膜

どのように選ぶ? フィルムデバイスの加工方法 
フィルムデバイス加工技術の基礎 フィルムデバイスの基材となるベースフィルムには、厚さ30〜150μm ... もっと見る

どのように選ぶ? フィルムデバイスの加工方法 

フィルムデバイスの活用事例
私たちの身近で幅広く活躍するフィルムデバイス 厚さ100μmほどのフィルム基材の上に電気的機能を付加 ... もっと見る

フィルムデバイスの活用事例

フィルムデバイス
NISSHAのOEM・受託開発
お客さまの期待に応えるNISSHAのOEM・受託開発 スマートフォンや家電、産業用機器など、電子機器 ... もっと見る

NISSHAのOEM・受託開発

フィルムデバイスとは
フィルムデバイスとは フィルムデバイスとは、とても薄いフィルムの上にさまざまな機能を付加したものです ... もっと見る

フィルムデバイスとは

フィルムデバイス

見積り依頼/技術に関する相談

フィルムディバイス開発や量産におけるご相談はお気軽にご連絡ください

CLICK