現実とデジタル情報を融合させるxR（xReality）技術は、近年、開発と実用化が進んできました。
その活用範囲はエンターテイメント分野にとどまらず、工業、教育、医療、小売業などの分野にも広がっています。
xR技術の概要を解説するととともに、xRを活用するためのインターフェースの技術について紹介していきます。
Contents
ARやVR、MR、SRなど、現実世界の情報にデジタル情報を融合させる画像処理技術の活用が盛んにおこなわれています。それらの技術を総称してxRと呼んでいます。
xR技術を活用することで、仮想空間内で実際に手を動かして機械を操作しているような体験ができたり、過去や架空の世界を実際に歩いているかのような体験ができたりします。
例えば、アミューズメント施設で、ゴーグルをつけて乗り物に乗ると、実際には飛んでいないのに空を飛んでいるかのような感覚を味わえるアトラクションを見たことがないでしょうか？他にも、スマートフォンのカメラで風景を撮影すると、現実ではそこに居ないキャラクターが現れたりするゲームなどもあります。
アミューズメント分野だけにとどまらず、xR技術は工業や教育、医療、小売業など、様々な分野への活用が進んでいます。
AR、VR、MR、SRの技術は、それぞれ以下のような技術になります。
ARは、現実世界の情報にCGやテキストなどのデジタル情報を重ね合わせる技術です。
スマートフォンやタブレット端末などにより撮影された画像に、CGで描かれたキャラクターや建造物を重ね合わせることで、現実にその場にあるかのような体験ができます。
VRは、CGや特殊効果を用いた画像などを使って仮想世界を作り、仮想空間内で現実世界と同じように活動しているような体験ができます。
利用者はヘッドマウントディスプレイや専用のコントローラーなどを用いて仮想空間内の画像を見たり、操作をおこなったりします。
MRは、現実世界の情報にデジタル情報を重ね合わせる点はARと同じですが、仮想空間内に現実の世界のデータを重ねるなど、現実の世界と仮想の世界がより複合的に重なり合わさります。
ヘッドマウントディスプレイなどを用いて、同じ仮想空間内で現実世界のように複数の人間で会話や共同作業をおこなったり、現実世界の映像を仮想空間内で鑑賞したりすることができます。
SRは、仮想世界の情報を現実世界の別の情報に置き換えて認識させることで、別の現実世界の情報を今の現実世界の情報として認識させる技術です。
例えば、ヘッドマウントディスプレイを使い、過去や別の場所の360度映像を見せることで、現実にその場にいるような体験ができます。
xR技術は、いままでエンターテイメント分野での利用が大半を占めていました。
現在では他の分野でも利用が進んでいます。
例えば、医療分野では、仮想空間上に投影された立体的な人の臓器を360度方向から観察することで、臓器構造の理解を深めることや、手術前の患者への説明に役立てる取り組みがおこなわれています。事前に撮影されたCT画像から人体の3Dモデルを作り、仮想空間上でさまざまな角度から患部を検証するとともに、手術のシミュレーションをおこなうシステムも開発されています。
工業や建築分野では、3DCADデータから立体モデルを作成し、仮想空間上で複数人による設計レビューをおこなうシステムが利用されています。工事の手順確認をおこなうため、実際の建築物の映像の上に、設計データから作成した3D CGによる構造物を投影することで、確認時間の大幅な削減に成功している例もあります。工場の事前のレイアウト確認などにもxR技術は活用されています。
また、小売りや不動産業では、家具を部屋に置いた際にどのように見えるのか、AR技術により事前に確認できるサービスや、部屋の中を360度方向に歩いて見学しているかのような体験ができるサービスも登場しています。
xR技術を実現するためのインターフェースにはさまざまな物があります。スマートフォンもその1つです。
スマートフォンにインストールしたVR、ARアプリを利用することにより、仮想空間内で自らの分身（アバター）を動かしたり、カメラで撮影した画像にキャラクターを投影してゲームを楽しんだりできます。
xRでは、より没入感を増したり、人の動きをリアルタイムで仮想世界に取り込んだりするためのインターフェースが各種開発されています。
以下に代表的なインターフェースを挙げます。インターフェースは主に情報を受け取る側のインターフェースと、現実世界の情報をデジタル情報として入力するインターフェースに分けられます。
まず情報を受け取る側のインターフェースを挙げます
ヘッドマウントディスプレイは、頭部に装着するディスプレイの総称であり、ゴーグル型やメガネ型など各種の形状があります。
ジャイロセンサーや角速度センサーなどにより、装着している人がどちらの方向に顔を向けているか検知し、それに合わせた画像を投影します。これにより、ディスプレイに映し出された仮想空間内で、現実世界と同じように視線を360度動かす体験ができます。
ヘッドマウントディスプレイには、片目と両目のタイプがあり、左右の目の視差を用いて、立体的な画像を空間上に浮かび上がらせることも可能です。
ディスプレイ部分は、装着すると全く周囲が見えない非透過のものや、カメラにより外部の画像も確認できるもの、ディスプレイが半透明で外部も同時確認できるものがあります。頭部に装着するので、ディスプレイ部分は薄く、軽量なものが求められます。
スマートグラスは、メガネ型のヘッドマウントディスプレイの一種で、カメラと網膜投射型のディスプレイを備えており、通常のメガネのように軽量で小型です。
ゴーグル型のヘッドマウントディスプレイとは異なり、周囲の景色が確認できるので、現実世界にデジタル情報を表示するARで主に利用されます。
例えば、操作手順を装置ごとに表示して、作業者の動きを補助するといったことがおこなわれています。
次に情報を入力するインターフェースです。
多くのxRコンテンツでは、上下左右で全周囲の映像情報が用意されます。
ユーザーは頭や体の向きを変えたり、視線をずらしたりすることで仮想空間内のどこを見るかをコントロールします。
そのため、ゴーグルにはXY方向の2次元の動きと、Zやθ方向の動きを検知する加速度センサーやジャイロセンサーが搭載されています。
また手術シミュレーターのように複雑な操作を行なうシステムでは、そのシステム専用のコントローラーが必要になります。
このようなコントローラーで物体を動かす、ひねる、回転させるといった動作を入力する目的でも加速度センサーやジャイロセンサーが活用されています。
モーションセンサーは、人の体の各部に取り付けたセンサーから、体の動きを検出します。
体の動きをより正確にリアルタイムで検出できるので、仮想世界のキャラクターの動きを滑らかにできます。
グローブ型センサーは、人の手にはめて使用するセンサーです。
指関節の細かい動きを検知することで、仮想世界内で、実際に手で掴むように物を取ったり離したりすることができるようになります。
また、仮想空間上のキーボードを現実世界のように操作するなど、細かい作業が可能になります。
触覚センサーは、接触表面にかかる力や温度などを測れるセンサーです。
通常はZ方向の力のみ検知するセンサーが使われることも多いですが、3軸の力（XYZ方向）の力を検出できるセンサーもあります。
3軸方向の力を接触点で測定することで、押す力（圧力）や滑りかけの状態、滑っている状態などを検知することが出来、より人間の触覚に近い挙動を検知する事が出来ます。
例えば、物体の表面に指先を載せて滑らせたときにその指先が物体を摩擦する感覚や、ドライバーでネジを回し入れているときの握力と摩擦力の変化などが挙げられます。
また、触覚センサーには薄いシート型のものも有ります。このシートセンサーを床に敷き詰めることで、地面を踏みしめている足圧や、足の裏に生じる摩擦力が検知できます。動きだけでなく、力の変化も仮想空間に反映できるので、よりリアルに動作の入力が可能になります。
NISSHAではこのシート型の触覚センサー（摩擦・せん断力センサー）を開発しています。詳しくは製品ページで紹介しています。
xRインターフェースは進化を続けています。現在多く利用されているヘッドマウントディスプレイは、厚みや重さがあり、長時間装着するにはユーザーの負担が大きくなります。今後は、より軽量で、装着感のないインターフェースや、人や物の動きをダイレクトに伝えられるインターフェースの開発が求められます。
既に、眼鏡程度の軽量、小型で、より鮮明な画像を映し出せるゴーグルや、コンタクトレンズ型のディスプレイの開発も始まりつつあります。何も装着していない手でも、空間で動かすだけで、仮想世界内のボタンを操作できるようになる技術も実現しつつあります。
今後、5G、6Gと、通信の高速大容量化が進めば、遠隔地間でのxR活用が進み、利用される分野も更に広がることが予想されます。
フィルムディバイス開発や量産におけるご相談はお気軽にご連絡ください
