複合現実(MR)とは何か問題 - くらげのChangeLog

かつての単純な定義

「拡張現実(AR)」「仮想現実(VR)」だけなら話は単純だ。
現実世界の座標を基準にした仮想オブジェクトと現実世界を表示するのが「拡張現実(AR)」、現実世界の座標を基準にした仮想オブジェクトのみを表示するのが「仮想現実(VR)」……である。
ちなみに現実世界の座標を基準にしないなら、現実に存在しないオブジェクトを表示していても上記のような呼び方はしない。(例：写真にデコレーションアイコンを重ねて表示するものなど)
少なくとも複合現実(MR)という単語がメジャーではなく、この2つの区分でxR技術が語られていた時期はあった。
(2010年あたりのQRコードみたいな紙で拡張現実を実現していた頃)
しかし、そこに「複合現実(MR)」なる単語が追加されて事態はややこしくなる。

複合現実(MR)の定義のあいまいさ

https://vrinside.jp/news/vr-ar-mr/#MR
複合現実(MR)は「仮想世界と現実世界を融合させる技術。カメラやセンサーなどを駆使して、現実世界と組み合わさった仮想物体などに近づいたり触れたりといった操作を行う」技術とされている。
しかし「現実空間と仮想空間を融合」するのは拡張現実(AR)でも行っていることであり、「近づいたり触れたり」することもカメラデバイスを近づけたり、タッチパネルで仮想的なモノに対して操作を行うという意味で拡張現実(AR)でも行っている。
複合現実(MR)の定義のあいまいさの例として、「現実の机の上に仮想的なキューブを置く」というアプリケーションを考えた時、以下のようにどこまでMRなのかがはっきりしない。

(a) 現実世界の座標を基準にしたキューブを2Dディスプレイで表示する。操作不可能。　　　　　　　　　　　　　　→　AR
(b) 現実世界の座標を基準にしたキューブを2Dディスプレイで表示する。ジョイパッドなどで転がす。　　　　　　　→　AR
(c) 現実世界の座標を基準にしたキューブを2Dディスプレイで表示する。6dof入力デバイスでそれを触って転がす。　→　？
(d) 現実世界の座標を基準にしたキューブをHMDで表示する。操作不可能。　　　　　　　　　　　　　　　　　　　　→　？
(e) 現実世界の座標を基準にしたキューブをHMDで表示する。ジョイパッドなどで転がす。　　　　　　　　　　　　　→　？
(f) 現実世界の座標を基準にしたキューブをHMDで表示する。6dof入力デバイスでそれを触って転がす。　　　　　　　→　MR

要するに複合現実(MR)か、そうでないかを明確に区切るキーとなる技術が存在しないように思える。

もともとの定義

https://drive.google.com/file/d/1w5b6btCEd3CLFvIqvp5ZtCxLrA2nX6W9/view
https://www.jstage.jst.go.jp/article/sicejl1962/41/9/41_9_645/_pdf
もともとは1990年代にトロント大学のポール・ミルグラム教授によって、仮想世界と現実世界を継ぎ目なく融合する技術全体を「Mixed Reality (MR)」と呼ぶよう提唱されていたらしい。
これは現代では「xR」と呼ばれているものの定義に近く、現代に使われている「MR」とは意味が異なるように思う。

結局の所

Microsoft HoloLens が「従来のARとは全く違う技術だ」ということを強調するために過去から引っ張り出してきたセールスワードが変な形で定着したのが、現代の「複合現実(MR)」の正体なんじゃないか？と個人的には思っている。
現在定着している「複合現実(MR)」の定義は、現実と仮想オブジェクトを同時に表示するxR技術のうち豪華な仕組み（HMD、6dof入力デバイス、複数デバイスで同じ表示を共有など）を使ったものという程度の意味だと思う。
そして「拡張現実(AR)」と「複合現実(MR)」は、グレースケール問題のようにそれを区切る明確な境界は無い。