令和4年度 秋期 エンベデッドシステムスペシャリスト試験 午後II 問1 VR会議システムの構成と映像・音響・測位の処理

仮想現実技術を利用したシステムに関する次の記述を読んで，設問に答えよ。

D社は，3次元の仮想現実の空間（以下，VR空間という）の中で，参加者がアバターと呼ばれる分身を存在させ，アバターの操作・操縦を可能にして，別の場所にいるほかの参加者と交流するシステム（以下，VRシステムという）を開発している。
VRシステムでは，VR空間上にある会議室（以下，会議室という）でオンライン会議を行うためのサービス（以下，会議サービスという）を提供している。会議サービスでは，参加者は，会議室内にあるスクリーン（以下，スクリーンという）を使ってプレゼンテーションをしたり，3D CADで作成した3Dモデルを会議室内に出現させて説明したりすることができる。会議サービスの様子を図1に，VRシステムの構成を図2に，VRシステムの主な構成要素を表1に示す。

〔VRゴーグル〕

VRゴーグルの主な構成要素を表2に示す。

〔会議サービス〕

会議室の中で，現実には別々の場所にいる複数の参加者が，アバターを使ってオンライン会議を行うためのサービスである。

それぞれの参加者は，席に座り，VRゴーグル及びVRコントローラーを用いてインターネットを介して会議に参加する。各参加者には，自身の分身となるアバターがあらかじめ用意されており，VRゴーグル及びVRコントローラーで会議室内のアバターを操作することができる。各参加者はVRゴーグルを装着することで，会議室内の様子を自身のアバターの視点で見た立体映像として見ることができる。また，VRゴーグルに搭載されたスピーカーからは，会議室内の音声を自身のアバターの位置に対応した立体音響として聞き取ることができる。

参加者は，自身の目の前を 180 度カメラで撮影した映像の一部を切り取った映像（以下，ライブ映像という）を，会議室内で表示することができる。

また，VRサーバに格納された会議室内の文書ファイル及び3Dモデルファイルを使用することができる。ライブ映像及び文書はスクリーンに表示させることができ，3Dモデルは会議室内に立体的に表示させることができる。各参加者は，自身のアバターの腕を使用して，3Dモデルをつかんで動かすことができる。

〔会議サービスの利用手順〕

1. 会議の参加者のうち1人が，VRサーバで会議の予約を行い，会議の開催日時，ハッシュ値を用いた会議IDなどが記載された招待状を，会議に招待する参加者のVRゴーグルに通知する。ここで，参加者は，VRサーバに参加者としてあらかじめ登録されている必要がある。
2. 参加者は，VRサーバの認証を受けた後，会議IDを使って会議室に入室する。
   なお，VRサーバは，最初の1人が入室するときに，VR空間上に会議室を設ける。また，会議室に付帯するリソースとして，スクリーン，共有フォルダを生成する。
3. ほかの参加者がVRサーバの認証を受けると，VRサーバは，会議IDが合致する会議室にその参加者を入室させる。
4. 会議中，各参加者は，音声で会話したり，ライブ映像及び文書をスクリーンに表示したり，3Dモデルを会議室内に表示したりできる。会議中の音声を記録したファイル，会議で使用した文書ファイル及び3DモデルファイルはVRサーバに保存され，全ての参加者に共有される。
5. 各参加者は，会議が終了すると会議室を退室する。VRサーバは，全ての参加者が退室すると，会議室と付帯するリソースの一部を破棄する。

〔VR空間での没入感〕

参加者は，VRゴーグルを頭に装着し，両手にVRコントローラーを持つ。参加者は，自身のアバターの腕を使い，VR空間上にある3Dモデルをつかんで移動させることができる。このとき，アバターの腕が3Dモデルに接触しても，参加者は感触を感じることはできないので，アバターの腕が3Dモデルに近づいたら3Dモデルの色を変えることで，つかんだことを参加者に分かりやすくしている。

また，VRコントローラーの操作によって，自身のアバターの手の先からレーザーポインタのようなビーム光（以下，ビームという）を出すことができ，スクリーンを使ったプレゼンテーションを行うときに，レーザーポインタとして使うことができる。また，参加者は，スクリーンに当たったビームの輝点を用いて，ライブ映像及び文書に対して操作を行える。

〔180度カメラの画像処理〕

180度カメラは魚眼レンズで周囲を撮影しており，魚眼レンズで撮影した画像（以下，魚眼画像という）を利用するためには，画像の変換が必要である。魚眼画像は図3(a)に示すように湾曲している。これを，湾曲を補正した平面画像に変換する場合，図3(b)から図3(c)で示すように魚眼画像の湾曲を打ち消す方向に変換を行う必要がある。また，図3(d)と図3(e)は変換元となる魚眼画像と変換後の平面画像の一部の画素を拡大して示したものである。

注記 (e)の画素2〜4は，後述する設問で使用するので省略している。

〔VRゴーグルの測位〕

VRゴーグルのIMUでVRゴーグルの姿勢を計測するとともに，3Dカメラと180度カメラで参加者の周辺にある物を撮影して，参加者の頭の位置と動きを算出する。これらによって，頭の水平方向の回転と上下左右の傾き及び前後左右の位置として測位情報を取得することができる。

〔アバターの頭と腕の動き〕

参加者のアバターは，参加者の身振り手振りに追従して動き，その様子が自分及びほかの参加者のVRゴーグルのディスプレイに表示される。

アバターの頭の動きは，VRゴーグルの測位情報を反映するように表現される。

アバターの両腕は，参加者がVRコントローラーを動かすと追従して動く。VRコントローラーのIMUによって，VRコントローラーの姿勢を計測する。参加者の両腕の位置は，VRゴーグルの3Dカメラの画像に写ったVRコントローラーに搭載した赤外LEDの発光位置からVRコントローラーの位置を計測することで求める。3Dカメラの撮影範囲と計測の例を図4に示す。

注記1 ▲は顔の真正面にあり，VRゴーグルから6m離れている。
注記2 ★は左に30度及び上に30度の位置にあり，VRゴーグルから3m離れている。

VRコントローラーには赤外LEDが搭載され，左手のVRコントローラーのLED1と右手のVRコントローラーのLED2で発光パターンを変えて区別できるようにしている。

〔VR空間での描画〕

各参加者は，スクリーンにライブ映像及び文書をオーバーレイで表示したり，会議室内に 3Dモデルを表示したりすることができる。

VRサーバは，ライブ映像と文書を描画した画像を全ての参加者の VRゴーグルにストリーミング配信し，VRゴーグルが，受信した映像を横 1,600×縦 900画素でスクリーンに表示する。

3Dモデルのほか VR空間上に表示される全ての物は，多角形を組み合わせて立体化する。VRゴーグルで同時に処理できる多角形の頂点の数（以下，ポリゴン頂点数という）は最大数十万点であり，演算処理を軽減するために，演算の対象となるポリゴン頂点数を可能な限り減らすことが望ましい。

VRゴーグルの左右のディスプレイに出力される画面のフレームレートは 100フレーム／秒である。一つのディスプレイの解像度は横 1,600×縦 900，1画素当たりのデータ長は 32ビットとなっている。

〔立体音響〕

立体音響では，次のような方法を用いて，参加者が頭を動かすのに合わせて，スピーカーから聞こえる音声の方向を変える。

VRゴーグルは，参加者の声を，マイクで集音し，モノラルで録音する。また，再生時には，ほかの参加者の声及び 3Dモデルの音声は，点音源として扱う。VRゴーグルは，モノラルの音声を 20ミリ秒ごとのフレームに区切って周期的に処理する。VRゴーグルは，VRゴーグルの左右のスピーカーそれぞれに対して，VR空間上の音源との VR空間上の距離及び方向によって変わる音声を，対象となる VR空間の音響シミュレーション結果を使用し，音の波としての物理的な伝播特性を加味して，信号処理を行う。会議サービスでは，壁や天井に囲まれた環境での音の伝播が再現される。VRゴーグルは，左右で個別に，音源ごとの信号処理結果をミキシングして，左右のスピーカーで再生する。参加者は，スピーカーで再生された左右の音声の違いによって，VR空間上のほかのアバター又は 3Dモデルの位置から音声が聞こえるように感じられる。

設問3 拡張現実への機能拡張について答えよ。

VRシステムで使用したVRゴーグルの技術を転用し，拡張現実を体験することができるデバイス（以下，ARグラスという）を開発することになった。

恐竜の化石などを展示した博物館内で入館者がARグラスを装着することで，展示物と拡張現実を融合させた展示を体験することができるサービス（以下，AR展示サービスという）を提供する。AR展示サービスの様子を図6に示す。

AR展示サービス有効時に AR表示対象物を ARグラス越しに見ると，実際に展示されている AR表示対象物に対して CGモデルが重畳して表示される。
AR展示サービスの概要を図7に示す。ARグラスは ARサーバと通信することで CGモデルのデータなどを受信し，AR表示対象物を認識したときに，対応する CGモデルを表示する。AR展示サービスで用いる主な構成要素を表4に示す。

〔AR展示サービス〕

AR展示サービスは，博物館の入館者のために用いられるサービスである。

ARグラスを装着した入館者が歩行を停止してから一定時間内に，ARグラスの180度カメラがAR表示対象物を認識すると，図6のようにAR表示対象物に重なる形でCGモデルが表示される。このとき，入館者がAR表示対象物の周りを移動すると，現実の立体物のように移動した位置から見たCGモデルが表示される。また，ARグラスの3Dカメラの撮影範囲内にいるほかの入館者を認識すると，CGモデルとほかの入館者の位置関係を考慮した表示が行われる。ARグラスは一度認識したAR表示対象物が一定時間以上認識できなくなった場合，対応するCGモデルを非表示にする。

また，CGモデルの表示に合わせて，表示中のCGモデルの位置から音声が発せられているかのように，ARグラスのスピーカーから音声を再生する。

ARグラスの状態遷移の一部を図9に，ARグラスの各状態の概要を表5に示す。ここで，AR表示対象物となっている展示物は1点だけ展示されているものとする。また，図9にはARグラスのつる部分に設置されたスイッチでのAR展示サービスの有効化／無効化による状態遷移は含まれていないものとする。