Kinectから取得した1組のRGB-D画像は対象物を1方向から撮影した画像であり、遮蔽により見えない部分の形状は取得できません。そこで、対象物を取り囲むように複数の方向から撮影し、各方向の点群データの生成、さらに点群データの位置合わせ（レジストレーション）と合成を行うことで、対象物の3次元形状を取得します。点群データの位置合わせでは、同時に各方向での3Dセンサーの位置や角度も推定します。

また、1回の撮影で捉えることができない、部屋等の周囲環境に対しても、同様の方法で3次元形状を取得することができます。

3次元形状の復元

左右スクロールで表全体を閲覧できます

NUIとはNatural User Interfaceの略で、コンピュータ・電子機器の操作をマウスやキーボードではなく、手の動きや声等人間の自然な動作で行う方法です。

Kinectに代表されるモーションセンサーデバイスにより人物などの対象物を認識することで、操作機器に直接触らなくても、腕・脚・手・指先・顔のパーツの動きを用いて操作可能なアプリケーションを実現することができます。

例えば以下のようなアプリケーションの実現をお考えのお客さまに、技術検討段階からソフトウェア開発までを行います。

• 触れられない、または触れない方が便利な機器の操作
• 触れなくとも動作する新鮮さで興味をひくデモやプレゼンテーション

左右スクロールで表全体を閲覧できます

国立研究開発法人 防災科学技術研究所の実大三次元震動破壊実験施設（Ｅ－ディフェンス）内で大地震を想定した揺れを与えられた建物内部の様子を記録するため、多視点映像の撮影および全方位映像を作成するシステムを開発しました。このシステムでは、まず複数台の高解像度カメラを室内に放射状に配置して、非同期の多視点動画を遠隔操作により撮影し、全方位映像を取得します。次に、取得した非同期多視点動画の時刻同期処理を行い、さらに投影変換と歪み補正を行って全方位映像を生成します。最終的に生成した全方位映像をHead Mounted Displayで提示することによって、建物内の地震被害を高解像度でVirtual Reality体験できます。

本システムは、防災科学技術研究所と共同で特許登録済みです。

画像提供：国立研究開発法人 防災科学技術研究所 実大三次元震動破壊実験施設（E-ディフェンス）

左右スクロールで表全体を閲覧できます

大規模地震を想定した揺れが構造物へ与える変化を3次元的に把握することを目的に、大規模点群データの可視化システムを開発しました。このシステムでは、 RGB-D（3D）センサーを複数台設置し、各々のセンサーから3次元データを取得します。その大規模な3次元データから色つき点群データを生成し、各センサー位置と方向を推定します。座標空間を統一して位置合わせを行うことで、3次元モデルを再構築できます。また、時刻同期を行うことで時系列動画として4次元データ生成も行いました。膨大なデータ量を処理するために、フレームレートに応じて効率的なデータ量削減やスムージングを行うなど、リアルタイム性を高める工夫を加えています。これらの技術は高精度な次世代3次元センシングおよび3次元解析を担っていくことが期待されます。

画像提供：国立研究開発法人 防災科学技術研究所 実大三次元震動破壊実験施設（Ｅ－ディフェンス）

左右スクロールで表全体を閲覧できます

機械学習を用いて、コンクリートの材料となる骨材の粒径判別を行うシステムを開発しました。このシステムは、骨材搬送用のベルトコンベア上に設置したRGB-Dセンサーを用いて、骨材の点群データを取得し、ノイズ除去と3次元局所特徴量の計算を行います。さらに、この特徴量を用いて、機械学習により骨材の粒径を5段階に判別します。機械学習アルゴリズムやパラメーターチューニングを工夫し、1か月間に及ぶ連続稼働実証試験において高い精度で判別できることを確認しました。

本システムは、清水建設株式会社と共同で特許出願中です。

左右スクロールで表全体を閲覧できます

一般的に放射線治療で治療計画を立案（照射方法の決定）する際に、CT画像の撮影を行いますが、放射線被ばくを抑えるため、通常、治療部位付近のみを撮影します。例えば、肺野であれば、両肺野が十分に入る領域のみを撮影し、診断および治療計画を立案します。治療計画の立案においては、線量集中性を高めるために様々な角度からの放射線照射を計画します。しかしながら、CTで撮影していない腕等が実際の治療時に照射装置と物理的に干渉（衝突）することを避けるために、照射装置を身体から充分に離れた位置として治療計画を立案するため、治療計画の自由度が限られてしまいます。

そこで、診断時にCT撮影とは別に3Dスキャナにより全身体表3Dモデルを撮影し、CT画像との位置合わせを行った上で、ROIデータに変換し、DICOM RT Structure フォーマットで治療計画装置に読み込ませることで、患者と治療装置の衝突を考慮した治療計画を立案することができ、治療計画の自由度を向上することが可能になります。（特許登録済）

システム構成図

CTデータと体表面3Dモデルの位置合わせ結果

CT画像（人体ファントム/胸部）と体表面3Dモデルから生成した体表面ROI（赤線）

左右スクロールで表全体を閲覧できます

LRF(Laser Range Finder)は赤外線レーザーを用いた測域センサーで、測量や形状認識、障害物検知などに用いられます。

当社では車載LRFや複数台のLRFで取得したデータを用いた、キャリブレーション、自己位置推定や空間再構成の技術調査、開発実績があります。

また、LRFデータに特有な外乱の影響を抑える技術開発の実績もあります。

左右スクロールで表全体を閲覧できます

• *Kinectは、米国およびその他の国におけるMicrosoft Corporationの登録商標または商標です。
• *Intel、Intel RealSenseは、米国およびその他の国におけるIntel Corporationの商標です。
• *Leap Motionは、Leap Motion, Incの登録商標または商標です。
• *Xtion PRO LIVEは、ASUSTek Computer Inc.の登録商標または商標です。