3.9　テレイマージョンとビジュアルデータマイニング

3.9　テレイマージョンとビジュアルデータマイニング

宮田　一乘　委員

3.9.1　はじめに

　CG技術の進歩とネットワーク速度の高速化にともない、地理的に離れた空間をコンピュータとネットワークで構成される仮想空間内で統合する、テレイマージョン（Tele-Immersion）の研究が現実味を帯びてきた。一方で、大量の画像データの中から意味のあるデータを発掘するビジュアルデータマイニングの研究は、バイオサイエンスや気象学などにおける多元解析のツールとして、今後重要度が増すと考えられる。本報告では、これらの技術動向に加えて、テレイマージョンの環境下で、協調しながらビジュアルデータマイニングする手法なども紹介する。

3.9.2　テレビ電話とアウェアネス

　遠隔地にいる人たちがリアルタイムで映像と音声でコミュニケーションをとるインフラとしては、テレビ電話の歴史が古い。コンピュータの普及により、テレビ電話はその形態を変えて、ISDN回線を用いたテレビ会議システムや、PCとCCDカメラによるインターネットを介した動画チャット、さらには小型CCDカメラ搭載の移動通信端末によるモバイルコミュニケーションへとダウンサイジング、およびカジュアル化してきている。
　これらのテレビ電話（とその発展形）のインフラは、どちらかというと音声によるコミュニケーションが主で、映像はコミュニケーションの補助として用いられることが多い。ただし、映像は多くを語るので、情報の付加価値は大きく、伝わる感情（好き嫌いの感情など）のダイナミックレンジは拡大される。その一方で、会話に付随するノンバーバルな情報は、うまく伝えることが出来ない。そのひとつの例として、視線の不一致が挙げられる。すなわち、カメラとディスプレイを同一の場所に設置することが困難であるために互いの視線が微妙にずれることになり、正確なアイコンタクトを取ることが出来ず、意思の疎通が難しいものになっている。また、空間的な位置関係を感じ取ることが困難であるため、アウェアネスを共有できないことも問題点として挙げられる。例えば、会議に積極的に参加しているのは誰か、審議事項に難色を示しているのは誰かといった情報は、空間を共有していないとなかなか伝わらない事柄である。
　テレイマージョン（Tele-immersion）とは、地理的に離れた空間にいる人々が、あたかも同室にいるかのように自然に対話できるように、コンピュータとネットワークで構成される仮想空間を提供する仕組みである。テレビ電話の枠組みと大きく異なるのは空間を共有するという点にあり、これを可能にしたのが、ネットワークとメディア技術である。なお、テレイマージョンは、米国における次世代ネットワークのコンソーシアムであるインターネット２(http://www.internet2.edu/)での重要なアプリケーションのひとつとして考えられている。

3.9.3　テレイマージョンとメディア技術

　テレイマージョンを支えるメディア技術の主たるものとしては、バーチャルリアリティ(VR)技術とコンピュータビジョンが挙げられる。

3.9.3.1　VR技術

　VR技術は、CGの父と呼ばれるI. Sutherlandが1968年に試作したヘッドマウントディスプレイ（HMD）を発端としており、臨場感のある視覚情報の表示法や、触覚や力覚のフィードバックの手法など、人間の五感へ作用するデバイスの開発を中心に研究がなされている。
　体験者を取り囲む多面投影による没入型ディスプレイであるCAVEが1991年にイリノイ大学にて開発された。これは、体験者の周囲に3mｘ3mの平面スクリーンを正面、左右面、床面の４面に配置し、ステレオ液晶プロジェクタでそれらの投影面に映像を表示する広視野角の表示システムである。日本でも、これを拡張した５面投影のCABIN（CAVEに加えて天井に投影）、６面投影のCOSMOSが東大で開発された。HMDやCAVEは、もともとスタンドアロンのVR空間の表示用デバイスとして利用されてきたが、これらを高速ネットワークで結合し、１つの共有空間を実現しようというのがテレイマージョンの大きな目標である。

　人間の両眼での水平視野角は240°ほどであるが、この視野をどれだけ映像でカバーできるかが臨場感の要因となる。HMDやCAVEなどは、体験者の眼や身体の周囲を物理的に映像空間で取り囲むことで、視野角の広い映像を表示しているが、一方で、大型のスクリーンを前面に設置し、視野角の広い映像を表示する試みもなされている。
　ボストン大学のScientific Computing and Visualizationグループでは、Deep Vision Display Wall（DVDW：　http://scv.bu.edu/Wall/）と呼ぶ、複数のPCと液晶プロジェクタによる大型高精細ディスプレイを開発している。図２、３で用いられている液晶プロジェクタの解像度は1024x768であり、2x2枚の投影面を持つ場合、DVDW全体としては2048x1536の解像度を持つ。DVDWの１つの特長に、スケーラブルな解像度の向上があり、現在では4x3枚の投影面で4096x2304の解像度を持ち、4.6m x 2.4mの大きさのスクリーンが開発中である。なお、各プロジェクタは１台のLINUX PCでドライブされている。ステレオ画像生成の生成には、従来のような高価なグラフィックワークステーションを持ちいておらず、LINUX PCのクラスタを用いることで廉価なシステムを実現していることも特筆すべきことである。この場合、PC間の描画のシンクロを取らないとバラバラな画像になってしまう。DVDWでは、FrameLockと呼ばれるソフトウェアによるシンクロを取っており、また、PCクラスタ内の分散レンダリングのプラットフォームには、WireGLを用いている。

3.9.3.2　コンピュータビジョン

　カーネギー・メロン大学（Carnegie Mellon University）の金出武雄教授の研究グループでは、1993年以来、Virtualized Realityと呼ばれるコンピュータビジョンの技術を開発している（http://www.ri.cmu.edu/labs/lab_62.html）。この技術では、スポーツのような時系列で変化する動きのある場面を同時に複数台のカメラで取り囲むように撮影し、撮影されたデジタル映像に「見え方」の情報を付加して、時間的および空間的に自由な位置からの再生を可能にした。これは、複数のカメラで撮影された画像から、三角測量の原理で３次元データを求め、それらのデータをマージして、撮影されたシーンの３次元モデルを復元するものである。データのマージングの際には、３次元空間をボクセル（Voxel：サイコロのような小立方体）に分割し、そのうちのどこに表面があるか（どこが見えているか）を求めている。この技術は、アメリカンフットボールの試合に適用され、タッチダウンの瞬間の多視点からのシーン再現などを可能にした[1]。

　図４、５は、3D Roomと呼ばれるCMU内の施設で、部屋の４面の側面の壁にそれぞれ10台、天井に９台、合計49台のCCDカメラが、図中の丸い穴を通して室内に向けられて設置されている。この施設内で、Virtualized Realityの研究が進められており、ダンスのシーンやバスケットボールを楽しむシーンなどを取り込んで実験を進めている。
　ノースカロライナ大学チャペルヒル校（The University of North Carolina at Chapel Hill）のフックス(Henry Fuchs)教授の研究グループは、多視点カメラと特殊な光（Imperceptible Structured Light: ISL）の組み合わせで、物体表面の３次元の凹凸形状を計測するシステムを開発した[2]。このシステムで用いられているISLとは、人間の眼に知覚出来ない速さで明滅する光（高速に明滅するので連続した光に見える）である。
　３次元形状を計測するには、複数のカメラで撮影された画像間の対応点を求め、カメラからの距離を求める必要がある。物体表面になんらかの目印（例えばチェッカーパターンや、ゼブラパターンなど）が付いていると、対応点が比較的簡単に求められる。フックスらは、この目印となるパターンを対象物体にISLで投影し、リアルタイムで距離画像を求めた。ISLは人間の眼に知覚出来ない光の明滅なので、視覚的に非浸襲である。このシステムを用いて部屋の中を測定することで、壁面の凹凸をリアルタイムで計測し、柱やパイプなどの出っ張りがある壁に対しても、歪みのない映像を投影できるようになった。すなわち、部屋の壁全体を大きな平面ディスプレイとして扱うことが出来るのである。

3.9.3.3　イメージベースドレンダリング

　実世界をコンピュータ内に取り込む技術であるイメージベースドレンダリング（Image Based Rendering : IBR）やイメージベースドライティング（Image Based Lighting : IBL）の技術を用いて、仮想空間を構築する研究が進められている。
　IBRおよびIBLの研究成果は、Paul Debevec (http://www.debevec.org)を中心にした研究グループのものが有名である。Debevecらは、多数の写真を元に撮影時の照明条件を仮想空間内に再構築して、CG物体のリアルな合成を試みた。また、2002年のSIGGRAPHにおいては、仮想空間での照明条件をコンピュータ制御のLED光源で再現して実世界での照明に用いる、LightStage3と呼ばれるシステムを発表した[3]。このシステムにより、現状のクロマキー合成にとって変わる、新たな実世界と仮想世界とのシームレスな統合が可能になると考えられる。これらの研究も、テレイマージョンを支える技術となる可能性を秘めている。
　IBR, IBLでは、撮影された風景を光源と仮定して、仮想空間内のCGモデルの照明を行うが、そのためにはダイナミックレンジの広い画像フォーマットが必要である。そこで、HDR image（High-Dynamic Range image）と呼ばれる、各ピクセル値を小数値で表す画像フォーマットが提案されている。
　IBLの手法は、最新のRenderMan（CG映像を生成するためのソフトウェア：RenderMan Release11, https://renderman.pixar.com/）に採用されており、また、一部のグラフィックカード上では、リアルタイムにIBRの画像を表現できる。

3.9.4　ビジュアリゼーションとビジュアルデータマイニング

　“seeing is believing” - 「百聞は一見にしかず」。人の視覚情報による理解力を示すことわざである。コンピュータを用いて大量のデータを画像に変換し（ビジュアリゼーション）、視覚化されたデータから意味のある情報を探り出す（ビジュアルデータマイニング）技術は、多次元情報から的確に必要な情報を抽出し、人間の判断を補助するものとして重要な技術であると考える。

3.9.4.1　コンピュータによるデータの視覚化

　コンピュータによる大量データの高速処理は可能であるが、人間がそのような膨大なデータを瞬時に的確に理解することは困難である。一方、画像化されたデータに対する人間の理解力は、きわめて高い。例えば、天気図から明日の天気を予想したり、CT画像から病巣を見つけ出したりすることができる。
　コンピュータを用いて、複雑な現象や大量のデータ、目に見えないデータを人間に理解しやすい形に視覚化する技術が、コンピュータ・ビジュアリゼーション(computer visualization)である。コンピュータ・ビジュアリゼーションは、その目的に応じて、以下のような分類ができる[4]。

• サイエンティフィック・ビジュアリゼーション：
  気象情報や流体解析の結果などの複雑な数値データの可視化など
• エンジニアリング・ビジュアリゼーション：
  振動解析や応力解析のような、設計に関わる測定・解析データの可視化など
• メディカル・ビジュアリゼーション：
  CT画像の表示や器官の視覚化のような医療診断のための情報の可視化など
• ビジネス・ビジュアリゼーション：
  プレゼンテーション支援を主とした統計結果などの可視化など
• エデュケーショナル・ビジュアリゼーション：
  わかりやすい教材の提供のための可視化など

　コンピュータビジュアリゼーションは、対象の時空間のスケールに依存せずに、好きな見方で、対象を壊さずに、高い再現性で繰り返し探ることが可能である。したがって、理想的には、コンピュータ上で理論と実験を対置することが可能になる。

3.9.4.2　ビジュアルデータマイニング

　単なるデータの可視化ではなく、人の見やすい画像や動画にデータを変換したり、変換後の画像データから再度情報を抽出するとともに、大量のデータを再度人間に理解しやすい情報に変換する、一歩進んだビジュアリゼーションが必要である。すなわち、人間とデータ、可視化画像間におけるインタラクションが必要とされる。このインタラクションがビジュアルデータマイニングである。
　図６、７にビジュアルデータマイニングの例を挙げる。これらの例は、ウェブサイトへのアクセス数や更新日時を視覚的に表したものである。このような膨大なデータも視覚化することで、ビジュアルに大局を把握することが可能になり、また、全体での特殊なケースも浮き彫りになってくる。

　例えば、図７の右上にある緑丸は、あるディレクトリ内部の100個以上のウェブページが、ある一定時間内（1時間以内）にすべてアクセスされたことを示している。その後、該当するウェブページ群は、すべてオープンソースのAPIマニュアルのページであることが判明した。このような熱心な潜在的閲覧者によるアクセスは、従来のアクセス分析ツールによる棒グラフ表示やランキング表示で発見することは困難であるが、視覚的にデータマイニングすることで容易に発見できる。
(http://www.trl.ibm.com/projects/webvis/index.htm)

3.9.5　遠隔コラボレーション

　以上で述べたテレイマージョン技術とビジュアルデータマイニング技術を有機的に結合することで、有効な遠隔コラボレーションが実現可能になる。すなわち、地理的な制約条件を取り払い、コンピュータの補助による知的で効率的な協同作業の環境が提供できるのである。
　遠隔コラボレーションに関しては、既にいくつかの実証実験が進められている。例えば、GMでは、車のデザインにあたり、Detroit, Brazil, Germany（Opel）の３拠点を結んで、バーチャルプロトタイピングを行っている。
　遠隔コラボレーションを発展させることで、新たな遠隔教育のプラットフォームを提供できるかもしれない。例えば、GeoWall Consortium (www.geowall.org)では、VR技術を教育分野に応用し、地球科学の体験的学習環境の実現を目指している。この環境をネットワークで結合すれば、地球環境に対して全世界で考える「学びの場」を提供できるであろう。

　平成14年度より文部科学省が新たに開始した、情報通信分野における「ITプログラム」^[1]の委託事業のうち「eサイエンス」実現プロジェクト^[2]の実施テーマの１つである「スーパーコンピュータネットワーク上でのリアル実験環境の実現」の研究プロジェクトが進行中である。この研究開発は、北陸先端科学技術大学院大学、富士通のほか、京都大学、広島大学、日本原子力研究所、金沢医科大学の計６機関による産学官共同プロジェクトとして実施されている。
　このプロジェクトでは、時間・空間・組織・分野の違いを超えた新たな研究開発環境として、疑似体験共有によるコラボレーションや遠隔共同実験などを実現するスーパーコンピュータネットワーク上でのリアル実験環境の構築を目指している。
　実応用分野における適用例としては、分野横断的な循環器疾患診断治療支援が挙げられる。ここでは、動脈瘤を対象とし、CT/MRI画像を元にした血管（構造計算）と血流（流体計算）の連成解析とその統計データ解析により、診断や治療の支援を行う。例えば、患部の実画像に高速ボリュームレンダリングによる高精細CG画像を重ねあわせる（リアルタイムテクスチャ）ことにより、外科手術をアシストしたり医療教育に利用する仕組みを提供したり、診断データ及び解析結果をデータベース化し、データマイニング手法を用いた診断のIT化を実現することを想定している。