興味深い映像技術に裸眼立体視の分野があります。これは特殊なメガネを掛けずに"立体映像"を見せる映像技術です。この見た目にも楽しい裸眼立体視技術はエンターテインメント用途だけでなく、様々な分野のプロフェッショナル用途への実用化が研究されています。特に有望視されているのが医療用画像で、東京大学大学院情報理工学系研究科・知能機械情報学専攻の土肥健純（Takeyoshi Dohi）教授らの研究グループが、NVIDIAの並列コンピューティングプラットフォームについて研究をしています。

Integral Videography（IV）の原理 拡大

裸眼立体視は、様々な手法での利用が可能です：そのひとつが、土肥教授の研究グループの廖洪恩(Hongen Liao) 特任准教授、土肥研究室博士課程大学院生のNicholas Herlambang氏らが研究を進めているIntegral Videography(IV)と呼ばれる手法です。IVではマトリクス上に並んだ微細な凸レンズから成るマイクロレンズアレイと液晶パネルを貼り合わせた特殊なディスプレイを用います。そして各一つ当たりの微細レンズの直下には約100個程度の液晶画素が配されるような仕組みになっており、凸レンズにより各液晶画素からの光を様々な方向に投影されます。三次元空間上にある表現したい物体に対して複数の方向から光線を与え、結像させることにより、立体像が空中に物体が置いてあるように見えます。

このIV方式は空間に三次元像を投影するため、人間の左右の2つの目はそれぞれ違う映像を与える両眼立体視方式上で、特殊な眼鏡や視点追跡を用いることなく、同時に複数の観察者がディスプレイ前の広い範囲から三次元像を観察することが可能であるという利点を有しています。

研究グループでは、CTやMRIスキャンなどからリアルタイムで得られた人体内部の断面図をボリュームテクスチャとして扱い、これをボリュームレンダリングして3D画像として再構築するだけでなく、さらにこのIVシステム用の立体視の動画映像として表示させるシステムの開発に2000年頃から取り組み始めました。

これは人体内部の様子をリアルタイム立体視させる画期的なシステムとなるわけですが、ボリュームレンダリングですら高負荷であり、それをさらに立体視映像用の処理も行うので、その演算量は膨大です。

それぞれの映像フレームに対して、いわば無数の角度から見た映像を同時表示することになります。動画像の中でフレーム数を増やし、膨大な計算量を、高密度かつ短時間にこなす必要があるのです。

2001年の研究では、512×512解像度画像からなるボリュームデータのリアルタイムなボリュームレンダリングと裸眼立体視再構成処理を、Pentium III 800MHzのPCで実装したところ1フレームの生成に十数秒が掛かりました。これを高速化するために、当時は最新であった60個のCPU(UltraSPARC III 900MHz)を搭載したハイパフォーマンスコンピュータでも実装してみましたが、結果は5fps(毎秒5コマ)でした。現実には、決して高速と言えるものではありませんでした。

長視距離IV画像の一例。黄色棒は、ディスプレイの２メートル手前にある手の上に極めて実在感、立体感のある画像として結像し、観察者が移動しても常に手の上にあるように見えます。高精細の三次元立体視映像を作成するために、ボリュームレンダリングなどの処理方法が用いられているが、その演算量は膨大です。 拡大

ボリュームレンダリングによる3Dグラフィックス化、そして3DグラフィックスのIV方式用の映像変換処理は、共にデータパラレルなベクトル計算になりますから、これは、GPUには最適なコンピューティングパラダイムです。そこで廖洪恩特任准教授、大学院生のNicholas Herlambang氏らは、この処理をNVIDIAのGPU汎用コンピューティング開発環境「CUDA」を利用してGPUにインプリメントする研究に乗り出しました。

まず、最新世代のGPU「GeForce8800GTX」で実装した試作システムを開発しました。
　前述のデータセットとほぼ同条件のものをこのCUDAを用いてGPUで実行したところ、13～14fps(毎秒13～14コマ)にまで向上しました。UltraSPARCシステムは数千万円はするため、100倍以上も安価なGPUで3倍のパフォーマンスアップが実現したことには驚いたということです。2001年当時のPentium IIIのPCと比較すれば200倍以上のスループットが達成できたことになります。なお、同研究グループによれば、最新世代のマルチコアCPUで実装したケースと比較しても、NVIDIAのGPUでの実装の方が最大70倍以上高速です。さらに、ボリュームテクスチャのサイズが大きければ大きいほどGPUでのハイパフォーマンスが際だつという実験結果が得られています。

現在、研究グループではNVIDIAの最新デスクサイド・スーパーコンピュータの「Tesla D870」を利用しているとのことで、現在IVシステムをCUDAを使ってTeslaに最適化実装させています。きっとさらなるパフォーマンスの飛躍が望めることでしょう。

CUDAを活用したIVシステム 拡大

CUDAを活用してIVシステムの実装を担当した大学院生のNicholas Herlambang氏はこう述べています。

「我々は、様々な並列コンピューティング向けの開発環境を評価してきましたが、C言語で開発が出来るCUDAの取り扱いやすさを高く評価し、採用しました。また、GPUがこの先進化しても開発したシステムを改変することなく、次世代GPUにおいても、その高速性を活用することができます。今後は、規模の大きいCUDAプログラムをデバッグしやすい環境が整備されれば、さらに強力な並列コンピューティング開発環境になり、より多くの医用画像処理分野への応用も期待できると思っています。」

CTやMRIからの映像がリアルタイムで立体視できるようになると、患部の様子が確認でき、生検・手術をすることなく診断ができるようになります。さらにこれを複数の医師が同時に見ることができるようになるとともに、医師同士で相談することも可能となります。そして将来的には、それぞれの外科医がリアルタイムに手術のイメージができ、関節鏡視下手術や低侵襲手術技術を複数の医師が共に行うことが可能になるかもしれません。

巨大な大型並列コンピュータアレイを治療の現場に持ち込むことは難しいですが、GPUやTeslaのような強力な計算能力を持ちながらもコンパクトな並列コンピューティングモジュールであればそれも可能です。

土肥健純教授（先端治療福祉工学研究室） http://www.atre.t.u-tokyo.ac.jp/jp/
廖洪恩特任准教授 http://bmpe.t.u-tokyo.ac.jp/~liao/index-j.htm

▼研究室紹介

東京大学 大学院情報理工学系研究科 知能機械情報学専攻の先端治療福祉工学研究室は、土肥健純教授を中心として 「コンピュータ外科-Computer Aided Surgery」を世界に先駆けて開拓した医用工学の分野では世界のトップをいく研究室である。

今回紹介した３Ｄ立体視技術のほか、微細手術用ロボット、ウェッジプリズム型内視鏡、 手術用立体合成画像表示など、数多くの最先端研究成果をあげている。