メリーランド大学の研究者チームは、CSI等の犯罪捜査番組で描かれている高度な拡張ツールの一部を現実にすることで、大きな進歩を遂げてきました。彼らの最新の研究には、人の目に捉えられた反射を使用して、短い映像で見ていたものをインタラクティブな3Dモデルとして再構築する、というものが含まれています。
目はしばしば”魂の窓”と呼ばれますが、この研究は、視覚情報を再現するための貴重なデータを提供する鏡として機能する可能性があることを示唆しています。科学者らは、限られた2D画像セットから3Dモデルを生成出来る「Neural Radiance Field(NeRF)」テクノロジーの概念を活用して、健康な成人全体で比較的一貫した状態を保っている目の角膜に焦点を当てました。目の反射から抽出した画像を分析することで、単純なシーンの3D表現を生成することに成功しました。
いくつかの制限と課題
この革新的なアプローチは犯罪解決を目的としたものではない、という点に注意することが重要です。また、そのプロセスには独自の課題が伴います。高品質の素材を必要とする従来の方法とは異なり、この技術は各フレームの小さな低解像度部分から反射を抽出します。虹彩の複雑な質感と個人間の色の違いにより、後処理段階がさらに複雑になります。
もう1つの障害は、映像ソースによって課される制限です。再構成に使用される2D画像は同じ場所から生成され、目の動きによる変動が最小限に抑えられるためです。スマートフォンで包括的な3Dモデルをキャプチャし、被写体の周りを移動するのとは異なり、このアプローチでは固定された位置に依存します。
それによって、結果として得られる3Dモデルは解像度が低く、複雑なディティールが不足してしまいます。人為的な照明と高解像度の画像素材を使用するような基本的なシーンでは、ぬいぐるみ等の物体を依然として識別出来ますが、あまり制御されていない条件下で撮影された映像にこの方法を適用するのは困難であることが判明しています。
例えば、YouTube上のミュージックビデオ(Miley Cyrus「Wrecking Ball」)を素材に使用してあるシーンを再構築しようとすると、結果として得られる3Dモデルは識別出来なくなります。
今回の研究は魅力的なものですが、現実世界の場面で実際に応用出来るようになるまでには時間がかかりそうです。現在のところは解像度とディティールに制限があるため、信頼出来るツールとして使用することは出来ません。それでも、メリーランド大学のチームによって遂げられた進歩は、3D再構築と視覚化という分野におけるさらなる探求への興味深い可能性を切り開きます。
この記事は、編集部が日本向けに翻訳・編集したものです。
原文はこちら
