从摄像机阵列构建房间的 3D 几何体



我正在研究一个传感器网格,它基于(目前)没有比相机更复杂的东西。将来,我想包括对基于 Kinect 的设备以及其他传感器设备(即麦克风、无线电接收器等)的支持,但目前,我正在尝试开始。

我已经让系统跟踪由摄像机观察的点进入3D环境,但是如果没有房间的其余部分,这是非常棘手的。

那么,是否有任何现有的项目可用于将来自多个相机(在我的测试场景中为 5 个相机)的输出图像转换为半精确的 3D 环境,该环境将:

1) create the geometry of the room
2) map the images from the cameras into textures that can be overlaid

生成给定环境的单个/3D模型集合?

附言

这个系统的最终目标是为我的房子创建一个实时的3D环境,同时跟踪人和宠物的运动......一个崇高的想法/白日梦,但它将是一个很好的概念证明。我只是希望它不需要疯狂数量的计算机硬件

查看捆绑器:http://www.cs.cornell.edu/~snavely/bundler/。这将为您提供稀疏的点几何图形并计算出相机外在函数。

还有PCL项目(还没有机会使用它,但它看起来很棒):http://www.pointclouds.org/

看看OpenCV中使用的一些3D重建函数。如果您希望使用固定摄像机(您可以在其中控制校准)来做到这一点,它们具有许多进行立体重建的功能。还有记录在案的将Kinect与OpenCV一起使用的方法。

Bundler 和 PMVS(以及使用 siftGPU 的 bundler/pmvs GUI-fied 的 VisualSfM)也是解决这个问题的优秀独立应用程序,但它们不容易合并到不同的项目中。此外,它们的开发理念是,算法的输入将是大型照片集,或者从多个方向对一个区域进行重要覆盖。如果您有 5 个固定位置,则可以控制相机校准,并使用某些立体重建算法在几乎一个像素级别的像素级别上获得明显更好的重建。

在上面的注释中添加一些信息:

您可以使用Visual SFM(基于捆绑器和cmvs)来创建密集的3D重建:

http://ccwu.me/vsfm/

您还可以将 PMVS 与 Bundler 结合使用来生成密集的点云:http://www.di.ens.fr/pmvs/

还有Windows的SFM + CVMS分布(再次产生密集的点云):https://code.google.com/p/osm-bundler/downloads/detail?name=osm-bundler-pmvs2-cmvs-full-32-64.zip

最新更新