如何使用tensorflow图形在图像空间中进行优化



我正试图设置一个玩具问题,该问题复制了本网站上的第三个图:https://www.tensorflow.org/graphics/overview

如图所示,损失函数在两个图像之间。如何设置这样的问题?

我非常仔细地浏览了他们github网站上的每个tensorflow colab笔记本。有两个例子接近我想要做的,第一个是6dof估计,第二个是相机内部估计。然而,这两个问题都是使用l2范数在顶点上优化的。我如何获得tensorflow图形来渲染假设的对象,并执行两个图像之间的差异(渲染的地面实况和tfg(。一个小玩具的例子会很有帮助,特别是因为tfg网站的图3显示了这个例子。

第1版:经过一些研究,我想要的似乎是一个可微分的光栅化器。我使用光栅化器将场景合成为图像(2d地图(。在我有了那个图像之后,我可以将它与我的基本事实进行区分(使用我喜欢的函数,如l2norm、l1norm或可微ssim(。tensorflow图形有可微分光栅化器吗?

答案是必须计算光线,然后计算辐照度。可以通过使用从每个虚拟像素发射的光线网格来实现这一点。

但是,请注意,光栅化器虽然可微分,但不支持阴影。在tensorflow图形样本(例如球体和奶牛(中使用小平面和bdrf来处理遮挡。

最新更新