在pyrender中，将场景渲染为图像后，如何获取对象的像素坐标

Question

我正在尝试获取使用pyrender渲染的对象的像素坐标(x，y(。目的是获得该对象的边界框坐标。我使用OffScreenRenderer来渲染场景。

r = pyrender.OffscreenRenderer(viewport_width=640,
viewport_height=480,
point_size=1.0)
color, depth = r.render(scene)

可用信息：camera_to_world姿势矩阵

首先，我尝试将物体的质心绘制如下：

x, y = trimesh_mesh.centroid[:2]
height, width = image.shape[:2]
x = int(x * width)
y = int(y * height)
plt.imshow(image)
plt.scatter(x, y)
plt.show()

我得到以下内容：图像图

类似地，相同对象的边界框图在这里

有人知道我如何获得渲染对象的确切质心和长方体坐标吗？非常感谢。

Answer 1

您正在查找bpy_extras.object_utils.world_to_camera_view。

像这样使用：

import bpy
import bpy_extras
scene = bpy.context.scene
obj = bpy.context.object   # object you want the coordinates of
vertices = obj.data.vertices   # you will get the coordinates of its vertices
for v in vertices:
# local to global coordinates
co = v.co @ obj.matrix_world
# calculate 2d image coordinates
co_2d = bpy_extras.object_utils.world_to_camera_view(scene, camera, co)
render_scale = scene.render.resolution_percentage / 100
render_size = (
int(scene.render.resolution_x * render_scale),
int(scene.render.resolution_y * render_scale),
)
# this is the result
pixel_coords = (co_2d.x * render_size[0],
co_2d.y * render_size[1])
print("Pixel Coords:", (
round(pixel_coords[0]),
round(pixel_coords[1]),
))

在Blender Stack Exchange 上查看此答案