传递/返回 Cython 内存视图与 NumPy 数组



我正在编写Python代码来加速二进制图像中标记对象的区域属性函数。以下代码将计算给定对象索引的二进制图像中标记对象的边框像素数。main() 函数将循环遍历二进制图像"mask"中的所有标记对象,并计算每个对象的边框像素数。

我想知道在此 Cython 代码中传递或返回我的变量的最佳方法是什么。变量位于 NumPy 数组或类型化的内存视图中。我已经搞砸了以不同格式传递/返回变量,但无法推断出最佳/最有效的方法是什么。我是Cython的新手,所以Memoryviews对我来说仍然相当抽象,这两种方法之间是否存在差异仍然是一个谜。我正在使用的图像包含 100,000+ 个标记对象,因此此类操作需要相当高效。

总结一下:

我何时/应该将我的变量作为类型化的内存视图而不是 NumPy 数组进行非常重复的计算?有没有最好的方法还是完全相同?

%%cython --annotate
import numpy as np
import cython
cimport numpy as np
DTYPE = np.intp
ctypedef np.intp_t DTYPE_t
@cython.boundscheck(False)
@cython.wraparound(False)
def erode(DTYPE_t [:,:] img):
# Image dimensions
cdef int height, width, local_min
height = img.shape[0]
width = img.shape[1]
# Padded Array
padded_np = np.zeros((height+2, width+2), dtype = DTYPE)
cdef DTYPE_t[:,:] padded = padded_np
padded[1:height+1,1:width+1] = img
# Eroded image
eroded_np = np.zeros((height,width),dtype=DTYPE)
cdef DTYPE_t[:,:] eroded = eroded_np
cdef DTYPE_t i,j
for i in range(height):
for j in range(width):
local_min = min(padded[i+1,j+1], padded[i,j+1], padded[i+1,j],padded[i+1,j+2],padded[i+2,j+1])
eroded[i,j] = local_min
return eroded_np

@cython.boundscheck(False)
@cython.wraparound(False)
def border_image(slice_np):
# Memoryview of slice_np
cdef DTYPE_t [:,:] slice = slice_np
# Image dimensions
cdef Py_ssize_t ymax, xmax, y, x
ymax = slice.shape[0]
xmax = slice.shape[1]
# Erode image
eroded_image_np = erode(slice_np)
cdef DTYPE_t[:,:] eroded_image = eroded_image_np
# Border image
border_image_np = np.zeros((ymax,xmax),dtype=DTYPE)
cdef DTYPE_t[:,:] border_image = border_image_np
for y in range(ymax):
for x in range(xmax):
border_image[y,x] = slice[y,x]-eroded_image[y,x]
return border_image_np.sum()

@cython.boundscheck(False)
@cython.wraparound(False)
def main(DTYPE_t[:,:] mask, int numobjects, Py_ssize_t[:,:] indices):
# Memoryview of boundary pixels
boundary_pixels_np = np.zeros(numobjects,dtype=DTYPE)
cdef DTYPE_t[:] boundary_pixels = boundary_pixels_np
# Loop through each object
cdef Py_ssize_t y_from, y_to, x_from, x_to, i
cdef DTYPE_t[:,:] slice
for i in range(numobjects):
y_from = indices[i,0]
y_to = indices[i,1]
x_from = indices[i,2]
x_to = indices[i,3]
slice = mask[y_from:y_to, x_from:x_to]
boundary_pixels[i] = border_image(slice)
return boundary_pixels_np

Memoryviews是Cython的最新成员,旨在与原始np.ndarray语法相比有所改进。出于这个原因,它们略微偏爱。不过,它通常不会对您使用的产生太大影响。以下是一些注意事项:

速度

对于速度来说,它几乎没有区别 - 我的经验是内存视图作为函数参数略慢,但几乎不值得担心。

共性

内存视图旨在与具有Python缓冲区接口的任何类型的类型(例如标准库array模块)一起使用。键入np.ndarray仅适用于 numpy 数组。原则上,memoviews可以支持更广泛的内存布局,这使得与C代码的接口更容易(在实践中,我从未真正看到过这是有用的)。

作为返回值

当从Cython返回数组以编写Python代码时,用户可能会对numpy数组比使用memoryview更满意。如果您正在使用内存视图,则可以执行以下操作之一:

return np.asarray(mview)
return mview.base

易于编译

如果您使用的是np.ndarray则必须在setup.py文件中设置包含目录并np.get_include()。您不必使用 memoryviews 执行此操作,这通常意味着您可以跳过setup.py,只使用cythonize命令行命令或pyximport进行更简单的项目。

并行

与 numpy 数组相比,这是 memoryviews 的一大优势(如果你想使用它的话)。它不需要全局解释器锁来获取内存视图的切片,但它需要 numpy 数组。这意味着以下代码大纲可以与内存视图并行工作:

cdef void somefunc(double[:] x) nogil:
# implementation goes here
cdef double[:,:] 2d_array = np.array(...)
for i in prange(2d_array.shape[0]):
somefunc(2d_array[i,:])

如果您没有使用Cython的并行功能,则不适用。

cdef

您可以将内存视图用作cdef类的属性,但不能使用np.ndarrays。您可以(当然)使用 numpy 数组作为非类型化object属性。

相关内容

  • 没有找到相关文章

最新更新