构建包含多个 Cython 扩展的 Python 包

Question

我有以下目录结构：

testcython/
setup.py
testcython/
__init__.py
foo.pyx
stuff.py
bar/
__init__.pxd
__init__.py
bar.pxd
bar.pyx

其中文件内容如下：

bar.pxd

# cython: language_level=3
cdef int square(int x)

bar.pyx

# cython: language_level=3
cdef int square(int x):
return x * x

foo.pyx

# cython: language_level=3
import cython
cimport numpy as np
import numpy as np
from .Bar cimport square
def do_square(x):
return square(x)

stuff.py

from __future__ import print_function
from .Foo import do_square
def do():
print(do_square(2))

setup.py

import os, sys
from Cython.Build import build_ext, cythonize
from setuptools import setup, Extension, find_packages
def ext_modules():
import numpy as np
include_dirs = ['.', np.get_include()]
root_dir = os.path.abspath(os.path.dirname(__file__))
bar_ext = Extension(
"Bar",
sources=[root_dir + "/testcython/bar/bar.pyx"],
include_dirs=include_dirs,
)
foo_ext = Extension(
"Foo",
sources=[root_dir + "/testcython/foo.pyx"],
include_dirs=include_dirs
)
exts = [bar_ext, foo_ext]
return cythonize(exts)
REQUIREMENTS = [
"numpy",
"cython"
]
setup(
name="testcython",
packages=find_packages(),
ext_package="testcython",
ext_modules=ext_modules(),
cmdclass={"build_ext" : build_ext},
zip_safe=False,
install_requires=REQUIREMENTS
)

问题

问题是，当我尝试安装它(pip install -e .在顶部testcython目录中)时，我从 Cython 收到以下错误：

Complete output from command python setup.py egg_info:
Error compiling Cython file:
------------------------------------------------------------
...
import cython
cimport numpy as np
import numpy as np
from .Bar cimport square
^
------------------------------------------------------------
testcython/foo.pyx:7:0: relative cimport beyond main package is not allowed
Error compiling Cython file:
------------------------------------------------------------
...
import numpy as np
from .Bar cimport square
def do_square(x):
return square(x)
^
------------------------------------------------------------

这个答案(cython：不允许在主包之外的相对cimport)意味着在Extension对象的include_dirs参数中包含根目录('.')应该可以解决问题。

虽然 Cython 文档的这一部分提到在使用setuptools包时在setup的参数中使用zip_safe=False。

正如您从上面的setup.py文件中所看到的，我已经包含了这两个 - 但我仍然收到上面的错误。

注意：如果我将扩展的名称(在Extension构造函数中)分别从Bar和Foo更改为testcython.Bar和testcython.Foo，则会出现不同的错误：

Complete output from command python setup.py egg_info:
Error compiling Cython file:
------------------------------------------------------------
...
import cython
cimport numpy as np
import numpy as np
from .Bar cimport square
^
------------------------------------------------------------
testcython/foo.pyx:7:0: 'testcython/Bar/square.pxd' not found
Error compiling Cython file:
------------------------------------------------------------
...
import numpy as np
from .Bar cimport square
def do_square(x):
return square(x)
^
------------------------------------------------------------

Answer 1

我在同事的帮助下解决了这个问题，所以我会在这里提到解决方案，以防将来对人们有所帮助。

该问题与 Cython 模块的导入方式有关，更具体地说 - 在构建扩展时放置.so文件的位置。最初，Bar.so文件是在testcython目录中生成的 - 因此当尝试从bar子模块导入时，它找不到相应的共享对象文件。

为了解决这个问题，我需要在创建此扩展时使用名称"bar.bar"，这会导致.so文件生成到testcython/bar目录中。然后，在foo.pyx中，要使用这个bar模块中的成员，必须将导入更改为from testcython.bar.bar cimport <name>。

注意：

此外，问题中显示的函数square不能从此形式的另一个 Cython 模块使用，因为不会为免费的cdef函数生成__pyx_capi__。相反，这个函数必须作为静态方法包装在某个cdef类中，以便从另一个 Cython 模块使用它，即：

cdef class Square:
@staticmethod
cdef int square(int x)

然后可以导入，例如foo.pyx，使用from testcython.bar.bar cimport Square.然后，类Square本质上充当"命名空间"。