云数据流 python3 作业无法解决依赖项

Question

我有一个简单的 apache beam 项目，使用 python 3 来转换一些数据并写入大查询，它使用一个名为 texstat 的包，如果我在本地运行一切正常，但是当我在数据流上运行时，我收到以下错误：

NameError: name 'textstat' is not defined [while running 'generatedPtransform-441']

这是我当前的 setup.py 文件：

import setuptools
REQUIRED_PACKAGES = ['textstat==0.5.6']
PACKAGE_NAME = 'my_package'
PACKAGE_VERSION = '0.0.1'

setuptools.setup(
name=PACKAGE_NAME,
version=PACKAGE_VERSION,
description='Example project',
install_requires=REQUIRED_PACKAGES,
packages=setuptools.find_packages(),
)

这是我的管道参数

pipeline_args = [
'--project={}'.format('etl-example'),
'--runner={}'.format('Dataflow'),
'--temp_location=gs://dataflowtemporal/',
'--setup_file=./setup.py',
]

我像这样运行它

pipeline_options = PipelineOptions(pipeline_args)
pipeline_options.view_as(StandardOptions).streaming = True
pipeline = beam.Pipeline(options=pipeline_options)
...
pipeline.run()

在运行作业之前，我还尝试在终端上运行它：

python setup.py sdist --formats=gztar

但我得到的 texstat 未找到的相同结果。 我尝试的另一件事是没有 setup.py，只有论点

--requirements_file=./requirements.txt

但同样，没有找到 texstat

在这一点上，我不知道还能尝试什么。

Answer 1

通常是因为库没有在 DoFn 中本地导入。

或者，您可以尝试 --save_main_session 选项，如 https://cloud.google.com/dataflow/docs/resources/faq 中所述