使用apachebeam-python-sdk的Pubsub模拟器



是否可以使用在pub-sub模拟器中创建的主题作为数据源,并在apache-beam-python中直接运行?

我已经设置了环境变量(也在脚本中(:

set PUBSUB_EMULATOR_HOST=localhost:8085
set PUBSUB_PROJECT_ID=<proj_id>

它似乎没有连接到它,因为即使我将模拟器主机设置为其他任何主机,它也会出现相同的错误,如果没有设置,它会查找凭据。

尝试使用主题和订阅id(pull(读取邮件。

使用输入主题

文件"lib\site-packages\apache_beam\runners\direct\transform_evaluator.py";,第646行,在get_subscription中topic_name=sub_client.topic_path(项目,short_topic_name(AttributeError:"SubscriberClient"对象没有属性"topic_path">

使用订阅id(pull(

lib\site-packages\apache_beam\runners\direct\transform_evaluator.py";,第694行,在_read_from_pubsub中sub_client.api.transport.cohannel.close((AttributeError:"SubscriberClient"对象没有属性"transport">

对于java,文档中提到了模拟器的使用(setPubsubRootUrl(String((,但找不到任何关于python的内容。

您必须在命令上设置环境变量:

dev_appserver.py app.yaml --env_var PUBSUB_EMULATOR_HOST=${PUBSUB_EMULATOR_HOST}

最新更新