谷歌云数据流:如何为每个工作线程(单例)仅初始化一次光连接池?



Hibernate Utils正在创建会话工厂以及Hikari配置。 目前我们正在@Setup ParDo 方法内部做,但它打开了太多的连接。那么有什么好的例子来初始化每个工作线程的连接池吗?

如果您在DoFn中使用@Setup方法来创建数据库连接,请记住,Apache Beam 将为每个工作线程线程创建连接池。这可能会导致大量数据库连接,具体取决于启动的工作线程数。

您可以使用 ParDo 中的单例类来创建连接池并控制每个工作线程的连接数。您可以在此处查看示例实现

http://mail-archives.apache.org/mod_mbox/beam-issues/201905.mbox/%3CJIRA.13231789.1557156230000.210182.1557222420198@Atlassian.JIRA%3E

相关内容

最新更新