Hibernate Utils正在创建会话工厂以及Hikari配置。 目前我们正在@Setup ParDo 方法内部做,但它打开了太多的连接。那么有什么好的例子来初始化每个工作线程的连接池吗?
如果您在DoFn
中使用@Setup
方法来创建数据库连接,请记住,Apache Beam 将为每个工作线程线程创建连接池。这可能会导致大量数据库连接,具体取决于启动的工作线程数。
您可以使用 ParDo 中的单例类来创建连接池并控制每个工作线程的连接数。您可以在此处查看示例实现
http://mail-archives.apache.org/mod_mbox/beam-issues/201905.mbox/%3CJIRA.13231789.1557156230000.210182.1557222420198@Atlassian.JIRA%3E