如何将Twitter Heron与Storm Flux一起使用

Question

我正在尝试将一个项目从 apache-storm 迁移到 twitter-heron。经过一番挣扎，我能够摆脱大部分错误，例如使用className: "org.apache.storm.kafka.ZkHosts"而不是className: "storm.kafka.ZkHosts"。但是，我无法提交拓扑。我使用 Flux 将拓扑提交到 storm。

我在ZkState中创建CuratorFramework对象时收到NullPointerException。在进一步挖掘时，我在 github 中发现了一个问题，它说，如果未设置有关动物园管理员的配置，则会导致此问题。

进一步调试我发现问题是因为缺少 ZkState.java：46 中所需的以下配置。

storm.zookeeper.session.timeout
storm.zookeeper.connection.timeout
storm.zookeeper.retry.times
storm.zookeeper.retry.interval

虽然我已经设法确定了问题，但是，我不确定在我的配置中将其添加到何处。有人可以帮我在哪里添加上述配置吗？谢谢。

我的助焊剂配置

name: "My_Topology"
components:
- id: "zkHosts"
className: "org.apache.storm.kafka.ZkHosts"
constructorArgs:
- "localhost:2181"
- id: "SpoutConfig"
className: "org.apache.storm.kafka.SpoutConfig"
constructorArgs:
- ref: "zkHosts" # brokerHosts
- "my-topic"  # topic
- "/my-zkRoot" # zkRoot
- "my-id" # spoutId
properties: 
- name: "zkServers"
value: ["localhost"]
- name: "zkPort"
value: 2181
- name: "zkRoot"
value: "/my-zkRoot"
- name: "retryInitialDelayMs"
value: 2000
- name: "retryDelayMultiplier"
value: 2
config:
topology.workers: 5
topology.testing.always.try.serialize: true
spouts:
- id: "kafka-spout"
className: "org.apache.storm.kafka.KafkaSpout"
parallelism: 1
constructorArgs:
- ref: "SpoutConfig"
bolts:
- id: "my-bolt"
className: "com.example.sample.MyBolt"
parallelism: 1
streams:
- name: "kafka_spout --> my_bolt"
from: "kafka-spout"
to: "my-bolt"
grouping:
type: SHUFFLE

Answer 1

您可以将这些添加到 Flux yaml 文件的配置部分

config:
topology.workers: 5
topology.testing.always.try.serialize: true
storm.zookeeper.session.timeout: 30000
storm.zookeeper.connection.timeout: 30000
storm.zookeeper.retry.times: 5
storm.zookeeper.retry.interval: 2000

Answer 2

我们已经将风暴通量原生集成到苍鹭中，使其变得简单。使用 Heron ECO - 您可以为两个不同的 API 编写拓扑

• 原生苍鹭原料药
• 风暴接口

有关其他信息，请查看此处的 ECO 文档

https://apache.github.io/incubator-heron/docs/developers/java/eco-api/