如何将(Kafka)日志存储到数据库(Cassandra或Hive)

Question

如何存储日志从生产者到消费者再到数据库我在下载 0.9.0.0 版本并取消压缩后按照以下步骤操作。

1. $ bin/zookeeper-server-start.sh config/zookeeper.properties &

2. $ bin/kafka-server-start.sh config/server.properties

3. $ bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic fast-messages

$ bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic summary-markers

4. $ bin/kafka-topics.sh --list --zookeeper localhost:2181

5. $ cd .. $ mvn package

6. 运行生产者

7. 启动消费者

Answer 1

下载 0.9.0.0 版本并解压缩。

那是卡夫卡的一个非常古老的版本...您使用的所有步骤在较新版本上的工作方式完全相同，并且可能会更稳定。

---

Kafka 不会将其数据(日志(存储在数据库中。

---

如果要将生成到 Kafka

的数据发送到另一个系统，那么包含的工具(从 Kafka 0.10 开始(称为 Kafka Connect，您可以找到 HDFS/Hive 和 Cassandra 中已经存在的连接器。

但是欢迎你自己写任何消费者来写入这些系统，Kafka 只是没有开箱即用地捆绑这个。