我使用的是eLasticsearch 6.2.2作为flink中的下沉,但是在Apache Flink文档中阅读时,我可以看到plasticserver版本5.x的连接器5.x,但没有提及6.x的连接器。
Flink是否支持Elasticsearch 6.x的任何连接器?还是我应该制作任何HTTP客户端,并每次提出发布请求以创建或更新新文档?还是他们的其他技术?
flink 1.4.x不提供Elasticsearch 6.x的连接器,随之而来的连接器仅适用于Elasticsearch 5.1.x(由于API破坏了Elasticsearch客户端的API破坏了5.2.x(。
Flink的Jira有一个空旷的问题,可以跟踪Elasticsearch 6.x支持Flink-8101的进度。
作为 @fabian-hueske答案的解决方法,您可以执行以下操作:
1(您可以使用Elasticsearch REST API https://www.elastic.co/guide/guide/en/elasticsearch/reference/reference/current/current/docs.html
来编写将数据发送到elasticsearch的自定义HTTP接收器2(您还可以使用以下Librarie https://github.com/sksamuel/elastic4s创建一个自定义水槽,以通过TCP