Hadoop - Elasticsearch - Spark版本兼容性



之前,我在 5.3.0 版本中使用了 Kibana/Elasticsearch。 在我的Java项目中,依赖项是:

  • HBase-client/server...1.2.1
  • Hadoop-HDFS/common... 2.5.1
  • Elasticsearch-Hadoop 5.3.0
  • 火花 (火花-core_2.11( 1.3.0

整体功能齐全。

我想在 6.3.1 版中更新 Kibana/ES。 哪些版本的Hadoop/spark是兼容的?我找不到兼容性矩阵...

  • HBase-客户端/服务器... ?
  • Hadoop-HDFS/COMMON... ?
  • Elasticsearch-Hadoop 6.3.1 ?
  • 火花 (火花-core_2.11( 1.6.1 ?

谢谢。

elasticsearch-Hadoop二进制文件适用于Hadoop 2.x(也称为YARN(环境。对 Hadoop 1.x 环境的支持在 5.5 中已弃用,在 6.0 中将不再进行测试。

Spark是针对Hadoop 2.6+构建的,所以你应该升级Hadoop作为这里的最小公分母。由于许多原因,例如错误修复和AFAIK,RDD API处于"维护模式",建议使用DataFrames,因此您绝对应该使用Spark 2.x

。HBase 文档有自己的兼容性图表,但与 Elasticsearch 无关。最新的稳定 Hbase 是 1.4.3

不过,1.2.1看起来像Hive版本号,并且该版本工作正常,但同样,不是最新的稳定1.x版本

最新更新