之前,我在 5.3.0 版本中使用了 Kibana/Elasticsearch。 在我的Java项目中,依赖项是:
- HBase-client/server...1.2.1
- Hadoop-HDFS/common... 2.5.1
- Elasticsearch-Hadoop 5.3.0
- 火花 (火花-core_2.11( 1.3.0
整体功能齐全。
我想在 6.3.1 版中更新 Kibana/ES。 哪些版本的Hadoop/spark是兼容的?我找不到兼容性矩阵...
- HBase-客户端/服务器... ?
- Hadoop-HDFS/COMMON... ?
- Elasticsearch-Hadoop 6.3.1 ?
- 火花 (火花-core_2.11( 1.6.1 ?
谢谢。
elasticsearch-Hadoop二进制文件适用于Hadoop 2.x(也称为YARN(环境。对 Hadoop 1.x 环境的支持在 5.5 中已弃用,在 6.0 中将不再进行测试。
Spark是针对Hadoop 2.6+构建的,所以你应该升级Hadoop作为这里的最小公分母。由于许多原因,例如错误修复和AFAIK,RDD API处于"维护模式",建议使用DataFrames,因此您绝对应该使用Spark 2.x
。HBase 文档有自己的兼容性图表,但与 Elasticsearch 无关。最新的稳定 Hbase 是 1.4.3
不过,1.2.1看起来像Hive版本号,并且该版本工作正常,但同样,不是最新的稳定1.x版本