Hadoop 集群 - 正常形式和安全形式的集群之间的性能差异



普通的Hadoop集群和配置了Kerberos和SSL的安全Hadoop集群之间的性能会有所不同吗?

考虑到两种类型的群集的计算机配置相同,完成作业所需的时间是否不同?如果是,我们是否有任何关于时差的已知时间指标?喜欢

  • 普通群集 - 1.5 小时
  • 安全群集 - 2.5 小时

是的。 由于 Kerberos 和 SSL,所有 API 调用都会产生开销。

作业

完成时间会有所不同,但如果不知道在作业中调用 API 的次数,就无法知道这是多少。 一般来说,影响很小,但由于您将另一个网络组件引入工作流(KDC(,因此您可能会遇到显着的降级取决于集群的大小、KDC 与集群之间的任何网络问题,以及 KDC 的配置方式。 有关详细信息,请参阅以下内容。

https://community.hortonworks.com/questions/31205/performance-impact-of-security-ssl-tde-ranger-kerb.html

https://www.cloudera.com/documentation/enterprise/5-8-x/topics/impala_scalability.html#kerberos_overhead_cluster_size

HTTP 与 HTTPS 性能

最新更新