有没有什么工具可以找到hadoop集群在一天中的什么时间通常没有负载,并且每天在那个时间提交作业



我需要在我们的生产集群中调度一个作业。我试图安排它的时候,集群是基于如何在过去30天的集群负载预计是免费的。Oozie没有任何现成的特性支持这个功能。我正在尝试使用oozie中的一些技巧来实现这一点。

是否有标准的方法来查找过去几天中集群通常空闲的时间?并在每天的那个时间自动提交作业

Linkedin白象似乎是你正在寻找的一个。Ganglia有非常好的api来衡量集群的使用情况,您可以使用它。

您可以使用Cloudera管理器检查完整的群集运行状况(如果您正在使用CDH)。

有Cloudera Manager api进行交互。你也可以看看这个来找到你的解决方法。

http://blog.cloudera.com/blog/2012/09/automating-your-cluster-with-cloudera-manager-api/

相关内容

最新更新