Hello-samza -任务保持在接受状态

Question

我正在尝试从主分支开始启动hello-samza示例。我已经运行了每一个命令没有错误，启动run-job.sh没有错误，但在YARN的工作永远停留在接受状态。

我已经看了http://localhost:8088/cluster/nodes和它显示什么-这是问题吗?YARN没有节点连接，所以它不能分配资源来完成提交的作业?

yarn node -list

也显示了Total Nodes:0

如果我只是按照说明做，为什么会这样?

Answer 1

YARN没有节点连接，所以它不能分配资源来完成提交的作业?

是，作业正在排队等待资源启动。

查看NodeManager的日志，找出为什么它不能连接到ResourceManager，这可能是有用的

Answer 2

我有同样的问题，但我弄清楚是什么错了。也许在你的情况下，这是不同的问题，但这是值得检查的(它也可能帮助其他人)。根据Jon Bringhurst的建议，我建议查看Yarn Node Manager日志-对于hello samza项目，它们应该位于:

hello-samza/deploy/yarn/logs/yarn-*nodemanger-*.log

在我的情况下(可能在你的情况下)，我看到error，它说(之前也有警告，告诉我磁盘空间超过90%):

1/1 local-dirs are bad: *; 
1/1 log-dirs are bad: *  

它们是坏的，因为节点上的可用磁盘空间超过了yarn的max-disk-utilization-per-disk-percentage默认值90.0%。要么清理磁盘，要么增加yarn-site.xml中的阈值(就像我做的那样):

<property>
        <name>yarn.nodemanager.disk-health-checker.max-disk-utilization-per-disk-percentage</name>
        <value>97</value>
</property>