Amazon EMR Hbase，Thrift 伺服器消亡

Question

我正在使用EMR进行Hbase。我有一个python api，它使用芹菜异步将数据写入HBase。但时不时地，也有例外。有时例外是关于传输框架，有时只是损坏的管道。我总是必须登录我的主人并手动重新启动节俭服务器并重新启动我的芹菜.我也松懈了数据。

有什么解决方案吗？

我写了一个每 5 分钟运行一次的 crontab 来运行 hbase-daemon.sh start thrift 命令，但我在/var/spool/mail/hadoop 中收到一封错误消息，Error: JAVA_HOME is not set and Java could not be found .

Answer 1

您是否检查过节俭日志是否有任何异常？

如果您在日志中没有发现任何异常，则意味着节俭被杀死，这通常发生在 OutOfMemoryError 上。所以基本上你只需要为节俭服务器添加更多内存或同时打开更少的扫描仪（扫描仪消耗大量资源）。

至于JAVA_HOME错误，您必须为用户hadoop设置它

export JAVA_HOME=/path/where/java/is

Answer 2

如果节俭服务器经常崩溃，一个原因可能是您没有关闭扫描仪。因此，最终节俭使用的内存超过4-5GB，然后崩溃。关闭扫描仪并尝试。使用 smem 找出它使用了多少内存。此外，还生成了一个日志文件，几乎每次都有引发异常的原因。

以下是在主服务器中访问日志文件的方法：

1. CD HBase\logs
2. ls -lt//根据时间对文件进行排序
3. vi [结果中第一个位置的日志文件名称]//查看日志