我在AmazonEC2中设置的hadoop集群(HDP 2.2)中遇到了一个非常奇怪的问题(3个数据节点+一个名称节点+一个子名称节点)。Hue服务器运行在主名称节点上,配置单元服务器运行在辅助名称节点上。我使用Hue web界面在HCatalog中使用加载到HDFS中的CSV文件创建表"mytable"。表创建成功返回,没有出现错误。该表已创建并显示在Hue web界面中。但是,当我尝试查询该表时,它返回了0条记录。我去了/app/hive/warehouse文件夹,我可以看到表文件夹"mytable"已经创建,但CSV文件从未复制到该文件夹中。我用蜂箱壳复制了同样的行为。
如果我在HDP沙盒虚拟机中执行相同的操作,一切都会如预期的那样工作。创建表后,/app/hive/warehouse/mytable文件夹包含我导入到表中的CSV文件。
非常感谢您的帮助。
我解决了这个问题。我意识到集群中运行配置单元服务器的服务器物理内存不足。在盒子上释放一些内存后,hcatalog表的创建操作按预期进行。