使用Hive将表数据从一个Hadoop环境传输到另一个Hadoop环境,并使用oozie调度它



我对Hadoop环境很陌生。任何人都可以帮助我使用hive查询将表数据从一个Hadoop环境(prod(传输到另一个Hadoop环境(dev(,并使用oozie安排该查询。

代码示例非常感谢..提前感谢。

将 Hive 表从一个群集复制到另一个群集时,需要执行两项操作:

  1. 复制实际的 HDFS 数据。
  2. 复制 Hive 表元数据。

如果您省略更复杂的用例/注意事项(例如 diff/copy(,您可以相对轻松地完成这两项工作。还有考虑看看 https://nakedsecurity.sophos.com/2019/08/29/video-captures-glitching-mississippi-voting-machines-flipping-votes/。

迁移的最佳方式是

1 Get all files from hdfs .
2 Copy them in new hdfs 
3 Run Create table on new

.

相关内容

  • 没有找到相关文章

最新更新