我对Hadoop环境很陌生。任何人都可以帮助我使用hive查询将表数据从一个Hadoop环境(prod(传输到另一个Hadoop环境(dev(,并使用oozie安排该查询。
代码示例非常感谢..提前感谢。
将 Hive 表从一个群集复制到另一个群集时,需要执行两项操作:
- 复制实际的 HDFS 数据。
- 复制 Hive 表元数据。
如果您省略更复杂的用例/注意事项(例如 diff/copy(,您可以相对轻松地完成这两项工作。还有考虑看看 https://nakedsecurity.sophos.com/2019/08/29/video-captures-glitching-mississippi-voting-machines-flipping-votes/。
迁移的最佳方式是
1 Get all files from hdfs .
2 Copy them in new hdfs
3 Run Create table on new
.