Ab-Initio dml-to-hive

Question

我正在使用AbInitio，并试图将输入表中查询的结果填充到hdfs中。我想要镶木地板的样式。我尝试使用dml来配置文本，但以下是我的结果，我不确定这意味着什么。

$ dml-to-hive text $AI_DML/myprojectdml.dml
Usage: dml-to-avro <record_format> <output_file>
or: dml-to-avro help
<record-format> is one of:
<filename>           Read record format from file
-string <string>     Read record format from string
<output_file> is one of:
<filename>           Output Avro schema to file
-                    Output Avro schema to standard output

我也尝试使用"写入配置单元表"组件，但收到以下错误：

[B276]
The internal charset "XXcharset_NONE" was encountered when a valid character set data
structure was expected.   One possible cause of this error is that you specified a 
character set to the Co>Operating System that is misspelled or otherwise incorrect.
If you cannot resolve the error please contact Customer Support.

任何帮助都将是伟大的，我正在努力让我的输出在拼花地板hdfs。

谢谢，Chris Richardson

Answer 1

我知道这是一个迟来的回复，但如果你还在处理这个问题，或者其他人像我一样偶然发现了这个问题，我想我已经找到了解决方案。

我使用dml-to-hive为拼花地板格式创建了一个dml，并将其写入一个文件。

dml-to-hive parquet current.dml > parquet.dml

一旦创建了这个dml，就可以在"；写入HDFS"；组成部分双击组件，转到端口选项卡，单击单选按钮"；使用文件"；然后将其指向parquet.dml

然后，只需将WRITE_FORMAT选项设置为镶木地板并旋转即可。我能够使用上述过程创建镶木地板、orc和avro文件。