如何将 csv 文件导入到不同架构中的 hbase 表中

Question

我最近开始研究hbase，但对它知之甚少。我有多个 csv 文件(大约 20000(，我想将它们导入到 HBase 表中，每个文件在 hbase 中都是一行，文件名将是 rowkey。这意味着csv文件的每一行都是hbase中的一个单元格，我需要将它们放在结构数据类型(25个字段(中。不幸的是，我对这个问题一无所知。如果有人愿意给我一些提示，我将不胜感激。

以下是 csv 文件的示例：

time, a, b, c, d, ..., x
0.000,98.600,115.700,54.200,72.900,...,0.000
60.000,80.100,113.200,54.500,72.100,...,0.000
120.000,80.000,114.200,55.200,72.900,...,0.000
180.000,80.000,118.400,56.800,75.500,...,0.000
240.000,80.000,123.100,59.600,79.200,...,0.000
300.000,80.000,130.100,61.600,82.500,...,0.000

谢谢

Answer 1

Importtsv 是一个实用程序，它将 TSV 或 CSV 格式的数据加载到 HBase 中。

Importtsv 有两种不同的用法：

1. 通过 Put 将数据从 TSV 或 CSV 格式的 HDFS 加载到 HBase 中。
2. 准备要通过完整批量加载加载的存储文件。

将数据从 TSV 或 CSV 格式的 HDFS 加载到 HBase 下面是允许您将数据从 hdfs 文件加载到 HBase 表的示例。您必须将本地文件复制到 hdfs 文件夹，然后才能将其加载到 HBase 表中。

$ hbaseorg.apache.hadoop.hbase.mapreduce.ImportTsv -Dimporttsv.separator='，' -Dimporttsv.columns=HBASE_ROW_KEY， personal_data：name， personal_data：city， personal_data：age personal/test 上面的命令将生成MapReduce作业，将数据从CSV文件加载到HBase表。