猪HBASE失败;存储CSV



我从Hadoop、HBase、Pig环境开始;我会在Hbase表上存储一个数据库;这是我的请求:

hbase->创造创建我的数据库。

我在HDFS文件上重新启动了我的CVS文件hadoop dfs copyFromLocal ~/data.csv/user/hduser/location.csv

我执行了我的请求PIG

raw_data=LOAD'/user/hduser/data.csv'使用PigStorage(';')AS(WMO:int,成熟度:charArray,温度:int,temps_present:int,directing_du_vent:int,force_du_vent:int,压力:int);

使用存储到raw_data"hbase://TrafficFlowGrenoble"org.apache.pig.backend.hadoop.hbase.HBaseStorage(WMO:int成熟度:charArray温度:int temps_present:direction_du_vent int int force_du_vnt int pressure:int');

以下是我的错误:2013-07-22 22:30:31870〔main〕错误org.apache.pigs.tools.pigstats.PigStatsUtil-1映射REDUCE作业失败!2013-07-22 22:30:31872〔main〕INFO org.apache.pig.tools.pigstats.SimplePigStats-脚本统计:

HadoopVersion PigVersion UserId StartedAt FinishedAt功能1.1.2 0.11.1 hduser 2013-07-22 22:28:45 2013-07-22 22-30:31未知

失败!

失败的作业:JobId别名​​功能消息输出job_201307222219_0001 raw_data MAP_ONLY消息:作业失败!错误-作业清理任务失败,任务:Task_201307222219_0001_m_ 000001 hbase://TrafficFlowGrenoble,

输入:无法从"/user/hduser/data.csv"读取数据

输出:未能在"hbase://TrafficFlowGrenoble"中生成结果

计数器:写入的记录总数:0写入的总字节数:0可溢出内存管理器溢出计数:0主动溢出的袋子总数:0主动泄漏记录总数:0

版本:hadoop-1.1.2pig--0.11.1

export HBASE_HOME=/usr/lib/HBASE

#export PIG_CLASSPATH="${HBASE_HOME}/bin/hbase classpath:$PIG_CLASSPACTH"export HADOOP_CLASSPATH="${HBASE_HOME}/bin/hbase classpath:$HADOOP_CLASSPATH"#export PIG_LASSPATH="$PIG_CLASSPATH:/usr/local/hbase/hbase-0.94.8.jar"export PIG_CLASSPATH="/usr/local/hbase/conf/hbase site.xml:/usr/local/hbase/hbase-0.94.8.jar:/usr/local/hase/lib/zookeeper-3.4.5.jar:/usr/local/hbase/lib/$#导出PIG_LASSPATH=/home/nadir/Documents/PIG-0.111.1.jar

如果上面的代码正是你所做的,那么你的输入文件是"/user/hduser/location.csv"而不是data.csv,所以Pig找不到它

最新更新