在Pyspark中连接Sqoop到Hadoop

Question

这是我在Pyspark上使用的代码。我目前正在尝试将Sqoop连接到HDFS。我对这一切都是新手。我不知道该用什么库。

from pysqoop.SqoopImport import Sqoop
sqoop = Sqoop(help=True)
code = sqoop.perform_import()

sqoop = Sqoop(fs='hdfs://localhost:8020', table='myTable', target_dir='hdfs://user/amel',
connect='jdbc:mysql://localhost:3306/testDb',
username='Amel', password='Amel@-1998', num_mappers=2,
bindir='/usr/local/hadoop/sqoop/bin')
sqoop.perform_import()

错误

/home/amel/PycharmProjects/pythonProject/venv/bin/python /home/amel/PycharmProjects/pythonProject/Hello.py
sqoop import None  --help 
name 'run' is not defined
sqoop import None  -fs hdfs://localhost:8020 --table myTable --target-dir hdfs://user/amel --connect jdbc:mysql://localhost:3306/testDb --username Amel --password Amel@-1998 --num-mappers 2 --bindir /usr/local/hadoop/sqoop/bin --help 
name 'run' is not defined
Process finished with exit code 0

Answer 1

注意

Sqoop已经退出Apache项目，Spark可以取代Sqoop。你不应该同时使用它们。

---

无论如何，pysqoop库似乎已经坏了，而且在一年多的时间里似乎没有人提交PR来修复它(尽管我做了)。它显然没有单元测试来捕获这个错误，所以我不建议以当前的形式使用它。

---

下面是一个从Spark文档中复制的部分示例，用于读取JDBC数据库并将其作为Parquet写入HDFS

import pyspark
from pyspark.sql import SparkSession
spark = SparkSession.builder.appName("SqoopReplacement").getOrCreate()
jdbcDF = spark.read 
.format("jdbc") 
.option("url", "jdbc:mysql://localhost:3306") 
.option("dbtable", "myTable") 
.option("user", "Amel") 
.option("password", "Amel@-1998") 
.load()
# Saving data to HDFS as Parquet
jdbcDF.write.parquet("hdfs://some/path")