如何使用ODBC连接器在Glue ETL / Spark中连接关系数据库

Question

我需要在 AWS 生态系统中使用 ODBC Connector 从 RDBMS 中提取数据。AWS Glue 不提供 ODBC 连接。如何在 Spark 中使用 ODBC 驱动程序将我的 Spark 代码与关系数据库连接。

我尝试了使用 EMR 的 sqoop。但它也不提供 ODBC 连接。然后我尝试了火花。但我仍然无法找到有关此的解决方案。

需要使用 ODBC 驱动程序在 Spark 中连接关系数据库

Answer 1

我使用 pymysql 作为 zip 文件，将其添加到我的 AWS Glue 作业中。 然后，我将pymysql库导入了我的AWS Glue。 希望您也可以在各自的RDBMS上遵循类似的内容。 由于信息不完全可用，我假设您想读/写 rdbms。 以下是我用于连接到 AWS RDS 的示例代码。

import pymysql
rds_host  = "rds.url.aaa.us-west-2.rds.amazonaws.com"
name = "username"
password = "userpwd"
db_name = "dbname"
conn = pymysql.connect(rds_host, user=name, passwd=password, db=db_name, connect_timeout=5)
with conn.cursor() as cur:
cur.execute("select * from your table query)
result = cur.fetchall()
for row in result:
print("Column1 value=>: ", row[0])
conn.commit()
cur.close()

如果您需要任何进一步的指示，请告诉我，如果这是您正在寻找的。