从Azure Databricks笔记本访问SQL Server



我正在使用Azure Databricks笔记本电脑,并访问Azure平台上可用的SQL Server
我正在将Spark数据帧添加到表"TableName"中
以下是从Azure Databricks笔记本连接数据并将其保存到SQL Server数据库的示例代码:

val jdbc_url = sql-db-connection-string
val user = sql-db-username
val password = sql-db-password
val connectionProperties = new Properties()
connectionProperties.put("user", user)
connectionProperties.put("password", password)  
MyDataFrame.coalesce(1).write.mode("append")jdbc(jdbc_url, "SchemaName.TableName", connectionProperties)

现在的问题是:-虽然我可以将数据插入表中,但我不知道它在内部是如何工作的
下面是Databricks发布的用于访问SQL Server等的文档。但没有提到它。
1(它是如何建立连接的,
2(它如何关闭连接
3(如果它没有自动关闭,那么我应该写什么代码来关闭连接。建立与sql server 的连接

请注意:我正在为Spark框架使用Scala。

1(连接是通过JDBC建立的。Databricks中提供了用于Microsoft SQL Server或Azure SQL DB的JDBC驱动程序。我们可以使用进行检查

Class.forName("com.microsoft.sqlserver.jdbc.SQLServerDriver")

2( 输入/输出格式本身将负责关闭连接。这里jdbc是负责关闭连接的格式。有关代码级别的更多信息,您可以查看spark源代码。

最新更新