Databricks python notebook 執行的綠錄檔

Question

我正在使用数据砖并在python笔记本中编写代码。最近我们在生产中部署了它。但是，有时笔记本会失败。

我正在寻找笔记本命令执行日志文件，但是没有选项可以在数据砖中生成日志文件。

我想将日志文件存储在带有时间戳的 DBFS 中，以便在失败时可以引用这些日志文件。

无论如何，我们可以做到这一点吗？提前感谢您的帮助。

Answer 1

是的，有一种方法可以做到这一点。您将使用 Databricks API。这是从他们的网站上获取的。

创建将日志传送到 DBFS 位置的群集 以下 cURL 命令创建一个名为"cluster_log_dbfs"的集群，并请求 Databricks 将其日志发送到 dbfs：/logs，并将集群 ID 作为路径前缀。

curl -n -H "Content-Type: application/json" -X POST -d @- https://<databricks-
instance>/api/2.0/clusters/create <<JSON
{
"cluster_name": "cluster_log_dbfs",
"spark_version": "5.2.x-scala2.11",
"node_type_id": "i3.xlarge",
"num_workers": 1,
"cluster_log_conf": {
"dbfs": {
"destination": "dbfs:/logs"
}
}
}