如何将Great Experiences Html验证结果保存到Databricks DBFS或Azure Blob

Question

前段时间我问了这个问题

如何将远大期望的结果保存到Apache Spark的文件-使用数据文档

如何从Apache Spark将远大期望的结果保存到文件-使用数据文档

答案集中在查看Databricks中的结果上，但我想知道如何将Html结果保存到文件中——在Databricks-DBFS或Azure ADLS/Blob上。

Alex Ott提到了以下内容：

如果不使用Databricks，则可以将数据呈现为HTML并将其存储为存储在某处的文件

但是，我不确定他是否建议如果我不使用Databricks，就不可能存储文件？

在任何情况下，有人能告诉我如何存储/保存文件吗：

我尝试了下面的代码，但我得到了错误消息：

ResourceNotFoundError: The specified filesystem does not exist.

错误指向：

file.create_file()

我使用的代码如下：

with open('/dbfs/mnt/lake/RAW/pitstops_suite.html', 'r') as file:
data = file.read()
file = DataLakeFileClient.from_connection_string("DefaultEndpointsProtocol=https;AccountName=adlsbiukadlsdev;AccountKey=sz8sRd66FLYMjjqa7GfxW1V/ZyMWdmc0YQ==;EndpointSuffix=core.windows.net", file_system_name="polybase", file_path="pitstops_suite.html")
##htmp test
file.create_file()
file.append_data(html, offset=0, length=len(html))
file.flush_data(len(html))

有什么想法吗？

Answer 1

这样的东西应该可以工作：

#Engine
from great_expectations.dataset.sparkdf_dataset import SparkDFDataset
#Doc related
from great_expectations.render.renderer import ProfilingResultsPageRenderer, ExpectationSuitePageRenderer
from great_expectations.render.view import DefaultJinjaPageView
df = SparkDFDataset(df)
df.expect...
df.expect...
validations = df.validate()

profiling_html_filepath = "path"
document_model = ProfilingResultsPageRenderer().render(validations)
dbutils.fs.mkdirs(profiling_html_filepath)
dbutils.fs.put(profiling_html_filepath, document_model, True)