错误消息-job failed with error message The output of the notebook is too large. Cause: rpc response (of 20972488 bytes) exceeds limit of 20971520 bytes
详细信息：我们正在使用databricks笔记本来运行作业。作业正在作业群集上运行。这是一个流式作业。作业开始失败，出现上述错误。
我们在作业中没有任何display((、show((、print((、explain方法。
我们在工作中也没有使用awaitAnyTermination方法。
我们还尝试添加"；spark.databricks.driver.disableScalaOutput true"；但它仍然不起作用。作业因相同错误而失败。
我们遵循了本文件中提到的所有步骤——https://learn.microsoft.com/en-us/azure/databricks/kb/jobs/job-cluster-limit-nb-output
我们有没有任何选择来解决这个问题，或者确切地找出是哪些命令输出导致它超过20MB的限制。
请参阅有关产品中结构化流的文档。
我建议迁移到基于jar作业的工作流，因为：
Notebook workflows are not supported with long-running jobs. Therefore we don’t recommend using notebook workflows in your streaming jobs.
尝试使用：
%%capture
%run <path_to_your_notebook>