我正在更改spark的conf，以便限制我的spark结构化流日志文件的日志。我已经想好了这样做的属性，但它现在不起作用。我需要重新启动所有节点(名称和工作节点(还是重新启动作业就足够了。我们正在使用googledataproc集群，并使用yarn运行spark。
最简单的方法是在集群创建期间使用Dataproc集群属性设置这些属性：
gcloud dataproc clusters create $CLUSTER_NAME
--properties spark:<key>=<value>,yarn:<key>=<value>
或者在提交Spark应用程序时设置它们。