Spark-submit to Kubernetes Cluster on Google Cloud 得到了 401 未



这是非常标准的火花提交操作,奇怪的是我时不时得到401,如果我只是等待几分钟,我可以再次运行,直到下次我得到401。

这与这个问题非常相似 https://jira.apache.org/jira/browse/SPARK-24227

我只是想知道我在提交时是否没有正确设置GOOGLE_APPLICATION_CREDENTIAL,但是一开始我没有设置任何凭据并且仍然可以运行。

有人有类似的问题吗?

这是一个微妙的错误,Spark无法刷新访问令牌。一种解决方法是:

  • 运行虚拟 kubectl 命令以刷新访问令牌。例如:kubectl get namespace

最新更新