我有一个DataProc集群在GCP中运行。我为它运行了Livy初始化脚本，我可以通过网关接口访问Livy/sessions链接。我为我的sparkmagic config.json设置了以下内容：
{
"kernel_python_credentials" : {
"auth": "None",
"url": "https://{SERVER}.dataproc.googleusercontent.com/livy"
},
"should_heartbeat": true,
"livy_server_heartbeat_timeout_seconds": 60,
"heartbeat_refresh_seconds": 5,
"heartbeat_retry_seconds": 1,
"ignore_ssl_errors": false
}
我可以启动内核，但如果我尝试执行一个单元，它似乎会用登录页进行回复。我是否需要设置其他参数才能使其工作？
为了其他来到这里的人的利益，我通过设置从livy服务到本地机器的端口转发来实现连接。然而，我遇到了一个问题，无法实际执行针对集群的作业。Livy似乎或多或少已经失效了，特别是目前可用的版本(最新的0.7.1(并不是针对Spark 3/Scala 2.12构建的。要做到这一点没有简单的方法。