Lead节点出现/tmp/spark jobserver/filedao/data/jars.data故障(权限被拒绝)



SnappyData v.0-5

我以非root用户"foo"的身份登录Ubuntu。SnappyData目录/install由"foo"用户和"foo"组所有。

我在这里用一个脚本启动所有节点(定位器、领导、服务器):

SNAPPY_HOME/sbin/snapy-start-all.sh

定位器启动。服务器启动。铅死于此错误。

21年7月16日23:12:26.883 UTC服务器连接器信息JobFileDAO:rootDir是/tmp/spark jobserver/filedao/data 21年7月16日23:12:26.888 UTCserverConnector错误JobServer$:无法启动SparkJobServer:java.lang.reflect.InvocationTargetException位于sun.reflect.NativeConstructorAccessorImpl.newInstance0(本机方法)在sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessor Impl.java:62)在sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessor Impl.java:45)位于java.lang.reflect.Constructure.newInstance(Constructor.java:423)位于spark.jobserver.jobserver$.start(jobserver.scala:69)位于的io.snappydata.impl.LedImpl.startAddOnServices(LeadImpl.scala:283)io.snappydata.impl.LedImpl$.invokeLeadStartAddonService(LeadImpl.scala:360)在io.snappydata.ToolsCallbackImpl$.invokeLeadStartAddonService(ToolsCallbackImpl.scala:28)在org.apache.spark.sql.SnappyContext$.invokeServices(SnappyContext.scala:1362)在org.apache.spark.sql.SnappyContext$.initGlobalSnappyContext(SnappyContext.scala:1340)网址:org.apache.spark.sql.SnappyContext.(SnappyContext.scala:104)网址:org.apache.spark.sql.SnappyContext.(SnappyContext.scala:95)在org.apache.spark.sql.SnappyContext$.newSnappyContext(SnappyContext.scala:1221)在org.apache.spark.sql.SnappyContext$.apply(SnappyContext.scala:1249)在org.apache.spark.scheduler.SnappyTaskSchedulerImpl.postStartHook(SnappyTaskSchedulerImpl.scala:25)网址:org.apache.spark.SparkContext.(SparkContext.scala:601)io.snappydata.impl.LedImpl.start(LeadImpl.scala:129)位于的io.snappydata.impl.ServerImpl.start(ServerImpl.scala:32)io.snappydata.tools.LeaderLauncher.startServerVM(LeaderLauncher.scala:91)在com.pivot.gemfirexd.tools.internal.GfxdServerLauncher.connect(GfxdServer Launcher.java:174)在com.gement.gemfire.internal.cache.CacheServerLauncher$AsyncServerLauncher.run(CacheServerLauncher.java:1003)在java.lang.Thread.run(Thread.java:745)由以下原因引起:java.io.FileNotFoundException:/tmp/spark jobserver/filedao/data/jars.data(权限被拒绝)java.io.FileOutputStream.open0(本机方法)java.io.FileOutputStream.open(FileOutputStream.java:270)java.io.FileOutputStream。(FileOutputStream.java:213)spark.jobserver.io.JobFileDAO.init(JobFileDAO.scala:90)spark.jobserver.io.JobFileDAO.(JobFileDAO.scala:30)。。。22个以上21年7月16日23:12:26.891 UTC分布式系统关机挂钩INFO snapystore:VM正在退出-正在关闭分布式系统

我是否需要成为其他用户才能启动Lead节点?使用"sudo"?配置一个属性来告诉Spark使用目录"foo"是否有权限?提前自己创建这个目录?

/tmp/spark jobserver的当前所有者似乎是其他用户。检查该目录的权限并将其删除。

如果多个用户将在同一台机器上运行lead,则可以将作业服务器目录配置为其他位置,如这里所述。相关属性可以在application.conf源中找到。这可能麻烦多了,所以目前只需确保一个用户启动机器上的引导节点会更容易。

我们将在下一个版本(SNAP-69)中修复工作/目录中的默认值。

最新更新