我在Cloudera集群上使用Jupyter Notebook，需要从hdfs读取数据。由于群集是 Kerberized 的，所以我需要使用我的密钥表进行身份验证，所以我在笔记本中运行了命令：
kinit -kt keytab principal
没问题，我可以通过klist看到校长有有效的票
但是，当我尝试访问我有权访问的 hdfs 数据时：
df_load = sparkSession.read.csv('hdfs://cmanagerdev01/user/rxie/data.csv')
我收到以下错误：
Py4JJava错误：调用 o106.csv 时出错。 org.apache.hadoop.security.AccessControlException： SIMPLE 未启用身份验证。 可用：[令牌，KERBEROS] 在 sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method( 在 sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java：62( 在 sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java：45( at java.lang.reflect.Constructor.newInstance(Constructor.java：423( 在 org.apache.hadoop.ipc.RemoteException.instantiateException(RemoteException.java：106( 在 org.apache.hadoop.ipc.RemoteException.unwrapRemoteException(RemoteException.java：73( at org.apache.hadoop.hdfs.DFSClient.getFileInfo(DFSClient.java：2110( 在 org.apache.hadoop.hdfs.DistributedFileSystem$22.doCall(DistributedFileSystem.java：1305( 在 org.apache.hadoop.hdfs.DistributedFileSystem$22.doCall(DistributedFileSystem.java：1301( 在 org.apache.hadoop.fs.FileSystemLinkResolver.resolve(FileSystemLinkResolver.java：81( 在 org.apache.hadoop.hdfs.DistributedFileSystem.getFileStatus(DistributedFileSystem.java：1317( at org.apache.hadoop.fs.FileSystem.exists(FileSystem.java：1426( at org.apache.spark.sql.execution.datasources.DataSource$.org$apache$spark$sql$execution$datasources$DataSource$$checkAndGlobPathIfNecessary(DataSource.scala：714( 在 org.apache.spark.sql.execution.datasources.DataSource$$anonfun$15.apply(DataSource.scala：389( 在 org.apache.spark.sql.execution.datasources.DataSource$$anonfun$15.apply(DataSource.scala：389( 在 scala.collection.TraversableLike$$anonfun$flatMap$1.apply(TraversableLike.scala：241( 在 scala.collection.TraversableLike$$anonfun$flatMap$1.apply(TraversableLike.scala：241( at scala.collection.immutable.List.foreach(List.scala：381( at scala.collection.TraversableLike$class.flatMap(TraversableLike.scala：241( at scala.collection.immutable.List.flatMap(List.scala：344( at org.apache.spark.sql.execution.datasources.DataSource.resolveRelation(DataSource.scala：388( 在 org.apache.spark.sql.DataFrameReader.loadV1Source(DataFrameReader.scala：239( 在 org.apache.spark.sql.DataFrameReader.load(DataFrameReader.scala：227( 在 org.apache.spark.sql.DataFrameReader.csv(DataFrameReader.scala：596( at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method( at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java：62( 在 sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java：43( at java.lang.reflect.Method.invoke(Method.java：498( at py4j.reflection.MethodInvoker.invoke(MethodInvoker.java：244( at py4j.reflection.ReflectionEngine.invoke(ReflectionEngine.java：357( at PY4J。Gateway.invoke(Gateway.java：282( at py4j.commands.AbstractCommand.invokeMethod(AbstractCommand.java：132( at py4j.command.CallCommand.execute(CallCommand.java：79( at PY4J。GatewayConnection.run(GatewayConnection.java：238( at java.lang.Thread.run(Thread.java：748( 由以下原因引起： org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.security.AccessControlException(： 未启用简单身份验证。 可用：[令牌，KERBEROS] 在 org.apache.hadoop.ipc.Client.call(Client.java：1475( at org.apache.hadoop.ipc.Client.call(Client.java：1412( at org.apache.hadoop.ipc.ProtobufRpcEngine$Invoker.invoke(ProtobufRpcEngine.java：229( at com.sun.proxy.$Proxy 17.getFileInfo(未知来源( at org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolTranslatorPB.getFileInfo(ClientNamenodeProtocolTranslatorPB.java：771( at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method( at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java：62( 在 sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java：43( at java.lang.reflect.Method.invoke(Method.java：498( at org.apache.hadoop.io.retry.RetryInvocationHandler.invokeMethod(RetryInvocationHandler.java：191( 在 org.apache.hadoop.io.retry.RetryInvocationHandler.invoke(RetryInvocationHandler.java：102( at com.sun.proxy.$Proxy 18.getFileInfo(未知来源( at org.apache.hadoop.hdfs.DFSClient.getFileInfo(DFSClient.java：2108( ... 还有 28 个
export HADOOP_HOME=/etc/hadoop/
导出 HADOOP_CONF_DIR=/etc/Hadoop/conf
export CLASSPATH=$CLASSPATH：$HADOOP_CONF_DIR
设置这些环境变量应该可以解决问题