如何使用 spark/scala + 代码 + 配置通过远程 Hive 存储 ( s3 orc) 在 sparksql

Question

intellij(spark(--->Hive(Remote(---存储S3(兽人格式(无法通过 spark/scala 读取远程 Hive 表。

能够读取表

架构，但无法读取表。

Error -Exception in thread "main" java.lang.IllegalArgumentException： 必须将 AWS 访问密钥 ID 和秘密访问密钥指定为 s3 URL 的用户名或密码(分别(，或通过设置 fs.s3.awsAccessKeyId 或 fs.s3.awsSecretAccessKey 属性 (分别(。

import org.apache.spark.SparkConf
import org.apache.spark.SparkContext
import org.apache.spark.sql.{Encoders, SparkSession}
import org.apache.spark.sql.hive.HiveContext
import org.apache.spark.sql.hive.orc._
import org.apache.spark.sql.types.StructType
object mainclas {
  def main(args: Array[String]): Unit = {
     val spark = SparkSession.builder
      .master("local[*]")
      .appName("hivetable")
      .config("hive.metastore.uris", "thrift://10.20.30.40:9083")
       .config("access-key","PQHFFDEGGDDVDVV")
       .config("secret-key","FFGSGHhjhhhdjhJHJHHJGJHGjHH")
       .config("format", "orc")
      .enableHiveSupport()
      .getOrCreate()
   val res = spark.sqlContext.sql("show tables").show()
   val res1 =spark.sql("select *from ace.visit limit 5").show() 
}
}`

Answer 1

试试这个：

val spark = SparkSession.builder
  .master("local[*]")
  .appName("hivetable")
  .config("hive.metastore.uris", "thrift://10.20.30.40:9083")
  .config("fs.s3n.awsAccessKeyId","PQHFFDEGGDDVDVV")
  .config("fs.s3n.awsSecretAccessKey","FFGSGHhjhhhdjhJHJHHJGJHGjHH")
  .config("format", "orc")
  .enableHiveSupport()
  .getOrCreate()

Answer 2

如果要在 Spark 配置中设置所有fs.选项，则需要在所有选项前面加上 spark.hadoop 前缀。如前所述：如果可以的话，使用 s3a 而不是 s3n。