如何从Spark 1.X到Spark 2.x迁移SQL_CONTEXT.REGISTERDATAFRAMEAST



如何将数据框架注册为pyspark/spark 2.x中的表?我使用spark 1.x的sql_context.registerdataframeastable(input_df,input_tableName)方法。现在,我必须迁移到Spark 2.X,并希望使用SPARK会话而不是SQL_Context。但是,在火花上下文中不再存在此方法。在Spark 2.x中替换该功能的最佳方法是什么?

直接使用Dataset

input_df.createTempView("input_table_name")

input_df.createOrReplaceTempView("input_table_name")

相关内容

  • 没有找到相关文章

最新更新