Spark自定义模式用于CSV文件



我可以定义架构,包括以下类似于CSV文件中的子列,并根据 keyfields nonkeyfields <</strong>

keyfields nonkeyfields
empid dob firstName lastName contact loc1 loc2 doj评论主管

我的示例数据采用以下格式1242569,11-Sep-95,Sandeep,Kumar,9010765550,海得拉巴,海上,16年1月15日,纳加拉克希米·挑战

是的,您可以在读取CSV文件时执行此操作:

df = sqlContext.read.load(<path of the file>, schema)

相关内容

  • 没有找到相关文章