在EMR 5.13.0中运行火花程序时出现问题

Question

我们能够在emr 5.9.0中运行spark程序而不会出现任何问题。但在emr 5.13.0中运行时出现以下错误。

19/11/12 07:09:43 ERROR SparkContext: Error initializing SparkContext.
javax.xml.parsers.FactoryConfigurationError: Provider for class javax.xml.parsers.DocumentBuilderFactory cannot be created

我在maven中添加了以下依赖项。但仍然有同样的问题。有人能帮忙解决这个问题吗。

<dependency>
<groupId>xerces</groupId>
<artifactId>xercesImpl</artifactId>
<version>2.11.0</version>
</dependency>

感谢

Answer 1

EMR 5.13.0具有火花版本2.3.0，而EMR 5.9.0具有2.2.0。尝试升级您的jar中的spark版本。

Answer 2

在添加以下内容后能够修复该问题。

--jar xercesImpl-11.0.jar，xml-apis-14.01.jar

感谢