Apache Spark在Jersey依赖注入方面表现不佳



我正试图使用com.github.sps.metrics.metrics-opentsdb库将spark作业中的度量记录到OpenTSDB服务器。我遇到了一个问题,在处理EncodingFilters的球衣代码中出现了一个奇怪的NPE。

这是我得到的例外:

ERROR OpenTsdb: send to opentsdb endpoint failed
javax.ws.rs.ProcessingException: java.lang.NullPointerException
at org.apache.cxf.jaxrs.client.AbstractClient.checkClientException(AbstractClient.java:582)
at org.apache.cxf.jaxrs.client.AbstractClient.preProcessResult(AbstractClient.java:564)
at org.apache.cxf.jaxrs.client.WebClient.doResponse(WebClient.java:1148)
at org.apache.cxf.jaxrs.client.WebClient.doChainedInvocation(WebClient.java:1098)
at org.apache.cxf.jaxrs.client.WebClient.doInvoke(WebClient.java:894)
at org.apache.cxf.jaxrs.client.WebClient.doInvoke(WebClient.java:865)
at org.apache.cxf.jaxrs.client.WebClient.invoke(WebClient.java:428)
at org.apache.cxf.jaxrs.client.WebClient$SyncInvokerImpl.method(WebClient.java:1635)
at org.apache.cxf.jaxrs.client.WebClient$SyncInvokerImpl.method(WebClient.java:1630)
at org.apache.cxf.jaxrs.client.WebClient$SyncInvokerImpl.post(WebClient.java:1570)
at org.apache.cxf.jaxrs.client.spec.InvocationBuilderImpl.post(InvocationBuilderImpl.java:145)
at com.github.sps.metrics.opentsdb.OpenTsdb.sendHelper(OpenTsdb.java:176)
at com.github.sps.metrics.opentsdb.OpenTsdb.send(OpenTsdb.java:162)
at com.github.sps.metrics.opentsdb.OpenTsdb.send(OpenTsdb.java:138)
at com.adobe.gto.gateway.common.metrics.Metrics$RunnableMetricRecorder.run(Metrics.java:220)
at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142)
at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617)
at java.lang.Thread.run(Thread.java:745)
Caused by: java.lang.NullPointerException
at org.glassfish.jersey.client.filter.EncodingFilter.getSupportedEncodings(EncodingFilter.java:110)
at org.glassfish.jersey.client.filter.EncodingFilter.filter(EncodingFilter.java:84)
at org.apache.cxf.jaxrs.client.spec.ClientRequestFilterInterceptor.handleMessage(ClientRequestFilterInterceptor.java:60)
at org.apache.cxf.phase.PhaseInterceptorChain.doIntercept(PhaseInterceptorChain.java:308)
at org.apache.cxf.jaxrs.client.AbstractClient.doRunInterceptorChain(AbstractClient.java:652)
at org.apache.cxf.jaxrs.client.WebClient.doChainedInvocation(WebClient.java:1097)`

我查看了EncodingFilter.class中的代码,发现我失败的一行是:

List<ContentEncoder> encoders = serviceLocator.getAllServices(ContentEncoder.class);

在类中,我看到serviceLocator没有被实例化,相反,我在类的顶部看到了这一行:

@Inject
private ServiceLocator serviceLocator;

我最初认为这可能是一个糟糕的依赖项,所以我检查了my mvn dependency:tree,并确保cxf和jersey项目的所有版本都匹配,所以我认为这不是问题所在。现在我认为这与Apache Spark有特别的关系,我认为这是因为我有一个单独的应用程序,它使用相同的metrics-opentsdb库,而且我从未看到过上述异常,在我的其他应用程序中一切都正常。

那么,有人知道球衣依赖性注入和火花是怎么回事吗?有人处理过同样的问题并解决了吗?这个问题完全是别的吗?

一位同事指出CXF和Jersey是竞争产品,建议我删除CXF,因为metrics-opentsdb库说它使用Jersey。因此,我重新编写了我的应用程序中使用CXF的一部分,并在pom.xml中的一个依赖项中添加了<exclusions>部分,现在一切似乎都很好。

最新更新