关于Splunk和Apache Spark集成的一个小问题。
目前，我正在Splunk做一个搜索查询。结果是相当大的。我将此结果导出为CSV，以便与几个团队共享，用于下游工作。
每个下游工作最终都将CSV作为Apache Spark作业的一部分加载，将其转换为DataSet，并在其上执行map reduce。
每个团队的Spark作业都是不同的。因此，简单地将每个团队的计算直接插件在Splunk中是不太可扩展的。
这导致我们问一个问题，而不是每个团队都必须下载一个CSV的副本，我可以问一下，如果有一个API，或者一种方法来连接到Splunk搜索结果从Apache Spark直接?
谢谢
Splunk没有专门针对Spark的API。有一个REST API、一些sdk和对ODBC的支持(可能最适合您)。在Spark服务器上安装了ODBC/JDBC驱动程序，并在Splunk上定义了一些保存的搜索，您应该能够将结果从Splunk导出到Spark进行分析。详见https://www.cdata.com/kb/tech/splunk-jdbc-apache-spark.rst