在Spark中运行C UDF

Question

我正在尝试找到一种在Spark中运行C UDF的方法。到目前为止

任何人都知道如何在Spark（Scala或Pyspark）中进行操作？

Answer 1

c 不受作为访客语言的支持，因此您不能编写C UDF。您可以做的是从Scala或支持UDF中调用C 代码。

在Scala 中您可以使用Java本机接口。插图代码必须是安全的。

在Python中您可以编写C/C 扩展名，Swig Inteface或Cython。工人是孤立的，因此不需要线程安全。