WriteStream一个数据帧到Elasticsearch背后的Azure API管理,需要客户端证书?



我们有一个环境,在Azure API管理的保护下,我们有Elasticsearch。我们通过客户端证书要求(以及其他安全措施)锁定了这一点。没有客户端证书进入APIM的调用将被拒绝。

我有一个新系统,我在线,其中数据存储在Delta湖表和处理PySpark(使用Azure Synapse)。在处理结束时,我想将最终产品推送到Elasticsearch。我知道我可以用org.elasticsearch写es。但是我没有看到任何方法可以包含一个客户端证书来清除APIM。

这些都有可能吗?

  1. 在为writeStream连接到Elasticsearch时包含一个证书
  2. 使用。net进行流读写。我还不确定微软有什么能力。Spark有,如果它可以从Delta表中读取结构化流。如果它工作,我可以使用我现有的库调用ES。
  3. 找到一种方法来对等VNets,以便我可以通过本地IP地址调用ES。我在另一个系统中这样做,但在这种情况下,我可以访问两个vnet。对于Synapse, Spark Pook是管理的,我认为它不支持Azure VNet对等功能。
  4. 别的吗?

谢谢!

我发现的唯一解决方案是在我运行Elasticsearch的集群中的负载均衡器上启用私有链接服务,然后创建一个连接到Synapse中的PLS的托管私有端点。

最新更新