我们有一个环境,在Azure API管理的保护下,我们有Elasticsearch。我们通过客户端证书要求(以及其他安全措施)锁定了这一点。没有客户端证书进入APIM的调用将被拒绝。
我有一个新系统,我在线,其中数据存储在Delta湖表和处理PySpark(使用Azure Synapse)。在处理结束时,我想将最终产品推送到Elasticsearch。我知道我可以用org.elasticsearch写es。但是我没有看到任何方法可以包含一个客户端证书来清除APIM。
这些都有可能吗?
- 在为writeStream连接到Elasticsearch时包含一个证书
- 使用。net进行流读写。我还不确定微软有什么能力。Spark有,如果它可以从Delta表中读取结构化流。如果它工作,我可以使用我现有的库调用ES。
- 找到一种方法来对等VNets,以便我可以通过本地IP地址调用ES。我在另一个系统中这样做,但在这种情况下,我可以访问两个vnet。对于Synapse, Spark Pook是管理的,我认为它不支持Azure VNet对等功能。
- 别的吗?
谢谢!
我发现的唯一解决方案是在我运行Elasticsearch的集群中的负载均衡器上启用私有链接服务,然后创建一个连接到Synapse中的PLS的托管私有端点。