希望通过Azure数据工厂连接本地Kafka以访问消息并存储到adls。
使用ADF连接kafka
我的数据在本地kafka中可用，想要访问并加载到adls。
假设你的本地Kafka不能通过公共互联网访问，你有两个选择。您可以通过托管虚拟网络(也称为托管私有端点)或自托管集成运行时进行连接。
以下是我从https://learn.microsoft.com/en-us/azure/data-factory/choose-the-right-integration-runtime-configuration上复制的一些解释。
Azure集成运行时与托管虚拟网络
在与托管虚拟网络一起使用Azure集成运行时时，您应该使用托管私有端点连接数据源，以确保传输期间的数据安全。通过一些附加设置，如私有链接服务和负载平衡器，托管私有端点也可以用于访问本地数据源。
自托管集成运行时
为了防止来自不同环境的数据相互干扰并确保生产环境的安全性，我们需要为每个环境创建相应的自托管集成运行时。这确保了不同环境之间的充分隔离。
由于自托管集成运行时运行在客户管理的机器上，为了尽可能地减少成本、维护和升级工作，我们可以为同一环境中的不同项目使用自托管集成运行时的共享功能。有关自托管集成运行时共享的详细信息，请参阅文章在Azure Data Factory中创建共享的自托管集成运行时。同时，为了使数据在传输过程中更加安全，我们可以选择使用私有链路连接数据源和密钥库，并连接自托管集成运行时与Azure数据工厂服务之间的通信。