我使用这个repo作为参考，我已经成功地使它在本地运行:https://github.com/rhaycock/Kafka-Connect-POC/tree/master/kafka-connect-main
我正在尝试在MSK连接中设置连接器，我正在使用此接收器规格:https://github.com/rhaycock/Kafka-Connect-POC/blob/master/kafka-connect-main/config/sink/gcs-connector.json
docker-compose中也有很多环境变量。yml文件:https://github.com/rhaycock/Kafka-Connect-POC/blob/master/kafka-connect-main/docker-compose.yml
在这一点上，我的问题是我如何从Docker撰写文件到MSK连接器的所有这些变量?它们在"连接器配置"中吗?MSK的吗?还是Worker配置?还是去别的地方?我特别需要CONNECT_GROUP_ID,CONNECT_CONFIG_STORAGE_TOPIC,CONNECT_OFFSET_STORAGE_TOPIC,CONNECT_STATUS_STORAGE_TOPIC等。
您链接到的docker-compose.yml文件中的大多数环境变量都是由MSK Connect服务管理的
使用MSK Connect时，您可以控制以下位置的属性:
- 连接器配置
- Worker配置(提供这里定义的allow-list中的属性)
其他属性，例如那些指示如何配置连接框架的属性(例如docker-compose文件中的KAFKA_CONNECT_MODE)由MSK Connect管理。
考虑到您链接的docker-compose.yml文件，下面的列表将env变量映射到MSK Connect中可自定义的属性。从此列表中排除的属性当前是服务管理的:
KAFKA_BOOTSTRAP_SERVERS->kafkaCluster.apacheKafkaCluster.bootstrapServers在CreateConnector请求。AWS_ROLE_ARN->serviceExecutionRoleArn在CreateConnector请求。CONNECT_OFFSET_STORAGE_TOPIC->offset.storage.topic在Worker配置资源中，在这里了解更多信息。
最后注意，您链接的存储库的README.md也声明:
复制CLASSPATH所需的任何jar文件，并使用正确的详细信息更新.env
在MSK Connect中，您可以通过使用您想要捆绑的jar(例如您的连接器实现)创建自定义插件资源来实现这一点