我的 Kafka Connect 接收器堆空间不足。还有其他类似的线程：Kafka Connect 耗尽堆空间
问题只是使用默认内存设置运行。以前，将其提高到 2g 解决了我的问题。但是，添加新接收器时，堆错误又回来了。我将Xmx提高到12g，但仍然收到错误。
在我的 systemd 服务文件中，我有：
Environment="KAFKA_HEAP_OPTS=-Xms512m -Xmx12g"
即使使用非常高的 Xmx 设置，我仍然收到堆错误。我还将flush.size降低到1000，我认为这会有所帮助。仅供参考，此连接器针对 11 个不同的 Kafka 主题。这是否带来了独特的内存需求？
如何进一步修复或诊断？
仅供参考，这是Kafka 0.10.2.1和Confluent平台3.2.2。更新的版本是否在此处提供了任何改进？
java.lang.OutOfMemoryError: Java heap space
at java.nio.HeapByteBuffer.<init>(HeapByteBuffer.java:57)
at java.nio.ByteBuffer.allocate(ByteBuffer.java:335)
at io.confluent.connect.s3.storage.S3OutputStream.<init>(S3OutputStream.java:67)
at io.confluent.connect.s3.storage.S3Storage.create(S3Storage.java:197)
at io.confluent.connect.s3.format.avro.AvroRecordWriterProvider$1.write(AvroRecordWriterProvider.java:67)
at io.confluent.connect.s3.TopicPartitionWriter.writeRecord(TopicPartitionWriter.java:393)
at io.confluent.connect.s3.TopicPartitionWriter.write(TopicPartitionWriter.java:197)
at io.confluent.connect.s3.S3SinkTask.put(S3SinkTask.java:173)
at org.apache.kafka.connect.runtime.WorkerSinkTask.deliverMessages(WorkerSinkTask.java:429)
at org.apache.kafka.connect.runtime.WorkerSinkTask.poll(WorkerSinkTask.java:250)
at org.apache.kafka.connect.runtime.WorkerSinkTask.iteration(WorkerSinkTask.java:179)
at org.apache.kafka.connect.runtime.WorkerSinkTask.execute(WorkerSinkTask.java:148)
at org.apache.kafka.connect.runtime.WorkerTask.doRun(WorkerTask.java:139)
at org.apache.kafka.connect.runtime.WorkerTask.run(WorkerTask.java:182)
at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:511)
at java.util.concurrent.FutureTask.run(FutureTask.java:266)
at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149)
at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624)
at java.lang.Thread.run(Thread.java:748)
[2018-03-13 20:31:46,398] ERROR Task is being killed and will not recover until manually restarted (org.apache.kafka.connect.runtime.WorkerSinkTask:450)
[2018-03-13 20:31:46,401] ERROR Task avro-s3-sink-0 threw an uncaught and unrecoverable exception (org.apache.kafka.connect.runtime.WorkerTask:141)
org.apache.kafka.connect.errors.ConnectException: Exiting WorkerSinkTask due to unrecoverable exception.
at org.apache.kafka.connect.runtime.WorkerSinkTask.deliverMessages(WorkerSinkTask.java:451)
at org.apache.kafka.connect.runtime.WorkerSinkTask.poll(WorkerSinkTask.java:250)
at org.apache.kafka.connect.runtime.WorkerSinkTask.iteration(WorkerSinkTask.java:179)
at org.apache.kafka.connect.runtime.WorkerSinkTask.execute(WorkerSinkTask.java:148)
at org.apache.kafka.connect.runtime.WorkerTask.doRun(WorkerTask.java:139)
at org.apache.kafka.connect.runtime.WorkerTask.run(WorkerTask.java:182)
at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:511)
at java.util.concurrent.FutureTask.run(FutureTask.java:266)
at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149)
at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624)
at java.lang.Thread.run(Thread.java:748)
目前，S3 连接器的内存要求取决于未完成分区的数量和s3.part.size。尝试将后者设置为 5MB(允许的最小值(。默认值为 25MB。
另请阅读此处，了解有关大小调整建议的更详细说明：
https://github.com/confluentinc/kafka-connect-storage-cloud/issues/29
首先，我对卡夫卡一无所知。
但是，作为一般规则，当进程达到某种容量限制，并且您无法提高该限制时，您必须以某种方式限制该进程。 建议您探索定期暂停的可能性。 也许睡了10毫秒，非常100毫秒。 类似的东西。
您可以尝试的另一件事是将 Kafka 进程固定到一个特定的 CPU。 这有时可以产生惊人的有益效果。