我已经分配了一个任务,我必须做一个批处理时,每半小时调用API的一些数据,这些数据必须存储在s3桶在不同的文件。
我已经通过复制BufferedOutputStream
中的数据,然后在扩展FlatFileItemWriter<T>
的类中从sdk-java (v2)上载uploadPart
到s3。
但我想知道是否是否有另一种方法来写一个已经存在的文件在一个桶与Spring批处理块进程?至少减少每次调用的处理大小,因为我从API获得的数据增长得相当快,因为原始API响应的大小越来越大(像1000或更多)每个请求。
这将在未来流式传输,但由于我们正在迁移,我需要一个临时的解决方案,而API i调用被迁移
根据https://forums.aws.amazon.com/message.jspa?messageID=540395,没有办法添加到s3文件。
基于此,您需要生成一个新文件并再次上传它以替换之前的文件。