我的应用程序从多个物联网设备接收大量日志数据
我有一个服务，可以接收这些日志文件(50-200kb(并将它们上传到ceph(S3协议(
性能不是很好，有人告诉我文件越大效果越好。
我可以理解，上传更大的文件会减少握手次数，
但上传更大文件(比如10mb(以提高性能还有其他原因吗？
将这些文件连接起来会非常麻烦
不管怎样，如果我使用相同的tcp连接(示例(，更大的文件仍然可以提高性能吗？
关于为什么大文件更好的多点观点：
-
API调用按每个对象收费，而不考虑其大小。上传1字节的成本与上传1GB的成本相同。因此，通常小对象会导致API成本飙升。
-
每个文件都有自己的毫秒开销，用于打开文件、读取元数据和关闭文件。此外，许多文件意味着许多不连续的磁盘寻道，而对象存储并没有针对这些寻道进行优化。
此外，这是对象存储或分布式文件系统的常见问题，称为"小文件问题"。请参阅此处以了解为什么大文件是解决方案。