什么是最大文件大小，可以使用REST API将其流式传输到Azure Data Lake Store

Question

我读到第一个块可以是256MB，每个额外的块只能是4MB？

任何人都可以确认或否认吗？

https://learn.microsoft.com/en-us/rest/api/datalakestore/webhdfs-filesystem-apis-apis

Answer 1

通过REST API，您可以传输任何大小的文件。首选的方法是使用创建，然后使用许多附录调用。每个转移的建议尺寸为4MB或更低。

尽管不建议不建议在单个REST API调用中传输较大的块。您需要在此模式下使用传输编码集来块。请参阅此处：https：//en.wikipedia.org/wiki/chunked_transfer_encoding。但是，使用它有一些细微差别。通话中的任何个人块都可能失败。在这种情况下，您将需要确定整体转移在简历中失败的时间。超过4MB以上的块也不能在原子上承诺。