如何在.net核心中读取ChunkedEncodingReadStream

Question

我正在使用HttpClient下载一个文件，并试图以4MB的块来处理它。客户端返回流作为ChunkedEncodingReadStream。我要下载的文件大小为50MB。但是，当我尝试使用ReadAsync在4MB缓冲区中读取它时，我注意到它返回的读取计数仅为1321字节。

我的问题是:如何正确读取流?

我代码:

var client = _httpClientFactory.CreateClient();
var response = await client.GetAsync(fileUrl, HttpCompletionOption.ResponseHeadersRead);
stream = await response.Content.ReadAsStreamAsync().ConfigureAwait(false);
var chunkSize = 4096 * 1024;
var buffer = new byte[chunkSize];
var byteRead = stream.Read(buffer, 0, chunkSize);
if (byteRead < chunkSize)
{
// process the buffer as the only chunk
}
else
{
// process initial chunk
while (byteRead < chunkSize)
{
byteRead = stream.Read(buffer, 0, chunkSize);
// process next chunks
}
}

显然，这段代码假设响应流将继续提供4MB的块，直到到达最后一个块。但是我收到的数据流并不是这样的。在此场景中，处理此流的正确方法是什么?

Answer 1

我意识到流可以返回任意数量的字节，只有当它返回0字节时，流才能被认为完成，正如评论中提到的那样。但是，由于我的用例需要以指定的块大小读取流，因此我提出了以下代码来读取它-

public static async Task<(int readCount, byte[] buffer)> ReadChunkAsync(Stream stream, int chunkSize)
{
var buffer = new byte[chunkSize];
var readCount = 0;
while (readCount < chunkSize)
{
var bytesRead = await stream.ReadAsync(buffer, readCount, chunkSize - readCount);
if (bytesRead == 0)
{
break;
}
readCount += bytesRead;
}
return (readCount, buffer);
}