传输编码设置为分块的Azure函数



我有一个azure函数(https://github.com/MCKRUZ/CSVXLS2JSON)它应该接收csv、xls或zip文件,并将该文档转换为json。现在我遇到的问题是双重

首先,如果我试图上传一个超过100MB的文件,它会告诉我这个文件太大了。我已经通过允许您上传一个zip文件来解决这个问题,该函数将解压缩该文件,然后进行处理。但是,输出的JSON负载太大。我"思想;通过允许将Transfer Encoding设置为chunked来解决这个问题,但我在网上找不到任何关于如何实现这一点的文档。

有什么想法吗?

我想更多的是一个设计问题:

  1. 您可以接受URL作为输入,而不是文件内容。这样你就不受有效载荷大小的限制。URL可以是指向带有/不带有身份验证令牌的datalake/外部源的任何URL
  2. 返回压缩后的结果。不是C#专家,但大多数像样的语言都允许您创建压缩的输入/输出流。从压缩的输入流中读取,转换为json,然后写入压缩的输出流。在末尾返回输出流的内容
  3. 以URL形式返回结果。将输出写入某个位置(如datalake(并返回一个URL

最新更新