Python 请求上传包含附加数据的大文件

Question

我一直在寻找上传

带有附加数据的大文件的方法，但似乎没有任何解决方案。要上传文件，我一直在使用此代码，并且它对小文件运行良好：

with open("my_file.csv", "rb") as f:
    files = {"documents": ("my_file.csv", f, "application/octet-stream")}
    data = {"composite": "NONE"}
    headers = {"Prefer": "respond-async"}
    resp = session.post("my/url", headers=headers, data=data, files=files)

问题是代码在发送之前加载了整个文件，并且在上传大文件时会遇到 MemoryError。我环顾四周，流式传输数据的方法是设置

resp = session.post("my/url", headers=headers, data=f)

但我需要在数据中添加{"复合"："无"}。否则，服务器将无法识别该文件。

Answer 1

您可以使用请求工具带执行此操作：

import requests
from requests_toolbelt.multipart import encoder
session = requests.Session()
with open('my_file.csv', 'rb') as f:
    form = encoder.MultipartEncoder({
        "documents": ("my_file.csv", f, "application/octet-stream"),
        "composite": "NONE",
    })
    headers = {"Prefer": "respond-async", "Content-Type": form.content_type}
    resp = session.post(url, headers=headers, data=form)
session.close()

这将导致请求为您流式传输multipart/form-data上传。