在python中分块下载文件

Question

我正在编写一个简单的同步下载管理器，它分10个部分下载视频文件。我正在使用requests从标头中获取内容长度。使用这个我打破和下载文件在10；字节块，然后将它们合并以形成完整的视频。下面的代码假设是这样工作的，但最终合并的文件只工作几秒钟，之后就会损坏。我的代码出了什么问题？

import requests
import os
def intervals(parts, duration):
part_duration = duration // parts
return [(i * part_duration, (i + 1) * part_duration) for i in range(parts)]
home = os.path.expanduser("~")
if not os.path.exists(home+'/Desktop/temp'):
os.makedirs(home+'/Desktop/temp')
PATH = home+"/Desktop/temp/tmp.mp4"
example_file_url = "https://file-examples-com.github.io/uploads/2017/04/file_example_MP4_1280_10MG.mp4"

req = requests.head(example_file_url)
size = int(req.headers['Content-Length'])
content_section = 10
section_intervals = intervals(content_section,size)

with  open(PATH, "wb") as file:
for i,(start,end) in enumerate(section_intervals):
headers = {"Range": "bytes="+str(start)+"-"+str(end)}
print(headers)
r = requests.get(example_file_url, headers=headers)
file.write(r.content)

Answer 1

问题

您的范围是错误的，因为Range标头指定的间隔给出了第一个和最后一个偏移量，例如bytes=0-10表示从0到10的11个字节(与python中的切片工作方式不同(，因此bytes=0-10和bytes=10-20是重叠的范围。例如，您需要先bytes=0-9，然后再bytes=10-19。

请参阅本文档中的示例：

头请求前1024个字节。。。Range: bytes=0-1023

(而python切片中的[0:1023]的长度为1023(。

你说它在哪里；工作几秒钟，然后被破坏"；，我假设你的意思是，它对解码MP4输出的前几秒有效。它中断的点将是第一个下载部分的末尾，第一个部分的最后一个字节将复制到第二个部分的开头。

另一个问题是，你的总长度是错误的，因为你用parts进行整数除法，然后当你再次将其相乘时，你已经失去了最后的小数部分。

修复

将你的intervals函数改为这个，它就起作用了：

import math
def intervals(parts, duration):
part_duration = math.ceil(duration / parts)
return [(start, min(start + part_duration - 1, duration - 1)) 
for start in range(0, duration, part_duration)]

检查量程

插入打印报表：

print("Size = ", size)
print(section_intervals)

现在给出：

Size =  9840497
[(0, 984049), (984050, 1968099), (1968100, 2952149), (2952150, 3936199), (3936200, 4920249), (4920250, 5904299), (5904300, 6888349), (6888350, 7872399), (7872400, 8856449), (8856450, 9840496)]

而使用您原来的intervals函数，它会给出：

Size =  9840497
[(0, 984049), (984049, 1968098), (1968098, 2952147), (2952147, 3936196), (3936196, 4920245), (4920245, 5904294), (5904294, 6888343), (6888343, 7872392), (7872392, 8856441), (8856441, 9840490)]

请注意重叠的范围和末尾缺少的字节。

使用md5sum验证输出

我们可以在最后通过计算校验和来验证下载。在这个示例中，我从Linux命令行使用md5sum(尽管cksum也可以工作，因为不需要为此目的进行加密校验和(。

我将输出称为myoutput。

$ md5sum myoutput
10c918b1d01aea85864ee65d9e0c2305  myoutput

现在，我还直接下载了一个带有wget <url>的副本，并看到它具有相同的校验和。

$ wget https://file-examples-com.github.io/uploads/2017/04/file_example_MP4_1280_10MG.mp4
--2020-07-21 08:26:52--  https://file-examples-com.github.io/uploads/2017/04/file_example_MP4_1280_10MG.mp4
$ md5sum file_example_MP4_1280_10MG.mp4 
10c918b1d01aea85864ee65d9e0c2305  file_example_MP4_1280_10MG.mp4