抓取文件下载如何使用自定义文件名

Question

对于我的抓取项目，我目前正在使用FilesPipeline。下载的文件以其 URL 的 SHA1 哈希作为文件名进行存储。

[(True,
  {'checksum': '2b00042f7481c7b056c4b410d28f33cf',
   'path': 'full/0a79c461a4062ac383dc4fade7bc09f1384a3910.jpg',
   'url': 'http://www.example.com/files/product1.pdf'}),
 (False,
  Failure(...))]

如何使用自定义文件名存储文件？

在上面的示例中，我希望文件名为"product1_0a79c461a4062ac383dc4fade7bc09f1384a3910.pdf"，以便保持唯一性，但使文件名可见。

作为起点，我探索了项目的pipelines.py，但没有取得多大成功。

import scrapy
from scrapy.pipelines.images import FilesPipeline
from scrapy.exceptions import DropItem
class MyFilesPipeline(FilesPipeline):
    def file_path(self, request, response=None, info=None):
        return request.meta.get('filename','')
    def get_media_requests(self, item, info):
        file_url = item['file_url']
        meta = {'filename': item['name']}
        yield Request(url=file_url, meta=meta)

将此参数包含在我的settings.py

中

ITEM_PIPELINES = {
    #'scrapy.pipelines.files.FilesPipeline': 300
    'io_spider.pipelines.MyFilesPipeline': 200
}

已经提出了类似的问题，但它确实针对图像而不是文件。

任何帮助将不胜感激。

Answer 1

file_path应该返回文件的路径。在代码中，file_path返回item['name']，这将是文件的路径。请注意，默认情况下，file_path计算 SHA1 哈希。所以你的方法应该是这样的：

def file_path(self, request, response=None, info=None):
    original_path = super(MyFilesPipeline, self).file_path(request, response=None, info=None)
    sha1_and_extension = original_path.split('/')[1] # delete 'full/' from the path
    return request.meta.get('filename','') + "_" + sha1_and_extension

Answer 2

尝试使用以下file_path方法：

def file_path(self, request, response=None, info=None):
    url = request if not isinstance(request, Request) else request.url
    media_guid = hashlib.sha1(to_bytes(url)).hexdigest()
    path, media_ext = os.path.splitext(url)
    media_name = os.path.split(path)[1]
    return '%s_%s%s' % (media_name, media_guid, media_ext)

（注意：这是未经测试的代码）