使用 python boto 下载 AWS S3 文件会返回 404，即使文件存在也是如此

Question

我正在使用Python boto模块来访问AWS S3文件。我使用 UNLOAD 命令从 Redshift 卸载文件，文件会自动 gzip 压缩。红移生成一个文件的 10 个部分。

这是我用来获取文件列表并调用下载函数的代码部分：

key_list = bucket.list('folder_on_the_bucket')
pool = ThreadPool(processes=10)
partial_download = partial(download,0)
pool.map(partial_download, key_list)

这是下载功能：

def download(retry_cnt,key):
retry_cnt = retry_cnt
key = key
try:
    #make sure that I download only files, not folders
    if key.name[-1]=='/' or key.name[-1]=='\':
        pass
    else:
        log.info("Downloading %s" % local_dir+ntpath.basename(key.name))
        key.get_contents_to_filename(local_dir+ntpath.basename(key.name))
        if retry_cnt > 0:
            #copy all files that needed to be retried to a specific directory (for debugging purposes)
            shutil.copyfile(local_dir+ntpath.basename(key.name), 'error_files_folder'+ntpath.basename(key.name))
except:
    if retry_cnt < 3:
        retry_cnt += 1
        log.warning("error downloading file %s, retrying for the %s. time" % (str(key.name),str(retry_cnt)))
        log.warning(str(sys.exc_info()[1]))
        time.sleep(5)
        download(retry_cnt,key)
    else:
        log.error(sys.exc_info()[1])
        sys.exit("Unable to download file")

问题是有时，AWS会返回404错误，该文件不存在。我已经手动检查了 S3 存储桶中的文件应用程序，它有数据。我读过，如果更改尚未传播，S3 可能会返回此类错误。这就是为什么下载功能看起来像这样。如果文件发生错误，我将尝试再次下载同一文件。问题是第二次下载文件时，它是空的，我丢失了一些数据。（十分之一）。

此问题在不同的存储桶和文件夹上随机发生。

Answer 1

我设法通过更改下载功能的工作方式来解决它。我从那里删除了 try，并将其设置在调用它的代码部分周围。

def get_download_files():
    global key_list
    key_list = bucket.list(s3_full_path)
    for f in key_list:
        log.info(f)
    try:
        pool = ThreadPool(processes=10)
        pool.map(download, key_list)
    except:
        log.warning("error occured while downloading")
        log.warning(sys.exc_info()[1])
        global error_cnt
        error_cnt = 1
        pass

通过使用此功能，我可以确保如果任何文件因任何原因无法下载，我会将error_cnt设置为 1，表示存在问题。之后，我有一个功能，可以重试再次下载整个文件夹三次，然后引发系统错误并导致整个过程失败。