aws-cli在上传文件到S3时是否确认校验和，或者我需要自己管理它

Question

如果我使用aws-cli（即使用aws s3 cp）将数据上传到S3，aws-cli是否会做任何工作来确认S3中的结果文件与原始文件匹配，或者我是否需要自己管理？

根据这个答案和putObject（）的Java API文档，似乎可以在上传后验证MD5校验和。然而，对于aws-cli是否真的做到了这一点，我找不到确切的答案。

这对我来说很重要，因为我打算从备份过程中上传GPG加密的文件，我希望S3中存储的内容与原始文件相匹配。

Answer 1

根据aws-cli-github的faq，校验和在大多数情况下都是在上传和下载过程中检查的。

上传要点：

• AWS CLI计算标准和多部分上传
• 如果S3计算的校验和不匹配提供的Content-MD5，S3将不存储对象，而是将向AWS CLI返回一条错误消息
• AWS CLI将重试此错误最多5次，然后放弃并使用非零退出代码退出

Answer 2

AWS支持页面如何确保上传到Amazon S3或从Amazon S3下载的对象的数据完整性？描述了如何实现这一点。

首先确定您想要上传的文件的base64编码的md5sum:

$ md5_sum_base64="$( openssl md5 -binary my-file | base64 )"

然后使用s3api上传文件：

$ aws s3api put-object --bucket my-bucket --key my-file-name --body my-file-path --content-md5 "$md5_sum_base64"

注意--content-md5标志的使用，该标志的帮助说明：

--content-md5  (string)  The  base64-encoded  128-bit MD5 digest of the part data.

这并没有说明为什么使用此标志，但我们可以在put对象的API文档中找到此信息：

为了确保数据不会在网络中损坏，请使用Content-MD5标头。当您使用此标头时，AmazonS3会根据提供的MD5值检查对象，如果它们不匹配，则返回一个错误。此外，您可以在将对象放入AmazonS3时计算MD5，并将返回的ETag与计算的MD5值进行比较。

使用此标志会使S3验证文件哈希服务器端是否与指定的值匹配。如果散列匹配，s3将返回ETag:

{
    "ETag": ""599393a2c526c680119d84155d90f1e5""
}

ETag值通常是十六进制的md5sum（在某些情况下可能不是这样）。

如果哈希与您指定的哈希不匹配，则会出现错误。

A client error (InvalidDigest) occurred when calling the PutObject operation: The Content-MD5 you specified was invalid.

除此之外，您还可以将文件md5sum添加到文件元数据中，作为附加检查：

$ aws s3api put-object --bucket my-bucket --key my-file-name --body my-file-path --content-md5 "$md5_sum_base64" --metadata md5chksum="$md5_sum_base64"

上传后，您可以发出head-object命令来检查值。

$ aws s3api head-object --bucket my-bucket --key my-file-name
{
    "AcceptRanges": "bytes",
    "ContentType": "binary/octet-stream",
    "LastModified": "Thu, 31 Mar 2016 16:37:18 GMT",
    "ContentLength": 605,
    "ETag": ""599393a2c526c680119d84155d90f1e5"",
    "Metadata": {    
        "md5chksum": "WZOTosUmxoARnYQVXZDx5Q=="    
    }    
}

下面是一个bash脚本，它使用内容md5并添加元数据，然后验证S3返回的值是否与本地散列匹配：

#!/bin/bash
set -euf -o pipefail
# assumes you have aws cli, jq installed
# change these if required
tmp_dir="$HOME/tmp"
s3_dir="foo"
s3_bucket="stack-overflow-example"
aws_region="ap-southeast-2"
aws_profile="my-profile"
test_dir="$tmp_dir/s3-md5sum-test"
file_name="MailHog_linux_amd64"
test_file_url="https://github.com/mailhog/MailHog/releases/download/v1.0.0/MailHog_linux_amd64"
s3_key="$s3_dir/$file_name"
return_dir="$( pwd )"
cd "$tmp_dir" || exit
mkdir "$test_dir"
cd "$test_dir" || exit
wget "$test_file_url"
md5_sum_hex="$( md5sum $file_name | awk '{ print $1 }' )"
md5_sum_base64="$( openssl md5 -binary $file_name | base64 )"
echo "$file_name hex    = $md5_sum_hex"
echo "$file_name base64 = $md5_sum_base64"
echo "Uploading $file_name to s3://$s3_bucket/$s3_dir/$file_name"
aws 
--profile "$aws_profile" 
--region "$aws_region" 
s3api put-object 
--bucket "$s3_bucket" 
--key "$s3_key" 
--body "$file_name" 
--metadata md5chksum="$md5_sum_base64" 
--content-md5 "$md5_sum_base64"
echo "Verifying sums match"
s3_md5_sum_hex=$( aws --profile "$aws_profile"  --region "$aws_region" s3api head-object --bucket "$s3_bucket" --key "$s3_key" | jq -r '.ETag' | sed 's/"//'g )
s3_md5_sum_base64=$( aws --profile "$aws_profile"  --region "$aws_region" s3api head-object --bucket "$s3_bucket" --key "$s3_key" | jq -r '.Metadata.md5chksum' )
if [ "$md5_sum_hex" == "$s3_md5_sum_hex" ] && [ "$md5_sum_base64" == "$s3_md5_sum_base64" ]; then
    echo "checksums match"
else
    echo "something is wrong checksums do not match:"
    cat <<EOM | column -t -s ' '
$file_name file hex:    $md5_sum_hex    s3 hex:    $s3_md5_sum_hex
$file_name file base64: $md5_sum_base64 s3 base64: $s3_md5_sum_base64
EOM
fi
echo "Cleaning up"
cd "$return_dir"
rm -rf "$test_dir"
aws 
--profile "$aws_profile" 
--region "$aws_region" 
s3api delete-object 
--bucket "$s3_bucket" 
--key "$s3_key"