Rust AWS API网关服务代理S3文件使用RAW HTTPS请求上传

Question

首先，对不起。

我已经设置了一个API网关，以充当S3代理，因此我可以通过向API URL发送PUT请求来上传文件。API工作正常（或者至少我认为确实如此），但是看来我只能正确上传文本文件。

对于上传的文本文件（例如，content-type = text/plain），本地文件的大小与上传到S3存储桶的文件的大小相同。但是，二进制文件并非如此（例如，content-type = application/pdf）。S3存储桶中的文件尺寸更大。当我从S3下载二进制文件时，我无法打开它们，它们会损坏。

这是发送请求的生锈代码，我正在使用Hyper的HTTP客户端：

match File::open(file.as_path()) {
        Err(_) => Err("Failed to open file".to_owned()),
        Ok(mut openned_file) => {
            let file_mime = mime_guess::guess_mime_type(file.as_path());
            let connector = HttpsConnector::new(OpensslClient::default());
            let url_str = format!("https://my.api.com/upload/{}",
                                file.file_name().unwrap().to_str().unwrap());
            let mut client =
                Request::with_connector(Method::Put, Url::parse(&url_str).unwrap(), &connector)
                    .unwrap();
            client.headers_mut().set(ContentType(file_mime.clone()));
            // client.headers_mut().set(ContentLength(openned_file.metadata().unwrap().len()));
            let file_mime_str = file_mime.to_string();
            let mut buffer: [u8; 4096] = [0; 4096];
            let mut uploaded: usize = 0;
            let request = match file_mime {
                Mime(TopLevel::Text, _, _) |
                Mime(TopLevel::Application, SubLevel::Javascript, _) => {
                    let mut request = client.start().unwrap();
                    println!("Uploading text ...", );
                    while let Ok(read_count) = openned_file.read(&mut buffer) {
                        if read_count > 0 {
                            println!("Uploading {} bytes", read_count);
                            request.write_all(&buffer[0..read_count]);
                            uploaded += read_count;
                        } else {
                            request.flush();
                            println!("File mime: {}", file_mime_str);
                            println!("File size: {}, Total uploaded: {}",
                                     openned_file.metadata().unwrap().len(),
                                     uploaded);
                            break;
                        }
                    }
                    request
                }
                _ => {
                    // client.headers_mut()
                    //     .set_raw("Content-Encoding", vec![b"base64".to_vec()]);
                    let mut request = client.start().unwrap();
                    let mut config = MIME;
                    config.line_length = None;
                    println!("Uploading binary ...", );
                    while let Ok(read_count) = openned_file.read(&mut buffer) {
                        if read_count > 0 {
                            println!("Uploading {} bytes", read_count);
                            request.write_all(&buffer[0..read_count]);
                            // let base64_str = buffer[0..read_count].to_base64(STANDARD);
                            // request.write_all(base64_str.into_bytes().as_slice());
                            uploaded += read_count;
                        } else {
                            request.flush();
                            println!("File mime: {}", file_mime_str);
                            println!("File size: {}, Total uploaded: {}",
                                     openned_file.metadata().unwrap().len(),
                                     uploaded);
                            break;
                        }
                    }
                    request
                }
            };
            match request.send() {
                Err(err) => Err(format!("{}", err)),
                Ok(mut response) => {
                    let mut rep_str = String::new();
                    response.read_to_string(&mut rep_str);
                    Err(format!("{}", rep_str))
                }
            }

您可以从注释的代码中看到，我尝试使用content-incoding = base64并编码从文件中读取的字节到上传。但是内容编码= base64似乎不是S3接受的有效编码类型。每当我设置内容编码时，我都无法完全上传（500：内部服务器错误，我什至看不到S3桶上错误的大小的文件）。但是文本文件正常工作。

供参考：

• http://docs.aws.amazon.com/amazons3/latest/api/restobjectput.html
• https://developer.salesforce.com/forums/?id=906f00000000000bmdfia4

Answer 1

不幸的是，API网关不支持二进制有效载荷。这是一个常见的功能请求，因此在我们的积压待遇中，尽管我们无法对发布日期发表评论。发行该功能后，我们一定会更新此帖子。