压缩 AWS Lambda 响应以避免 6MB 限制有什么好处?

Question

我有 Lambda 对 DynamoDB 执行多次调用，创建一个大的字符串化 JSON 对象作为响应，并通过 API 网关传递到客户端应用程序。当然，API Gateway 设置了"启用内容编码"选项，所有数据都以压缩形式通过互联网传递。

问题是 Lambda 响应本身没有被压缩，它达到了 6MB 的响应限制。是否可以压缩 Lambda 响应，然后以某种自然的方式在客户端解压缩它？

我已经检查了 node.js 库，如 JSZip 和 ADM Zip，并惊讶地发现，尽管它们允许内存中输出解压缩的数据，但它们不允许内存输入，如字符串、缓冲区或 smth，只允许文件。Lambda 已经有一些与处理文件相关的限制和惊喜，因此我想避免以下冗余工作流程：

1. 创建 JSON 对象
2. 将其另存为 Lambda 环境中的临时文件
3. 通过压缩库加载文件以压缩并返回 API 网关

有没有更自然的方法来解决这个问题？

Answer 1

尽管我同意使用分页或 S3 更适合大量数据，但您可以压缩从 Lambda 函数返回的响应，以避免在需要时达到 6MB 的限制。

不幸的是，尽管 API 网关现在支持 gzip 等内容编码，但我的理解是，在 API 网关压缩之前，Lambda 函数的响应仍然需要低于 6MB 的限制。我对此不是100%确定，所以如果我错了，请有人纠正我。

好消息是，node.js标准库现在通过zlib模块内置了对gzip的支持。我用它来压缩刚刚超过6MB的响应，并将大小减少了约~78%。这样做的缺点是我必须在 Angular 客户端应用程序中手动解压缩数据(为此我使用了 pako npm 库(。

下面这样的东西对我来说效果很好(打字稿 4 + 节点.js 12(：

import { APIGatewayEvent, APIGatewayProxyResult } from 'aws-lambda';
import { gzip } from 'zlib';
export const handler = async (event: APIGatewayEvent): Promise<APIGatewayProxyResult> => {
const response = { some: 'data' };
const gzippedResponse = await gzipString(JSON.stringify(response));
return {
statusCode: 200,
body: JSON.stringify({ data: gzippedResponse.toString('base64') }),
};
};
const gzipString = async (input: string): Promise<Buffer> => {
const buffer = Buffer.from(input);
return new Promise((resolve, reject) => gzip(buffer, (err, data) => {
if (err) {
reject(err);
}
resolve(data);
}));
};

Answer 2

有多种方法可以通过稍微改变体系结构来处理此问题：

1. 使用分页仅返回响应的子集(如果响应包含可拆分为多个页面的项目列表，则此方法效果最佳(。

2. 将部分或全部响应存储在 S3 中(如果响应是静态的，则准备，如果是动态的，则动态创建(，并将对象的 URL 返回给客户端以供后续检索。

Answer 3

我遵循了下一个方法。 对于后端：

const { deflate, unzip } = require("zlib");
const { promisify } = require("util");
const asyncDeflate = promisify(deflate);
async zip(object) {
return (await asyncDeflate(JSON.stringify(object))).toString("base64");`
}

对于前端：

import * as pako from "pako";
export function unzip(base64str: string) {
const strData = atob(base64str);
// Convert binary string to character-number array
const charData = strData.split("").map((x) => { return x.charCodeAt(0); });
// Turn number array into byte-array
const binData = new Uint8Array(charData);
return JSON.parse(pako.inflate(binData, { to: "string" }));
}

因此，它与最近的答案非常相似。