无法将AWS Lambda连接到Elastic Search.正在获取403错误

Question

我正在尝试从Amazon Kinesis数据流将流式数据加载到Amazon ES中，如教程中所述：https://docs.aws.amazon.com/elasticsearch-service/latest/developerguide/es-aws-integrations.html#es-aws集成驱动蛋白

正如教程中给出的，我的lambda函数是：

import base64
import boto3
import json
import requests
from requests_aws4auth import AWS4Auth
region = 'us-east-1'
service = 'es'
credentials = boto3.Session().get_credentials()
awsauth = AWS4Auth(credentials.access_key, credentials.secret_key, region, service, session_token=credentials.token)
host = '' # the ES domain has been specified here
index = 'lambda-kine-index'
type = 'lambda-kine-type'
url = host + '/' + index + '/' + type + '/'
headers = { "Content-Type": "application/json" }
def handler(event, context):
count = 0
for record in event['Records']:
id = record['eventID']
timestamp = record['kinesis']['approximateArrivalTimestamp']

# Kinesis data is base64-encoded, so decode here
message = base64.b64decode(record['kinesis']['data'])

# Create the JSON document
document = { "id": id, "timestamp": timestamp, "message": message }
# Index the document
r = requests.put(url + id, auth=awsauth, json=document, headers=headers)
count += 1
return 'Processed ' + str(count) + ' items.'

此外，如教程中所述，IAM角色为：

{
"Version": "2012-10-17",
"Statement": [
{
"Effect": "Allow",
"Action": [
"es:ESHttpPost",
"es:ESHttpPut",
"logs:CreateLogGroup",
"logs:CreateLogStream",
"logs:PutLogEvents",
"kinesis:GetShardIterator",
"kinesis:GetRecords",
"kinesis:DescribeStream",
"kinesis:ListStreams"
],
"Resource": "*"
}
]
}

信任关系为：

{
"Version": "2012-10-17",
"Statement": [
{
"Effect": "Allow",
"Principal": {
"Service": "lambda.amazonaws.com"
},
"Action": "sts:AssumeRole"
}
]
}

完成此操作后，运行lambda时得到的响应是：

<Response [403]>

如有任何帮助，我们将不胜感激。

Answer 1

只有当您使用IAM用户时，凭据才适用，而这里的情况并非如此，因为这是Lambda函数，需要IAM角色。

您可能会启用细粒度访问控制，这与域策略不太配合。

在此处阅读更多信息，并注意到突出显示的部分"重新使用/IAM"混合且无法正常工作。

Answer 2

对于那些获得403的人来说，上面的解决方案不适用。。。

如果使用细粒度权限，则需要将lambda执行角色添加为后端角色(在kibana中配置(。

在Kibana->安全/角色

• 将您的角色添加到"all_access"(或者任何对您的用例有意义的角色(

Answer 3

确保您的凭据正常工作。您可以使用aws-cli进行验证。请参阅此处的文档。