如何格式化 DynamoDB for Elasticsearch/Kibana 的时间戳?

Question

我正在将DynamoDB行推送到Elasticsearch集群中。日期字段是unix 时间戳，Kibana无法将其识别为日期。

我阅读了有关 Elasticsearch 映射类型的文章并找到了这篇文章，但不知道在我的Lambda脚本中的哪个位置实现映射：

/* ... requires and config ... */
exports.handler = (event, context, callback) => {        
event.Records.forEach((record) => {
var dbRecord = JSON.stringify(record.dynamodb);
postToES(dbRecord, context, callback);
});
};
function postToES(doc, context, lambdaCallback) {
var req = new AWS.HttpRequest(endpoint);
req.method = 'POST';
req.path = path.join('/', esDomain.index, esDomain.doctype);
req.region = esDomain.region;
req.headers['presigned-expires'] = false;
req.headers['Host'] = endpoint.host;
req.body = doc; 
// Maybe here?
var signer = new AWS.Signers.V4(req , 'es');  
signer.addAuthorization(creds, new Date());
var send = new AWS.NodeHttpClient();
send.handleRequest(req, null, function(httpResp) {
var respBody = '';
httpResp.on('data', function (chunk) {
respBody += chunk;
});
httpResp.on('end', function (chunk) {
lambdaCallback(null,'Lambda added document ' + doc);
});
}, function(err) {
console.log('Error: ' + err);
lambdaCallback('Lambda failed with error ' + err);
});
}

弹性搜索文档

{
_index: "posts",
_type: "post",
_id: "6YKF2AAV06RSSRrzv6R-",
_version: 1,
found: true,
_source: {
ApproximateCreationDateTime: 1499922960,
Keys: {
id: {
S: "7asda8b0-628a-11e7-9e5e-25xyc7179dx7"
}
},
NewImage: {
posted_at: {
N: "1499922995401"
},
id: {
S: "7asda8b0-628a-11e7-9e5e-25xyc7179dx7"
}
},
SequenceNumber: "2442423900000000003279639454",
SizeBytes: 221,
StreamViewType: "NEW_AND_OLD_IMAGES"
}
}

Dynamoose Schema

var Schema = dynamoose.Schema;
var s = new Schema({
id: {
type: String,
hashKey: true,
required: true
},
posted_at: {
type: Date,
required: true
}
});
module.exports = dynamoose.model('posts', s);

示例：在我的 DynamoDB 表中，我有字段posted_at。内容是 unix 时间戳。在Kiabana中，它的索引为

• NewImage.posted_at.N(类型：字符串、可搜索、分析(和
• NewImage.posted_at.N.keyword(类型：字符串、可搜索、可聚合(

我对N和type: string感到困惑.

有什么想法吗？ 谢谢！

Answer 1

好的，事实证明，N用于表示 DynamoDB 属性类型(即N代表Number(。

问题是数字被字符串化，因此在 ES 中被索引为字符串(即您当前在映射中看到的内容(。

我们可以使用动态模板定义来解决这个问题。首先删除 ES 中的索引和 Kibana 中的相应索引模式。然后运行以下命令：

curl -XPUT localhost:9200/_template/post_template -d '{
"template": "posts",
"mappings": {
"post": {
"dynamic_templates": [
{
"dates": {
"path_match": "NewImage.posted_at.N",
"mapping": {
"type": "date"
}
}
},
{
"strings": {
"match_mapping_type": "string",
"mapping": {
"type": "text",
"fields": {
"raw": {
"type":  "keyword",
"ignore_above": 256
}
}
}
}
}
]
}
}
}'

最后，您可以通过 Dynamoose 重新索引数据，之后您应该能够在 Kibana 中找到日期字段。