我正在使用logstash将Twitter流保存到elasticsearch。在保存之前,我想
- 添加一个新字段,指示推文是 RT 还是回复或自然
- 使用推文 ID 作为 elasticsearch 的文档 ID
但我也做不到!日志配置文件:
input {
twitter {
oauth_token => ""
oauth_token_secret => ""
consumer_key => ""
consumer_secret => ""
full_tweet => true
keywords => ["test"]
}
}
filter {
ruby {
code => "
if !event['retweeted_status'].nil?
event['tweet_type'] = 'Retweet'
elsif !event['in_reply_to_screen_name'].nil?
event['tweet_type'] = 'Reply'
else
event['tweet_type'] = 'Organic'
end
"
}
}
output {
elasticsearch {
document_id => [id]
index_type => "twitter"
protocol => "http"
bind_host => "127.0.0.1"
}
}
我做错了什么?
你不需要放到Ruby来测试字段。 尝试:
if [retweeted_status] {
mutate {
add_field => { "tweet_type", "Retweet" }
}
}
(注意:这是伪代码;我可能有 {s 和 => 错误)。
至于使用文档 ID,请尝试:
document_id => "%{id}"