使用logstash的CSV文件输入处理在2/3天后停止工作

Question

我使用logstash-1.5.1来处理csv文件，并上传到elasticsearch-1.5.1。这个过程应该每天都进行。所以我把我的logstash和elastic搜索引擎放在一起，并离开它，希望csv文件处理应该每天发生，并上传到elasticsearch。每天都有一个新的csv文件从互联网下载，并存储在本地文件夹中，从logstash读取。但令人惊讶的是，logstash在2/3天后停止处理csv文件。我不知道原因，请帮帮我。logstash输入文件配置如下:

input { 
    file {
        type => "csv"
        path => "D:/Tools/logstash-1.5.1/data/**/*"
        start_position => beginning
        sincedb_path => "D:/Tools/logstash-1.5.1/sincedb/.sincedb"
    }
}

filter {
    grok {
        match => { "message" => "%{COMBINEDAPACHELOG}" }
      }
    }

output {
  elasticsearch { 
    host => "localhost" 
    cluster => "Test"
    node_name => "data"
    index => "client"
    template => "D:/Tools/logstash-1.5.1/lib/elasticsearch-template.json"
    template_overwrite => true
  }
}    

Answer 1

所以，尝试使用日志存储转发器，请张贴结果，我真的很感兴趣。例如，您可以使用以下配置安装日志存储转发器:

{
  "network": {
    "servers": [ "$YOUR_SERVER:$PORT" ],
    "timeout": 20,
    "ssl ca": "/path/to/logstash/*.crt_file"
             },
  "files": [
       {
        "paths": ["D:/Tools/logstash-1.5.1/data/**/*"],
        "fields": { "type": "csv" },
        "dead time" : "5m"
     }
   ]
}

在您的logstash服务器中，您可以使用以下输入:

input {
   lumberjack {
         port => "$PORT"
         ssl_key => "/path/to/your/*.key_file"
         ssl_certificate => " "/path/to/your/*.key_file""
         }
}