logstash(2.3.2)gzip编解码器无法工作

Question

我使用logstash（2.3.2）通过使用gzip_lines编解码器读取gz文件。日志文件示例（sample.log）是

127.0.0.2 - - [11/Dec/2013:00:01:45 -0800] "GET /xampp/status.php HTTP/1.1" 200 3891 "http://cadenza/xampp/navi.php" "Mozilla/5.0 (Macintosh; Intel Mac OS X 10.9; rv:25.0) Gecko/20100101 Firefox/25.0"

我用来附加到gz文件的命令是：

cat sample.log | gzip -c >> s.gz

logstash.conf是

input { 
  file {
    path => "./logstash-2.3.2/bin/s.gz"
    codec => gzip_lines { charset => "ISO-8859-1"}
  }
}
filter {
  grok {
    match => { "message" => "%{COMBINEDAPACHELOG}" }
    #match => { "message" => "message: %{GREEDYDATA}" }
  }
  #date {
  #  match => [ "timestamp" , "dd/MMM/yyyy:HH:mm:ss Z" ]
  #}
}

output {
  stdout { codec => rubydebug }
}

我已经安装了gzip_line插件和bin/logstash插件install logstash-codec-gzip_lines

用启动logstash/logstash-f logstash.conf

当我用cat sample.log | gzip-c>>s.gz

我希望控制台打印数据。但是没有打印出来。

我在mac和ubuntu上都试过，结果都一样。我的代码有什么问题吗？

Answer 1

我检查了gzip_lines的代码，很明显这个插件不起作用。至少适用于2.3.2版本。也许它已经过时了。因为它没有实现这里指定的方法：

https://www.elastic.co/guide/en/logstash/2.3/_how_to_write_a_logstash_codec_plugin.html

所以目前的内部工作是这样的：

• file输入插件逐行读取文件并将其发送到编解码器
• gzip_lines编解码器尝试使用GzipReader.new（io）创建一个新的GzipReader对象
• 然后，它一行一行地通过阅读器来创建事件

因为您指定了一个gzip文件，所以file输入插件尝试将gzip文件作为常规文件读取，并将行发送到编解码器。Codec试图用该字符串创建一个GzipReader，但失败了。

你可以将其修改为这样工作：

创建一个包含gzip文件列表的文件：

-- list.txt
/path/to/gzip/s.gz 

将其提供给文件输入插件：

file {
    path => "/path/to/list/list.txt"
    codec => gzip_lines { charset => "ISO-8859-1"}
}

更改为：

打开vendor/bundle/jruby/1.9/gems/logstash-codec-gzip_lines-2.0.4/lib/logstash/codecs/gzip_lines.r文件。添加register方法：

public
def register
  @converter = LogStash::Util::Charset.new(@charset)
  @converter.logger = @logger
end

并且在方法decode中改变：

@decoder = Zlib::GzipReader.new(data)

作为

@decoder = Zlib::GzipReader.open(data)

这种方法的缺点是它不会跟踪gzip文件，而是跟踪列表文件。所以您需要创建一个新的gzip文件，并将其附加到列表中。

Answer 2

我遇到了这个问题的变体，我需要将文件中的字节解码为中间字符串，以准备只接受字符串的进程输入。

在Pyhton 2中忽略编码/解码问题的事实实际上是非常糟糕的IMHO。您可能会遇到各种损坏的数据问题，尤其是当您需要将字符串重新编码回数据时。

使用ISO-8859-1对gz和文本文件都适用。而utf-8只适用于文本文件。我还没有尝试过png。

这是一个对我有效的的例子

        data = os.read(src, bytes_needed)
        chunk += codecs.decode(data,'ISO-8859-1')
        # do the needful with the chunk....