避免重叠日志处理

Question

扫描一系列文件（例如系统日志）时，如何避免再次重新扫描同一系列日志？我对 Splunk 所做的任何将日志保存在数据库中的事情感兴趣，但是我想不出一种方法来更新数据库而不在上次扫描的文件中放置一些指示器。此过程是否有任何技术，或者我必须扫描文件，找到上次扫描中的最后一项，然后开始处理。

Answer 1

1）Splunk不使用数据库，它将信息索引到磁盘上的压缩平面文件中

2）如果您使用Splunk来监视日志文件和日志文件目录，那么Splunk足够智能，可以跟踪它在监视中的位置，因此它不会重新索引重复的日志事件。