我正在寻找针对以下场景的建议：我们有一个服务，在高级别上，它包含一个前端 Web 应用程序，为 API 和 Web UI 请求提供服务(后者不太重要)——分解，将它们作为任务放在队列中进行处理，以及许多工作线程服务使用队列中的任务并处理它们。API 客户端将异步轮询结果。
我们需要能够记录沿途的信息片段(从原始请求开始，通过中间输出，再到最终结果)，以便以后可以在需要时访问它们(主要用于解决给定请求的错误)。
最终，我们需要的是：
- 用作与日志记录和短期审计相关的信息的安全存储，
- 低开销插入： (
- 低)恒定时间插入，无论是真正的无阻塞还是有效的非阻塞(保证快速)，
- 非常频繁的插入 – 考虑每个 CF API 调用的多个插入，
- 检索使用频率明显降低，可能很慢，
- 项目至少需要通过 ID 检索，但是...
- 有效负载实际上是文本或二进制
- 全文搜索功能将是一个加号，
- 了解文本的结构，例如能够查询JSON。 元素是一种温和的可有可无，
- 数据保留策略是内置的或易于实施的。
"安全"意味着我们在多个国家/地区处理个人信息，通常适用法规/标准。
这可以是我们自己托管的软件(开源，可在商业环境中使用)或亚马逊AWS服务。
结帐，作为您的应用程序的基础，Sherlock on Sourceforge.net，它是一个开源的Log4J实现，您可以根据需要进行修改，即容器化无头雄猫服务器，它是一个"监管链"C2"兼容的Rsyslog替换服务器收集系统日志和系统日志中继数据，它首先将日志存储为每个源的平面文件，然后发布处理并将日志数据转储到mysql数据库中， 此后，有一个较旧的Web客户端，具有一些正则表达式支持来搜索/过滤数据，因此您可以获取取证的日志数据。
和我一起把这个放在一起的人来自Platespin(后来卖给了Novell)，实际上，构建这个代码的团队在他们构建它的时候成功地以可观的现金出售了一个引力作品，然后继续为Tibco(后来的Mulesoft)和RIM(黑莓，现在是BMO)工作......所以它的坚实代码
这是链接...
https://sourceforge.net/projects/sherlock/
R2