如何从Elasticsearch Dev Tools自动提取数据?

Question

我必须每天做两到三次以下步骤

1. 登录Elasticsearch
2. 转到开发工具
3. 通过选择特定查询并按ctrl + enter来运行该查询我必须运行
的查询
4. 选择在"桶"中返回的结果;然后复制它。图片中的黄色标记就是我要选择并复制的
5. 然后我转到https://www.convertcsv.com/json-to-csv.htm并粘贴结果，以便将其转换为CSV。我必须粘贴结果。
6. 然后我可以下载CSV，然后将其导入到google表格中，这样我就可以在Looker Dashboard中查看结果。下载转换后的CSV文件。

我每天都要花一些时间，我想知道是否有什么方法可以让我自动化这样的程序。

可能是一些ETL工具可以执行至少部分的过程，或者可能是一些更具体的方法用python来完成。

提前感谢。

我对我想做的事情没有太多的经验，我试着在网上搜索类似的问题，但没有找到任何有用的东西。

Answer 1

我不知道你是否尝试过，但是在"堆栈管理"中有一个关于elasticsearch的报告工具。Reporting"。另一方面，您可以使用crontab从服务器上使用其他工具。以下是其中一些:

1. 有点旧，但我认为它适合你。ES2CSV。你可以在docs文件夹中查看示例。您可以通过文件发送查询并报告到CSV。
2. 另一个选项也是我的偏好。你可以使用python的pandas库。您可以根据本文编写脚本，并且可以获得csv导出csv。我提到的那篇文章解释得很好。
3. 另一个选择是用Java编写的库。但是文档有点弱。
4. python库的另一个替代方案是elasticsearch-tocsv。当我把它和第一个选择比较时，这个是最近更新的。但是查询样本有点弱。但是有一篇详细的文章。
5. 你可以使用elasticdump，它是在NodeJS上编写的，是一个从elasticsearch报告数据的好工具。还有一个CSV导出选项。你可以在GitHub页面上看到示例。

我将尝试找到更多，我将更新这个答案的时间。谢谢!