我正在尝试分析Hive查询的性能。虽然我能够使用 Java 进行 Hive 查询,但我仍然需要访问每次查询后生成的日志信息。而不是使用黑客来读取磁盘上的最新日志并使用正则表达式来提取数字,我正在寻找一种优雅的方法(如果已经可用)。
任何指针都会有所帮助。提前谢谢。
-LG
查询执行详细信息(如状态,完成时间,完成于)显示在作业跟踪器中,您可以通过编程方式访问作业跟踪器。此链接中的相关信息
如何以编程方式获取 Hadoop 在 Web 界面中显示的所有作业跟踪器和任务跟踪器信息?
一旦 hive 开始运行相应的 map-reduce 作业就会启动。此 hadoop 作业的日志可以在运行每个任务的相应任务跟踪器上找到。
使用 jobclient API 以编程方式检索这些日志。