我正在做一个大数据项目。
项目的基本流程如下:
数据来自大型机并被存储到基石3.0
-之后数据在hive中使用scheduler被摄取
-然后使用map reduce作业(运行hive查询以获得特定的聚合属性)以键值对的形式存储到mapr db中，并使用Rest API反映到应用程序中。
假设Hive中的数据正确加载，我想从Hive到Rest API开始测试这个应用程序。
测试这个应用程序的最佳方法是什么(目标测试:Hive数据，Hive查询，mapr db性能，mapr dp数据，Rest api)。什么是最好的工具和技术。
提前谢谢你。
可以测试什么? -这是由需求/问题来解释的
-
数据来自大型机大型机并被存储到基石3.0 -验证数据按预期(基于需求)从大型机存储到基石
-
之后，数据正在使用调度器在hive中被摄取-验证hive表是否有数据/hdfs文件位置等(根据要求-如果在hive表加载期间发生任何转换-您将验证)
-
然后使用map reduce作业(运行hive查询以获得特定的聚合属性)将其存储到maprdb中，在键值对方面使用Rest API反映到应用程序中-这里基本上你正在测试maprdb中加载/转换数据的map-reduce作业。你应该先运行作业->验证作业运行端到端，没有错误/警告(注意执行时间非常性能作业)->验证maprdb ->测试REST API应用程序，并根据需求验证预期结果
最好的工具和技术是什么?
-
用于hive/hdfs/data验证-我会创建shell-script(包括hive, hdfs文件位置，日志文件验证，运行mapreduce作业，验证mapreduce作业等)，测试/验证上面描述的每个步骤。要开始测试，应该先从手动CLI命令开始。
-
用于测试REST API -有许多可用的工具，例如ReadyAPI, postman。我也会在shell-script中包含这一步(使用
curl)