是否有一种方法可以使用api代码从部署的datarrobot模型中获得精度度量值

Question

通过python Api，我成功上传并部署了一个基于ML的自定义模型在datarrobot平台上。现在如何获得已部署模型的精度度量。

注意:使用的ACCURACY_METRIC是'LOGGLOSS'.

我尝试了accuracy_over_time.metric。它给出了"loglog";作为输出结果。而是如何获得LogLoss度量的度量值。

我尝试了accuracy_over_time.metric_values。它说">没有属性作为'metric_values'。">

Answer 1

您要找的是get_accuracy():

accuracy = deployment.get_accuracy(
start_time=datetime(2019, 8, 1, hour=15),
end_time=datetime(2019, 8, 1, 15, 0)
)

如果您希望时间的准确性，则需要定义时间跨度，如下所示:

rmse = deployment.get_accuracy_over_time(
start_time=datetime(2019, 8, 1),
end_time=datetime(2019, 8, 3),
bucket_size=construct_duration_string(days=1),
metric=ACCURACY_METRIC.RMSE
)