如何在 Python 中本地部署 Amazon-SageMaker



我在Amazon-SageMaker中训练了我的模型,并将其下载到我的本地计算机上。不幸的是,我不知道如何在本地运行模型。

模型位于包含以下文件的目录中:

image-classification-0001.params
image-classification-0002.params
image-classification-0003.params
image-classification-0004.params
image-classification-0005.params
image-classification-symbol.json
model-shapes.json

有谁知道如何使用 Python 在本地运行它,或者能够向我指出可以提供帮助的资源?我试图避免使用亚马逊 API 调用模型。

编辑:我使用的模型是使用与此示例非常相似的代码创建的。

任何帮助都是值得赞赏的,我会将赏金奖励给最有帮助的人,即使他们没有完全解决问题。

这不是一个完整的答案,因为我没有 SageMaker 设置(而且我不知道 MXNet),所以我无法实际测试这种方法(是的,如前所述,我不想称这是一个完整的答案,而是解决此问题的可能指针/方法)。

假设 -

您提到您的模型与您提供的笔记本链接非常相似。如果你仔细阅读笔记本中的文字,你会发现在某个时候有这样的东西——

"在这个演示中,我们使用Caltech-256数据集,其中包含256个对象的30608张图像。对于训练和验证数据,我们遵循此 MXNet 示例中的拆分方案。

看到那里提到MXNet了吗?让我们假设您没有太大变化,因此您的模型也是使用 MXNet 构建的。

方法——

假设我刚才提到的,如果你去搜索AWS SageMaker Python SDK的文档,你会看到一个关于模块序列化的部分。这本身又是从另一个假设开始的——

"如果你训练函数返回一个模块对象,它将由默认的模块序列化系统序列化,除非你指定了自定义保存函数。">

假设这对您的情况是正确的,在同一文档中进一步阅读告诉我们"model-shapes.json"是模型的 JSON 序列化表示,"model-symbol.json"是通过在模块的"symbol"属性上调用"save"函数创建的模块符号的序列化,最后"module.params"是模块参数的序列化(我不确定它是文本还是二进制格式)形式。

有了这些知识,我们去研究MXNet的文档。瞧!我们在这里看到如何使用MXNet保存和加载模型。因此,由于您已经拥有这些保存的文件,您只需将它们加载到MXNet的本地安装中,然后运行它们以预测未知情况。

我希望这能帮助你找到解决问题的方向。

奖金-

我不确定这是否也可以完成相同的工作(罗斯柴尔德@Seth在评论中也提到了),但它应该,您可以看到 AWS SageMaker Python SDK 也有办法从保存的模型中加载模型。

按照 SRC 的建议,我能够按照此问题和本文档中描述如何加载 MXnet 模型的说明使其工作。

我像这样加载了模型:

lenet_model = mx.mod.Module.load('model_directory/image-classification',5)
image_l = 64
image_w = 64
lenet_model.bind(for_training=False, data_shapes=[('data',(1,3,image_l,image_w))],label_shapes=lenet_model._label_shapes)

然后使用前面链接的文档中略微修改的帮助程序函数进行预测:

import mxnet as mx
import matplotlib.pyplot as plot
import cv2
import numpy as np
from mxnet.io import DataBatch
def get_image(url, show=False):
# download and show the image
fname = mx.test_utils.download(url)
img = cv2.cvtColor(cv2.imread(fname), cv2.COLOR_BGR2RGB)
if img is None:
return None
if show:
plt.imshow(img)
plt.axis('off')
# convert into format (batch, RGB, width, height)
img = cv2.resize(img, (64, 64))
img = np.swapaxes(img, 0, 2)
img = np.swapaxes(img, 1, 2)
img = img[np.newaxis, :]
return img
def predict(url, labels):
img = get_image(url, show=True)
# compute the predict probabilities
lenet_model.forward(DataBatch([mx.nd.array(img)]))
prob = lenet_model.get_outputs()[0].asnumpy()
# print the top-5
prob = np.squeeze(prob)
a = np.argsort(prob)[::-1]
for i in a[0:5]:
print('probability=%f, class=%s' %(prob[i], labels[i]))

最后,我用这段代码调用了预测:

labels = ['a','b','c', 'd','e', 'f']
predict('https://eximagesite/img_tst_a.jpg', labels )

如果你想在本地托管你的训练模型,并且你使用Apache MXNet作为你的模型框架(如上面的例子),最简单的方法是使用MXNet模型服务器:https://github.com/awslabs/mxnet-model-server

在本地安装后,您可以使用以下命令开始投放:

mxnet-model-server --models squeezenet=https://s3.amazonaws.com/model-server/models/squeezenet_v1.1/squeezenet_v1.1.model

然后使用映像调用本地终结点

curl -O https://s3.amazonaws.com/model-server/inputs/kitten.jpg curl -X POST http://127.0.0.1:8080/squeezenet/predict -F "data=@kitten.jpg"

相关内容

  • 没有找到相关文章

最新更新