SageMaker Endpoint的Lambda实时数据预处理



我正在进行一个网站消费者行为分析项目,并实时预测用户的恶意活动。正在收集用户每次点击的点击数据。

我正在使用多种AWS服务,如kinesis stream、Lambda和sagemaker。我创建了一个自动编码器模型将其部署为sagemaker端点,当它通过Kinesis流。

由于sagemaker端点包含唯一的模型,但lambda函数接收的点击数据是带有URL、文本和日期如何将原始数据传递到所需的预处理步骤中,并以所需的格式将处理后的数据发送到sagemaker端点?

原始数据示例:-

{'URL':'ww.amazon.com.au/ref=nav_logo','文本':'主页','信息':'计算机'}

您可以使用Sagemaker推理管道。您需要创建包含预处理步骤的预处理脚本,并创建包括预处理和模型的管道。将管道部署到端点以进行实时推理。

参考:https://aws.amazon.com/blogs/machine-learning/preprocess-input-data-before-making-predictions-using-amazon-sagemaker-inference-pipelines-and-scikit-learn/

https://github.com/aws/amazon-sagemaker-examples/blob/master/sagemaker-python-sdk/scikit_learn_inference_pipeline/Inference%20Pipeline%20with%20Scikit-学习%20和%20线性%20Learner.pynb

最新更新