我正在尝试创建AWS Sagemaker管道.ClientError:调用CreatePipeline操作时发生错误(V

Question

我正在尝试创建AWS Sagemaker管道。我在两个月前创建了这个管道，当时它正在运行。但现在我得到以下错误运行

pipeline.upsert(role_arn=role)
ClientError: An error occurred (ValidationException) when calling the CreatePipeline operation: Unknown property reference [Parameters.DataSplitPercent].

下面是一些用来创建管道的代码:

Input_data =ParameterString(name="InputDataUrl",default_value=f"s3://akgargbucket/iris.data")<br/>

data_split_percent = ParameterFloat(name="DataSplitPercent", default_value=0.7)<br/>

framework_version="0.23-1",
instance_type=processing_instance_type,
instance_count=processing_instance_count,
base_job_name=f"{base_job_prefix}/sklearn-abalone-preprocess",
sagemaker_session=sagemaker_session,
role=role)
step_process = ProcessingStep(
name="ReadAndEncodeData",
processor=sklearn_processor,
outputs=[
ProcessingOutput(output_name="train", source="/opt/ml/processing/train"),
ProcessingOutput(output_name="test", source="/opt/ml/processing/test"),
],
code=os.path.join(BASE_DIR, "preprocess.py"),
job_arguments=["--input-data", input_data,
"--data_split_percent",data_split_percent])

Answer 1

我遇到了同样的错误。我们需要在创建管道时将参数添加到参数列表中。例如:

from sagemaker.workfow.pipeline import Pipeline
pipeline = Pipeline(name=my_pipeline, 
parameters=[data_split_percent],
steps=my_step_list,
sagemaker_session=my_sagemaker_session)

Answer 2

您使用的是哪个版本的SageMaker Python SDK ?

import sagemaker
print(sagemaker.__version__)

我建议安装最新版本进行测试。

!pip install sagemaker --upgrade

Answer 3

我将data_split_percent更新为data_split_percent = ParameterString(name="DataSplitPercent"， default_value="0.7")在"预处理"中。文件"data_split_percent"被读取为float，尽管它在管道配置文件中被提到为字符串(如前面提到的"ParameterString")。然后，我重新启动了sagemaker笔记本的内核，通过它我创建并运行管道。