如何使k8s Pod(由Jenkins生成)使用服务帐户IAM角色访问AWS资源



点击此链接,我可以创建一个pod,其服务帐户的角色可以访问AWS资源;因此吊舱也可以访问它们。

然后,受EKS詹金斯工作坊的启发,我对这个工作坊做了一点改变。我想部署Jenkins Pipeline,这个Jenkins Piperine可以创建一个pod,其帐户服务的角色可以访问aws资源,但问题是这个pod中的cdk代码无法访问aws资源。(我编写cdk代码以访问AWS资源,参考(您的第一个AWS cdk应用程序([https://docs.aws.amazon.com/cdk/latest/guide/hello_world.html])

这是我的詹金斯档案

pipeline {
agent {
kubernetes {
yaml """
apiVersion: v1
kind: Pod
metadata:
name: jenkins-agent
Namespace: default
spec:
serviceAccountName: jenkins
containers:
- name: node-yuvein
image: node
command:
- cat
tty: true
"""
}
}
stages {
stage('Build') {
steps {
container('node-yuvein') {
dir('hello-cdk'){
sh "pwd"
sh 'npm --version'
sh 'node -v'
sh 'npm install -g typescript'
sh 'npm install -g aws-cdk'
sh 'npm install @aws-cdk/aws-s3'
sh 'npm run build'
sh 'cdk deploy'
}
}
}
} 
}
}

当我运行管道时,它会出现以下错误:

User: arn:aws:sts::450261875116:assumed-role/eksctl-eksworkshop-eksctl3-nodegr-NodeInstanceRole-1TCVDYSM1QKSO/i-0a4df3778517df0c6 is not authorized to perform: cloudformation:DescribeStacks on resource: arn:aws:cloudformation:us-west-2:450261875116:stack/HelloCdkStack/*

我是K8s、Jenkins和cdk的初学者。希望有人能帮助我。非常感谢。

进一步调试:

  1. 在Jenkins控制台中,我可以获得serviceAccountName: "jenkins",我在EKS中的服务帐户名称为jenkins
  2. 吊舱也得到正确的ENV:
+ echo $AWS_ROLE_ARN
arn:aws:iam::450261875116:role/eksctl-eksworkshop-eksctl3-addon-iamservicea-Role1-YYYFXFS0J4M2
+ echo $AWS_WEB_IDENTITY_TOKEN_FILE
/var/run/secrets/eks.amazonaws.com/serviceaccount/token
  1. 我安装的node.js和npm是最新版本
+ npm --version
6.14.8
+ node -v
v14.13.0
+ aws sts get-caller-identity
{
"UserId": "AROAWRVNS7GWO5C7QJGRF:botocore-session-1601436882",
"Account": "450261875116",
"Arn": "arn:aws:sts::450261875116:assumed-role/eksctl-eksworkshop-eksctl3-addon-iamservicea-Role1-YYYFXFS0J4M2/botocore-session-1601436882"
}

当我运行此命令时,它将显示我的服务帐户角色。但我还是得到了最初的错误。

JenkinspodTemplate具有serviceAccount选项:https://github.com/jenkinsci/kubernetes-plugin#pod-和容器模板配置

  • 创建映射到EKS集群的IAM角色
  • 创建映射到IAM角色的ServiceAccount
  • 将ServiceAccount名称传递到podTemplate

进一步调试:

  1. 确保pod具有正确的服务帐户名称
  2. 检查pod是否获得了AWS_ROLE_ARNAWS_WEB_IDENTITY_TOKEN_FILE环境变量(它们是自动添加的(
  3. 检查您使用的AWS SDK是否高于最低版本:https://docs.aws.amazon.com/eks/latest/userguide/iam-roles-for-service-accounts-minimum-sdk.html
  4. 运行aws sts get-caller-identity查看角色,不要在运行实际作业上浪费时间

在使用Jenkins从属设备的情况下,需要自定义容器映像以使用AWS CLI V2而不是AWS CLI V1。我遇到了与授权相关的错误,就像这个问题一样;我的客户端使用集群节点角色,而不是使用附加到从属容器的Jenkins pod的服务帐户的假定web标识角色。

显然,AWS CLI的V2包含web身份令牌文件作为默认凭据链的一部分,而V1没有。

这里有一个示例Dockerfile,它提取了最新的AWS CLI版本,因此此模式可以工作。

FROM jenkins/inbound-agent
# run updates as root
USER root
# Create docker group
RUN addgroup docker
# Update & Upgrade OS
RUN apt-get update
RUN apt-get -y upgrade
#install python3
RUN apt-get -y install python3

# add AWS Cli version 2 for web_identity_token files
RUN curl "https://awscli.amazonaws.com/awscli-exe-linux-x86_64.zip" -o "awscliv2.zip"
RUN unzip awscliv2.zip
RUN ./aws/install
# Add Maven
RUN apt-get -y install maven --no-install-recommends
# Add docker
RUN curl -sSL https://get.docker.com/ | sh
RUN usermod -aG docker jenkins
# Add docker compose
RUN curl -L "https://github.com/docker/compose/releases/download/1.26.0/docker-compose-$(uname -s)-$(uname -m)" -o /usr/local/bin/docker-compose
RUN chmod +x /usr/local/bin/docker-compose

# Delete cached files we don't need anymore:
RUN apt-get clean
RUN rm -rf /var/lib/apt/lists/*
# close root access
USER jenkins

此外,我必须确保我的服务帐户已创建并附加到詹金斯主映像和詹金斯奴隶。这可以通过Manage Jenkins来实现->管理节点和云->配置云->播客模板详细信息。

请确保使用适当的值编辑Namespace和Serviceaccount字段。

最新更新