如何在声明性 jenkins 管道的独立 pod 中运行并行阶段

Question

我正在尝试在声明式 jenkins 管道上并行运行一些端到端测试，并在不同的 kubernetes pod 上运行一些端到端测试，然而 jenkins 似乎尝试在相同的 kubernetes pod 上运行并行阶段。这会导致数据库死锁，因为两个进程都尝试插入/截断/更新/查询相同的表。有没有办法为每个并行阶段旋转不同的 pod？

kubernetes-plugin 配置：

  agent {
  kubernetes {
    label 'my-label'
    defaultContainer 'jnlp'
    yaml """
apiVersion: v1
kind: Pod
metadata:
  name: dind
spec:
  containers:
    - name: < default container >
      image: < image >
      securityContext:
          privileged: true
          fsGroup: 1000
      command:
      - cat
      tty: true
      volumeMounts:
        - name: jenkins-bundle-gems
          mountPath: /usr/local/bundle

    - name: <tests-container-name>
      image: < image > 
      securityContext:
          privileged: true
          fsGroup: 1000
      volumeMounts:
        - name: jenkins-bundle-gems
          mountPath: /usr/local/bundle
      command:
      - cat
      tty: true
"""
 }
   }

平行阶段：

      stage('Test'){
        parallel {
          stage("Branch 1") {
              steps {
                container('<tests-container-name>') {
                  sh "jenkins/scripts/initdb.sh"
                  sh 'bundle exec rspec --exclude-pattern "spec/features/*_spec.rb" spec'
                }
              }
            }
            stage("Branch 2") {
              steps {
                container('<tests-container-name>') {
                  sh "jenkins/scripts/initdb.sh"
                  sh "bundle exec rspec `jenkins/scripts/split_features.sh 0`"
                }
              }
            }
        }
      }

期望：我希望 Jenkins 为每个并行阶段启动两个不同的 pod。这将允许我为每个测试使用不同的数据库。

实际结果：Jenkins 在同一个 pod 上同时运行这两个阶段。

Answer 1

你have__________：stage > parallel > stage > steps .

您还需要具有：stage > parallel > stage > agent。

不要重复 pod 定义两次，建议将 pod 定义放在单独的文件中，并使用 yamlFile 而不是 yaml 来引用它：

  stage('Test'){
    parallel {
      stage("Branch 1") {
          agent {
             kubernetes {
               defaultContainer 'jnlp'
               yamlFile 'Jenkins.pod.yaml'
             }
          }
          steps {
            container('<tests-container-name>') {
              sh "jenkins/scripts/initdb.sh"
              sh 'bundle exec rspec --exclude-pattern "spec/features/*_spec.rb" spec'
            }
          }
        }
        stage("Branch 2") {
          agent {
             kubernetes {
               defaultContainer 'jnlp'
               yamlFile 'jenkins.pod.yaml'
             }
          }
          steps {
            container('<tests-container-name>') {
              sh "jenkins/scripts/initdb.sh"
              sh "bundle exec rspec `jenkins/scripts/split_features.sh 0`"
            }
          }
        }
    }
  }

提示

如果 blueocean 是你的插件之一，它将帮助您在 http://HOST/blue/organizations/jenkins/pipeline-editor/ 下绘制您的管道，然后您可以通过键入 [Cmd + s] 来复制 Jenkinsfile 代码

Answer 2

尝试这样的事情

stage("Run additional parallel tests") {
        parallel( 
            "parallel stage 1": {
                [INSERT YOUR CODE HERE]
            },
            "parallel stage 2": {
                [INSERT YOUR CODE HERE]
            }
        )
    }
}

Answer 3

您可以

为每个并行阶段设置agent {}，以启动每个阶段的 Pod。