GitLab CI/CD:构建多架构Docker镜像

Question

我想要一种简单的方法来在GitLab运行程序中构建多架构Docker映像。简单，我的意思是我只需要在我的项目中添加一个.gitlab-ci.yml就可以了。

这是我写的.gitlab-ci.yml。它使用buildx构建一个multiarch映像，然后将其推送到GitLab注册表：

image: cl00e9ment/buildx
services:
- name: docker:dind
variables:
PLATFORMS: linux/amd64,linux/arm64
TAG: latest
before_script:
- docker login -u "$CI_REGISTRY_USER" -p "$CI_REGISTRY_PASSWORD" "$CI_REGISTRY"
build:
stage: build
script:
- docker buildx build --platform "$PLATFORMS" -t "${CI_REGISTRY_IMAGE}:${TAG}" . --push

问题是linux/arm64平台不可用。

以下是我如何构建cl00e9ment/buildx图像(强烈受到snadn/doker-buildx的启发(：

这是Dockerfile:

FROM docker:latest
ENV DOCKER_CLI_EXPERIMENTAL=enabled
ENV DOCKER_HOST=tcp://docker:2375/
RUN mkdir -p ~/.docker/cli-plugins 
&& wget -qO- https://api.github.com/repos/docker/buildx/releases/latest | grep "browser_download_url.*linux-amd64" | cut -d : -f 2,3 | tr -d '"' | xargs wget -O ~/.docker/cli-plugins/docker-buildx 
&& chmod a+x ~/.docker/cli-plugins/docker-buildx
RUN docker run --rm --privileged multiarch/qemu-user-static --reset -p yes
RUN docker context create buildx 
&& docker buildx create buildx --name mybuilder 
&& docker buildx use mybuilder
RUN docker buildx inspect --bootstrap

这里添加的是用于构建和推送cl00e9ment/buildx镜像的.gitlab-ci.yml文件：

image: docker:latest
services:
- name: docker:dind
before_script:
- docker login -u cl00e9ment -p "$DOCKER_HUB_TOKEN"
build:
stage: build
script:
- docker build --add-host docker:`grep docker /etc/hosts | awk 'NR==1{print $1}'` --network host -t cl00e9ment/buildx .
- docker run --add-host docker:`grep docker /etc/hosts | awk 'NR==1{print $1}'` --network host cl00e9ment/buildx docker buildx inspect --bootstrap
- docker push cl00e9ment/buildx
test:
stage: test
script:
- docker run --add-host docker:`grep docker /etc/hosts | awk 'NR==1{print $1}'` --network host cl00e9ment/buildx docker buildx inspect --bootstrap

那么发生了什么？

• 在构建结束时，在Dockerfile中，我运行docker buildx inspect --bootstrap来列出可用的平台。给出了CCD_ 2。所以一切都很好
• 之后，我再次运行它(就在构建之后和推送之前(，它仍然给出linux/amd64, linux/arm64, linux/riscv64, linux/ppc64le, linux/s390x, linux/386, linux/arm/v7, linux/arm/v6
• 然而，在测试阶段，当图像在干净的环境中从DockerHub新下载时，它会给出linux/amd64, linux/386

为什么？

Answer 1

不幸的是，关于在GitLab CI上构建多架构映像，有很多过时和不正确的信息。似乎变化非常频繁，因为它仍然是一个实验功能。但截至本文发布之时，这就是我如何在GitLab公共运行程序(armv6、armv6、arm64、amd64(上构建多架构的方法：

首先，必须构建并推送一个包含buildx二进制文件的Docker映像。这是我正在使用的Dockerfile：

FROM docker:latest
ARG BUILDX_VER=0.4.2
RUN mkdir -p /root/.docker/cli-plugins && 
wget -qO ~/.docker/cli-plugins/docker-buildx 
https://github.com/docker/buildx/releases/download/v${BUILDX_VER}/buildx-v${BUILDX_VER}.linux-amd64 && 
chmod +x /root/.docker/cli-plugins/docker-buildx

尽管运行了初始化代码，但当前GitLab运行程序映像未正确初始化binfmt处理程序：https://gitlab.com/gitlab-org/gitlab-runner/-/blob/523854c8/.gitlab/ci/_common.gitlab-ci.yml#L91

因此，我们必须在我们的管道中做到这一点。我们参考了GitLab Runner代码MR 1861中的注释，并在我们的.gitlab-ci.yml:中添加了以下神奇的酱汁

before_script:
- docker run --rm --privileged multiarch/qemu-user-static --reset -p yes 

然后，我们可以使用docker login、docker buildx build --use、docker buildx build --push ...等来运行管道脚本的其余部分

现在，runner已经准备好构建多个体系结构。我的最终.gitlab-ci.yml可以在这里看到：https://github.com/oofnikj/nuttssh/blob/multiarch/.gitlab-ci.yml

Answer 2

好的，我想我知道这里发生了什么：你需要在某个地方调用update-binfmts --enable来启用binfmt_misc提供的额外格式。

我能够使用这个repo及其docker图像在gitlab ci上获得使用buildx的multiarch图像(经过大量搜索(：https://gitlab.com/ericvh/docker-buildx-qemu

然而，repo依赖于自己的docker镜像存储库来构建自己的多arch版本，并且它的ci依赖于gitlab ci模板repo。我对这个依赖网络是如何开始的并不是很有信心，该repo的所有者远比我熟练，但就我的用途而言，我已经分叉了回购，现在我正试图修改其CI，以减少对外部来源的依赖。

编辑：对于未来的人们来说，这是Dockerfile:

FROM debian
# Install Docker and qemu
# TODO Use docker stable once it properly supports buildx
RUN apt-get update && apt-get install -y 
apt-transport-https 
ca-certificates 
curl 
gnupg2 
software-properties-common && 
curl -fsSL https://download.docker.com/linux/debian/gpg | apt-key add - && 
add-apt-repository "deb https://download.docker.com/linux/debian $(lsb_release -cs) stable" && 
apt-get update && apt-get install -y 
docker-ce-cli 
binfmt-support 
qemu-user-static
# Install buildx plugin
RUN mkdir -p ~/.docker/cli-plugins && 
ARCH=`dpkg --print-architecture` && echo Running on $ARCH && curl -s https://api.github.com/repos/docker/buildx/releases/latest | 
grep "browser_download_url.*linux-$ARCH" | cut -d : -f 2,3 | tr -d " | 
xargs curl -L -o ~/.docker/cli-plugins/docker-buildx && 
chmod a+x ~/.docker/cli-plugins/docker-buildx
# Write version file
RUN printf "$(docker --version | perl -pe 's/^.*s(d+.d+.d+.*),.*$/$1/')_$(docker buildx version | perl -pe 's/^.*v?(d+.d+.d+).*$/$1/')" > /version && 
cat /version

还有一个精简版的.gitlab-ci.yml

build:
image: docker:dind
stage: build
services:
- name: docker:dind
entrypoint: ["env", "-u", "DOCKER_HOST"]
command: ["dockerd-entrypoint.sh"]
variables:
DOCKER_HOST: tcp://docker:2375/
DOCKER_DRIVER: overlay2
# See https://github.com/docker-library/docker/pull/166
DOCKER_TLS_CERTDIR: ""
before_script:
- |
if [[ -z "$CI_COMMIT_TAG" ]]; then
export CI_APPLICATION_REPOSITORY=${CI_APPLICATION_REPOSITORY:-$CI_REGISTRY_IMAGE/$CI_COMMIT_REF_SLUG}
export CI_APPLICATION_TAG=${CI_APPLICATION_TAG:-$CI_COMMIT_SHA}
else
export CI_APPLICATION_REPOSITORY=${CI_APPLICATION_REPOSITORY:-$CI_REGISTRY_IMAGE}
export CI_APPLICATION_TAG=${CI_APPLICATION_TAG:-$CI_COMMIT_TAG}
fi
- echo "$CI_REGISTRY_PASSWORD" | docker login -u $CI_REGISTRY_USER --password-stdin $CI_REGISTRY
script:
- docker build -t "$CI_APPLICATION_REPOSITORY:$CI_APPLICATION_TAG" -t "$CI_APPLICATION_REPOSITORY:latest" .
- docker push "$CI_APPLICATION_REPOSITORY:$CI_APPLICATION_TAG"  
- docker push "$CI_APPLICATION_REPOSITORY:latest"

编辑：

此外，我发现这个使用上面构建的映像的gitlabci配置可以使用构建缓存：

stages:
- build
variables:
CI_BUILD_ARCHS: "linux/amd64,linux/arm/v6,linux/arm/v7"
CI_BUILD_IMAGE: "registry.gitlab.com/gdunstone/docker-buildx-qemu"
build_master:
image: $CI_BUILD_IMAGE
stage: build
services:
- name: docker:dind
entrypoint: ["env", "-u", "DOCKER_HOST"]
command: ["dockerd-entrypoint.sh"]
variables:
DOCKER_HOST: tcp://docker:2375/
DOCKER_DRIVER: overlay2
# See https://github.com/docker-library/docker/pull/166
DOCKER_TLS_CERTDIR: ""
retry: 2
before_script:
- docker login -u $CI_REGISTRY_USER -p $CI_REGISTRY_PASSWORD $CI_REGISTRY
# Use docker-container driver to allow useful features (push/multi-platform)
- update-binfmts --enable # Important: Ensures execution of other binary formats is enabled in the kernel
- docker buildx create --driver docker-container --use
- docker buildx inspect --bootstrap
script:
- >
docker buildx build --platform $CI_BUILD_ARCHS 
--cache-from=type=registry,ref=$CI_REGISTRY_IMAGE/cache:latest
--cache-to=type=registry,ref=$CI_REGISTRY_IMAGE/cache:latest
--progress plain 
--pull --push 
--build-arg CI_PROJECT_PATH=$CI_PROJECT_PATH
-t "$CI_REGISTRY_IMAGE:$CI_COMMIT_SHA" 
-t "$CI_REGISTRY_IMAGE:latest" .
only:
- master