Kubernetes：无法获取 GCE GCECloudProvider 并显示错误<nil>

Question

我使用 kubeadm 在 GCE 上建立了一个自定义的 kubernetes 集群。我正在尝试将有状态集与持久存储一起使用。

我有以下配置：

kind: StorageClass
apiVersion: storage.k8s.io/v1
metadata:
  name: gce-slow
provisioner: kubernetes.io/gce-pd
parameters:
  type: pd-standard
  zones: europe-west3-b
---
apiVersion: apps/v1
kind: StatefulSet
metadata:
  name: myname
  labels:
    app: myapp
spec:
  serviceName: myservice
  replicas: 1
  selector:
    matchLabels:
      app: myapp
  template:
    metadata:
      labels:
        app: myapp
    spec:
      containers:
        - name: mycontainer
          image: ubuntu:16.04
          env:
          volumeMounts:
          - name: myapp-data
            mountPath: /srv/data
      imagePullSecrets:
      - name: sitesearch-secret
  volumeClaimTemplates:
  - metadata:
      name: myapp-data
    spec:
      accessModes: [ "ReadWriteOnce" ]
      storageClassName: gce-slow
      resources:
        requests:
          storage: 1Gi

我收到以下错误：

Nopx@vm0:~$ kubectl describe pvc
 Name:          myapp-data-myname-0
 Namespace:     default
 StorageClass:  gce-slow
 Status:        Pending
 Volume:
 Labels:        app=myapp
 Annotations:   volume.beta.kubernetes.io/storage-provisioner=kubernetes.io/gce-pd
 Finalizers:    [kubernetes.io/pvc-protection]
 Capacity:
 Access Modes:
 Events:
   Type     Reason              Age   From                         Message
   ----     ------              ----  ----                         -------
   Warning  ProvisioningFailed  5s    persistentvolume-controller  Failed to provision volume 
 with StorageClass "gce-slow": Failed to get GCE GCECloudProvider with error <nil>

我在黑暗中踩踏，不知道缺少了什么。它不起作用似乎是合乎逻辑的，因为配置器从不向 GCE 进行身份验证。任何提示和指示都非常感谢。

编辑

我在这里尝试了解决方案，通过使用 kubeadm config upload from-file 编辑 kubeadm 中的配置文件，但错误仍然存在。kubadm 配置现在看起来像这样：

api:
  advertiseAddress: 10.156.0.2
  bindPort: 6443
  controlPlaneEndpoint: ""
auditPolicy:
  logDir: /var/log/kubernetes/audit
  logMaxAge: 2
  path: ""
authorizationModes:
- Node
- RBAC
certificatesDir: /etc/kubernetes/pki
cloudProvider: gce
criSocket: /var/run/dockershim.sock
etcd:
  caFile: ""
  certFile: ""
  dataDir: /var/lib/etcd
  endpoints: null
  image: ""
  keyFile: ""
imageRepository: k8s.gcr.io
kubeProxy:
  config:
    bindAddress: 0.0.0.0
    clientConnection:
      acceptContentTypes: ""
      burst: 10
      contentType: application/vnd.kubernetes.protobuf
      kubeconfig: /var/lib/kube-proxy/kubeconfig.conf
      qps: 5
    clusterCIDR: 192.168.0.0/16
    configSyncPeriod: 15m0s
    conntrack:
      max: null
      maxPerCore: 32768
      min: 131072
      tcpCloseWaitTimeout: 1h0m0s
      tcpEstablishedTimeout: 24h0m0s
    enableProfiling: false
    healthzBindAddress: 0.0.0.0:10256
    hostnameOverride: ""
    iptables:
      masqueradeAll: false
      masqueradeBit: 14
      minSyncPeriod: 0s
      syncPeriod: 30s
    ipvs:
      minSyncPeriod: 0s
      scheduler: ""
      syncPeriod: 30s
    metricsBindAddress: 127.0.0.1:10249
    mode: ""
    nodePortAddresses: null
    oomScoreAdj: -999
    portRange: ""
    resourceContainer: /kube-proxy
    udpIdleTimeout: 250ms
kubeletConfiguration: {}
kubernetesVersion: v1.10.2
networking:
  dnsDomain: cluster.local
  podSubnet: 192.168.0.0/16
  serviceSubnet: 10.96.0.0/12
nodeName: mynode
privilegedPods: false
token: ""
tokenGroups:
- system:bootstrappers:kubeadm:default-node-token
tokenTTL: 24h0m0s
tokenUsages:
- signing
- authentication
unifiedControlPlaneImage: ""

编辑

由于安东·科斯坚科，该问题在评论中得到解决。最后的编辑加上kubeadm upgrade解决了这个问题。

Answer 1

答案花了我一段时间，但这里是：

在 Google Kubernetes Engine 之外的 Kubernetes 中使用 GCECloudProvider 具有以下先决条件(最后一点是特定于 Kubeadm(：

1. VM 需要使用有权预配磁盘的服务帐户运行。有关如何使用服务帐户运行 VM 的信息，请参阅此处

2. Kubelet 需要与参数一起运行 --cloud-provider=gce .为此，必须编辑/etc/systemd/system/kubelet.service.d/10-kubeadm.conf中的KUBELET_KUBECONFIG_ARGS。然后可以使用 sudo systemctl restart kubelet重新启动 Kubelet

3. 需要配置 Kubernetes 云配置文件。该文件可以在/etc/kubernetes/cloud-config找到，以下内容足以让云提供商工作：

   [Global]
   project-id = "<google-project-id>"
   

4. Kubeadm 需要将 GCE 配置为其云提供商。问题中发布的配置对此工作正常。但是，必须更改nodeName。

Answer 2

在 Google Cloud 虚拟机的 Kubernetes 节点中创建动态持久卷。

基仕伯角色：

1. Google Cloud Console 转到 IAM & Admin。
2. 添加新的服务帐户，例如 gce 用户。
3. 添加角色"计算实例管理员"。

将角色添加到 GCP 虚拟机：

1. 停止实例，然后单击编辑。
2. 单击服务帐户，然后选择新帐户，例如GCE用户。
3. 启动虚拟机。

在所有节点的 kubelet 中添加 GCE 参数。

• 添加"--云提供商=GCE">
• sudo vi/etc/systemd/system/kubelet.service.d/10-kubeadm.conf

---

添加值：

Environment="KUBELET_KUBECONFIG_ARGS=--bootstrap-kubeconfig=/etc/kubernetes/bootstrap-kubelet.conf --kubeconfig=/etc/kubernetes/kubelet.conf --cloud-provider=gce">

• 在所有节点中创建新文件/etc/kubernetes/cloud-config

添加此参数。 [全球] 项目ID = "xxxx

• 重新启动库贝莱特
• 在控制器主设备中添加 gce
• vi/etc/kubernetes/manifests 在命令下添加此参数：
--
• cloud-provider=gce

然后重新启动控制平面。

运行 PS -ef |grep 控制器，然后您必须在控制器输出中看到"GCE"。

注意：以上方法不建议在生产系统上使用，使用 kubeadm config 更新控制器-管理器设置。