kubeadm join 在非默认 NIC/IP 上超时

Question

我正在尝试在本地配置K8s集群，并且服务器正在使用多个NIC运行Fedora CoreOS。

我正在将集群配置为使用非默认 NIC - 由 2 个接口定义的绑定。所有服务器都可以通过该接口相互访问，并具有与互联网的HTTP + HTTPS连接。

Kubeadm 加入挂于：

I0513 13:24:55.516837   16428 token.go:215] [discovery] Failed to request cluster-info, will try again: Get https://${BOND_IP}:6443/api/v1/namespaces/kube-public/configmaps/cluster-info?timeout=10s: context deadline exceeded (Client.Timeout exceeded while awaiting headers)

相关的 kubeadm init 配置如下所示：

[...]
localAPIEndpoint:
advertiseAddress: ${BOND_IP}
bindPort: 6443
nodeRegistration:
kubeletExtraArgs:
volume-plugin-dir: "/opt/libexec/kubernetes/kubelet-plugins/volume/exec/"
runtime-cgroups: "/systemd/system.slice"
kubelet-cgroups: "/systemd/system.slice"
node-ip: ${BOND_IP}
criSocket: /var/run/dockershim.sock
name: master
taints:
- effect: NoSchedule
key: node-role.kubernetes.io/master
[...]

正在使用的联接配置如下所示：

apiVersion: kubeadm.k8s.io/v1beta2
kind: JoinConfiguration
discovery:
bootstrapToken:
token: ${TOKEN}
caCertHashes:
- "${SHA}"
apiServerEndpoint: "${BOND_IP}:6443"
nodeRegistration:
kubeletExtraArgs:
volume-plugin-dir: "/opt/libexec/kubernetes/kubelet-plugins/volume/exec/"
runtime-cgroups: "/systemd/system.slice"
kubelet-cgroups: "/systemd/system.slice"

如果我尝试使用默认的 eth0 配置它，它可以正常工作。

这不是连接问题。端口测试工作正常：

# nc -s ${BOND_IP_OF_NODE} -zv ${BOND_IP_OF_MASTER} 6443
Ncat: Version 7.80 ( https://nmap.org/ncat )
Ncat: Connected to ${BOND_IP_OF_MASTER}:6443.
Ncat: 0 bytes sent, 0 bytes received in 0.01 seconds.

我怀疑这是由于 kubelet 监听 eth0 而发生的，如果是这样，我可以将其更改为使用不同的 NIC/IP 吗？

LE：eth0 连接已完全切断(电缆输出、接口关闭、连接关闭(。 现在，当我们初始化时，如果我们为 kube-api 选择端口 0.0.0.0，它默认为我们最初想要的绑定：

kind: InitConfiguration
localAPIEndpoint:
advertiseAddress: 0.0.0.0

结果：

[certs] apiserver serving cert is signed for DNS names [emp-prod-nl-hilv-quortex19 kubernetes kubernetes.default kubernetes.default.svc kubernetes.default.svc.cluster.local] and IPs [10.0.0.1 ${BOND_IP}]

我什至在iptables中添加了6443端口以进行接受，但它仍然超时。我所有的 CALICO pod 都已启动并运行(kube-system 命名空间中的所有 pod(

莱尔：

我已经测试了印花布和编织网，两者都显示出相同的问题。API 服务器已启动，可以使用 curl 从主服务器访问，但它从节点超时。

勒：

在 kube-api 只不过是一个 HTTPS 服务器的前提下，我在做 kubeadm 连接时尝试了两个无法访问它的节点选项：

1. 在 6443 上运行了 python3 简单的 http 服务器，并且能够从节点连接
2. 运行一个nginx pod并将其作为NodePort暴露在另一个端口上，并且能够从节点连接

该节点无法访问 6443 或任何其他端口上的 API 服务器....

我做错了什么...

Answer 1

原因：

使用的接口采用 ACTIVE-ACTIVE 类型的 BOND 格式。这使得 kubeadm 尝试了 2 绑定的另一个接口，该接口显然与广告服务器的 IP 不在同一子网中......

使用主动-被动可以解决问题，并能够加入节点。

LE：如果有人知道为什么kubeadm join不支持LACP在FEDORA COREOS上设置主动-主动绑定，请在此处告知。否则，如果需要其他配置，我非常想知道我错过了什么。