入口资源在使用多个入口 nginx 控制器时从错误的入口控制器获取地址

Question

我们在AWS(EKS(中有一个Kubernetes集群。在我们的设置中，我们需要有两个入口-nginx控制器，以便我们可以实施不同的安全策略。为了实现这一目标，我正在利用

kubernetes.io/ingress.class 和入口类

正如这里所建议的，我从ingress-nginx存储库创建了一个标准的入口控制器，默认为"mandatory.yaml"。

为了创建第二个入口控制器，我已经从"mandatory.yaml"自定义了入口部署。我基本上添加了标签：

"环境：内部">

到部署定义。

我还相应地创建了另一个服务，指定了"env：internal"标签，以便将此新服务与我的新入口控制器绑定。请看一下我的 yaml 定义：

apiVersion: apps/v1
kind: Deployment
metadata:
name: nginx-ingress-controller-internal
namespace: ingress-nginx
labels:
app.kubernetes.io/name: ingress-nginx
app.kubernetes.io/part-of: ingress-nginx
env: internal
spec:
replicas: 1
selector:
matchLabels:
app.kubernetes.io/name: ingress-nginx
app.kubernetes.io/part-of: ingress-nginx
env: internal
template:
metadata:
labels:
app.kubernetes.io/name: ingress-nginx
app.kubernetes.io/part-of: ingress-nginx
env: internal
annotations:
prometheus.io/port: "10254"
prometheus.io/scrape: "true"
spec:
# wait up to five minutes for the drain of connections
terminationGracePeriodSeconds: 300
serviceAccountName: nginx-ingress-serviceaccount
nodeSelector:
kubernetes.io/os: linux
containers:
- name: nginx-ingress-controller-internal
image: quay.io/kubernetes-ingress-controller/nginx-ingress-controller:0.26.1
args:
- /nginx-ingress-controller
- --configmap=$(POD_NAMESPACE)/nginx-configuration
- --tcp-services-configmap=$(POD_NAMESPACE)/tcp-services
- --udp-services-configmap=$(POD_NAMESPACE)/udp-services
- --publish-service=$(POD_NAMESPACE)/ingress-nginx
- --annotations-prefix=nginx.ingress.kubernetes.io
- --ingress-class=nginx-internal
securityContext:
allowPrivilegeEscalation: true
capabilities:
drop:
- ALL
add:
- NET_BIND_SERVICE
# www-data -> 33
runAsUser: 33
env:
- name: POD_NAME
valueFrom:
fieldRef:
fieldPath: metadata.name
- name: POD_NAMESPACE
valueFrom:
fieldRef:
fieldPath: metadata.namespace
ports:
- name: http
containerPort: 80
- name: https
containerPort: 443
livenessProbe:
failureThreshold: 3
httpGet:
path: /healthz
port: 10254
scheme: HTTP
initialDelaySeconds: 10
periodSeconds: 10
successThreshold: 1
timeoutSeconds: 10
readinessProbe:
failureThreshold: 3
httpGet:
path: /healthz
port: 10254
scheme: HTTP
periodSeconds: 10
successThreshold: 1
timeoutSeconds: 10
lifecycle:
preStop:
exec:
command:
- /wait-shutdown
---
kind: Service
apiVersion: v1
metadata:
name: ingress-nginx-internal
namespace: ingress-nginx
labels:
app.kubernetes.io/name: ingress-nginx
app.kubernetes.io/part-of: ingress-nginx
env: internal
spec:
externalTrafficPolicy: Local
type: LoadBalancer
selector:
app.kubernetes.io/name: ingress-nginx
app.kubernetes.io/part-of: ingress-nginx
env: internal
ports:
- name: http
port: 80
targetPort: http
- name: https
port: 443
targetPort: https

应用此定义后，将创建我的入口控制器以及新的负载均衡器服务：

$ kubectl get deployments -n ingress-nginx
NAME                                READY   UP-TO-DATE   AVAILABLE   AGE
nginx-ingress-controller            1/1     1            1           10d
nginx-ingress-controller-internal   1/1     1            1           95m
$ kubectl get service -n ingress-nginx
NAME                     TYPE           CLUSTER-IP       EXTERNAL-IP                                          PORT(S)                      AGE
ingress-nginx            LoadBalancer   172.20.6.67      xxxx.elb.amazonaws.com   80:30857/TCP,443:31863/TCP   10d
ingress-nginx-internal   LoadBalancer   172.20.115.244   yyyyy.elb.amazonaws.com   80:30036/TCP,443:30495/TCP   97m

到目前为止一切顺利，一切正常。

但是，当我创建两个入口资源时，每个资源都绑定到不同的入口控制器(注意"kubernetes.io/ingress.class："(：

外部入口资源：

apiVersion: extensions/v1beta1
kind: Ingress
metadata:
name: accounting-ingress
annotations:  
kubernetes.io/ingress.class: nginx
spec: ...

内部入口资源：

apiVersion: extensions/v1beta1
kind: Ingress
metadata:
name: internal-ingress
annotations:  
kubernetes.io/ingress.class: nginx-internal    
spec: ...

我看到它们都包含相同的地址，即第一个入口控制器的地址：

$ kg ingress
NAME                 HOSTS                  ADDRESS                                                                   PORTS     AGE
external-ingress   bbb.aaaa.com           xxxx.elb.amazonaws.com   80, 443   10d
internal-ingress   ccc.aaaa.com           xxxx.elb.amazonaws.com   80        88m

我希望绑定到"ingress-class=nginx-internal"的入口将包含以下地址："yyyyy.elb.amazonaws.com"。一切似乎都很好，但这让我很烦恼，我的印象是出了点问题。

我应该从哪里开始进行故障排除，以了解幕后发生的事情？

####---更新---####

除了上面描述的内容之外，我还在manadatory.yaml中添加了">入口-控制器-领导者-nginx-internal">行，如下所示。我是根据我在 mandatory.yaml 文件中找到的一条评论来做到这一点的：

apiVersion: rbac.authorization.k8s.io/v1beta1
kind: Role
metadata:
name: nginx-ingress-role
namespace: ingress-nginx
labels:
app.kubernetes.io/name: ingress-nginx
app.kubernetes.io/part-of: ingress-nginx
rules:
- apiGroups:
- ""
resources:
- configmaps
- pods
- secrets
- namespaces
verbs:
- get
- apiGroups:
- ""
resources:
- configmaps
resourceNames:
# Defaults to "<election-id>-<ingress-class>"
# Here: "<ingress-controller-leader>-<nginx>"
# This has to be adapted if you change either parameter
# when launching the nginx-ingress-controller.
- "ingress-controller-leader-nginx"
- "ingress-controller-leader-nginx-internal"

不幸的是，nginx文档只提到了用于定义新控制器的"kubernetes.io/ingress.class 和-ingress-class"。我有可能弄乱了一些小细节。

Answer 1

尝试更改此行：

- --configmap=$(POD_NAMESPACE)/nginx-configuration

在你的代码中，它应该是这样的：

- --configmap=$(POD_NAMESPACE)/internal-nginx-configuration

这样，您将为每个nginx控制器提供不同的配置，否则您将具有相同的配置，它似乎可以工作，但是在更新时会遇到一些错误...(已经去过那里了...