在 K8s 上使用单个负载均衡器公开多个 TCP/UDP 服务

试图弄清楚如何在 Kubernetes 上使用单个 LoadBalancer 公开多个 TCP/UDP 服务。假设服务 ftpsrv1.com，并且每个服务都在端口 21 提供服务 ftpsrv2.com。

以下是我能想到的选项及其局限性：

每个 svc 一磅：太贵了。
节点端口：想要使用 30000-32767 范围之外的端口。
K8s Ingress ：目前不支持TCP或UDP服务。
使用Nginx入口控制器：再次将是一对一映射：
找到这个自定义实现：但它似乎没有更新，上次更新是差不多一年前。

任何意见将不胜感激。

实际上可以使用NGINX Ingress来做到这一点。

入口不支持 TCP 或 UDP 服务。因此，此入口控制器使用标志--tcp-services-configmap和--udp-services-configmap指向现有配置映射，其中键是要使用的外部端口，值指示要公开的服务，格式为：<namespace/service name>:<service port>:[PROXY]:[PROXY]。

本指南描述了如何使用minikube实现它，但是在本地Kubernetes上执行此操作是不同的，需要更多步骤。

缺乏描述如何在非minikube系统上完成它的文档，这就是为什么我决定在这里完成所有步骤。本指南假设您有一个未安装 NGINX 入口的新集群。

我使用的是 GKE 集群，所有命令都在我的 Linux 工作站上运行。它也可以在裸机 K8S 集群上完成。

创建示例应用程序和服务

在这里，我们将创建和应用程序，稍后使用我们的入口公开它是服务。

apiVersion: apps/v1
kind: Deployment
metadata:
name: redis-deployment
namespace: default
labels:
app: redis
spec:
replicas: 1
selector:
matchLabels:
app: redis
template:
metadata:
labels:
app: redis
spec:
containers:
- image: redis
imagePullPolicy: Always
name: redis
ports:
- containerPort: 6379
protocol: TCP
---
apiVersion: v1
kind: Service
metadata:
name: redis-service
namespace: default
spec:
selector:
app: redis
type: ClusterIP
ports:
- name: tcp-port
port: 6379
targetPort: 6379
protocol: TCP
---      
apiVersion: v1
kind: Service
metadata:
name: redis-service2
namespace: default
spec:
selector:
app: redis
type: ClusterIP
ports:
- name: tcp-port
port: 6380
targetPort: 6379
protocol: TCP

请注意，我们正在为同一应用程序创建 2 个不同的服务。这只是为了作为概念证明。我不想向后者展示许多端口只能使用一个入口进行映射。

使用 Helm 安装 NGINX Ingress：

安装头盔 3：

$ curl https://raw.githubusercontent.com/helm/helm/master/scripts/get-helm-3 | bash

添加 NGINX 入口存储库：

$ helm repo add ingress-nginx https://kubernetes.github.io/ingress-nginx

在 kube-system 命名空间上安装 NGINX 入口：

$ helm install -n kube-system ingress-nginx ingress-nginx/ingress-nginx

准备我们新的NGINX入口控制器部署

我们必须在spec.template.spec.containers.args下添加以下行：

- --tcp-services-configmap=$(POD_NAMESPACE)/tcp-services
- --udp-services-configmap=$(POD_NAMESPACE)/udp-services

因此，我们必须使用以下命令进行编辑：

$ kubectl edit deployments -n kube-system ingress-nginx-controller

并使其看起来像这样：

...
spec:
containers:
- args:
- /nginx-ingress-controller
- --publish-service=kube-system/ingress-nginx-controller
- --election-id=ingress-controller-leader
- --ingress-class=nginx
- --configmap=kube-system/ingress-nginx-controller
- --tcp-services-configmap=$(POD_NAMESPACE)/tcp-services
- --udp-services-configmap=$(POD_NAMESPACE)/udp-services
- --validating-webhook=:8443
- --validating-webhook-certificate=/usr/local/certificates/cert
- --validating-webhook-key=/usr/local/certificates/key
...

创建 tcp/udp 服务配置映射

apiVersion: v1
kind: ConfigMap
metadata:
name: tcp-services
namespace: kube-system

apiVersion: v1
kind: ConfigMap
metadata:
name: udp-services
namespace: kube-system

由于这些配置映射是集中式的并且可能包含配置，因此最好只修补它们，而不是在每次添加服务时完全覆盖它们：

$ kubectl patch configmap tcp-services -n kube-system --patch '{"data":{"6379":"default/redis-service:6379"}}'

$ kubectl patch configmap tcp-services -n kube-system --patch '{"data":{"6380":"default/redis-service2:6380"}}'

哪里：

6379：您的服务应从 minikube 虚拟机外部侦听的端口
default：安装服务的命名空间
redis-service：服务的名称

我们可以使用以下命令验证我们的资源是否已修补：

$ kubectl get configmap tcp-services -n kube-system -o yaml
apiVersion: v1
data:
"6379": default/redis-service:6379
"6380": default/redis-service2:6380
kind: ConfigMap
metadata:
annotations:
kubectl.kubernetes.io/last-applied-configuration: |
{"apiVersion":"v1","kind":"ConfigMap","metadata":{"annotations":{},"name":"tcp-services","namespace":"kube-system"}}
creationTimestamp: "2020-04-27T14:40:41Z"
name: tcp-services
namespace: kube-system
resourceVersion: "7437"
selfLink: /api/v1/namespaces/kube-system/configmaps/tcp-services
uid: 11b01605-8895-11ea-b40b-42010a9a0050

唯一需要验证的值是data属性下有一个如下所示的值：

"6379": default/redis-service:6379
"6380": default/redis-service2:6380

将端口添加到 NGINX 入口控制器部署

我们需要修补我们的 nginx 入口控制器，以便它侦听端口 6379/6380，并且可以将流量路由到您的服务。

spec:
template:
spec:
containers:
- name: controller
ports:
- containerPort: 6379
hostPort: 6379
- containerPort: 6380
hostPort: 6380

创建一个名为nginx-ingress-controller-patch.yaml的文件并粘贴上述内容。

接下来，使用以下命令应用更改：

$ kubectl patch deployment ingress-nginx-controller -n kube-system --patch "$(cat nginx-ingress-controller-patch.yaml)"

将端口添加到 NGINX 入口控制器服务

与为minikube提供的解决方案不同，我们必须修补我们的NGINX入口控制器服务，因为它负责暴露这些端口。

spec:
ports:
- nodePort: 31100
port: 6379
name: redis
- nodePort: 31101
port: 6380
name: redis2

创建一个名为nginx-ingress-svc-controller-patch.yaml的文件并粘贴上述内容。

接下来，使用以下命令应用更改：

$ kubectl patch service ingress-nginx-controller -n kube-system --patch "$(cat nginx-ingress-svc-controller-patch.yaml)"

查看我们的服务

$ kubectl get service -n kube-system ingress-nginx-controller
NAME                       TYPE           CLUSTER-IP      EXTERNAL-IP    PORT(S)                                                    AGE
ingress-nginx-controller   LoadBalancer   10.15.251.203   34.89.108.48   6379:31100/TCP,6380:31101/TCP,80:30752/TCP,443:30268/TCP   38m

请注意，我们的ingress-nginx-controller正在侦听端口 6379/6380。

通过以下命令测试是否可以使用 telnet 访问您的服务：

$ telnet 34.89.108.48 6379

应会看到以下输出：

Trying 34.89.108.48...
Connected to 34.89.108.48.
Escape character is '^]'.

要退出 telnet，请输入Ctrl键并同时]。然后键入quit并按回车键。

我们还可以测试端口 6380：

$ telnet 34.89.108.48 6380
Trying 34.89.108.48...
Connected to 34.89.108.48.
Escape character is '^]'.

如果您无法连接，请查看上述步骤。

相关文章

使用 Kubernetes 入口资源在 minikube 中的端口 80 和 443 上路由流量多个服务
使用端口转发访问集群中的应用程序

马克·沃特尼(Mark Watney)接受的答案效果很好。但是无需手动编辑和修补配置，Helm 可以为您完成。

下载 ingress-nginx.
Change 的默认值 .yaml 文件

tcp: {}
#  8080: "default/example-tcp-svc:9000"

自

tcp:
6379: default/redis-service:6379
6380: default/redis-service:6380

以下命令将安装或更新(如果已安装)您的nginx控制器，创建所需的配置映射并更新配置字段：

helm upgrade --install -n kube-system ingress-nginx ingress-nginx/ingress-nginx --values values.yaml --wait

@mWatney的答案很棒。但是，它不适用于 UDP，因为您不能拥有具有 ingress-nginx 混合协议的负载均衡器。

要解决此问题，您实际上需要添加一个专用于 UDP 服务的新负载均衡器，以及另一个入口控制器部署。

这是在遵循@mWatney的所有步骤后对我有用的(不过我没有使用 kube-system 命名空间，只是坚持使用 ingress-nginx)：

应用此部署


apiVersion: apps/v1
kind: Deployment
metadata:
labels:
helm.sh/chart: ingress-nginx-3.10.1
app.kubernetes.io/name: ingress-nginx
app.kubernetes.io/instance: ingress-nginx
app.kubernetes.io/version: 0.41.2
app.kubernetes.io/managed-by: Helm
app.kubernetes.io/component: controller
name: ingress-nginx-udp-controller
namespace: ingress-nginx
spec:
selector:
matchLabels:
app.kubernetes.io/name: ingress-nginx
app.kubernetes.io/instance: ingress-nginx
app.kubernetes.io/component: udp-controller
revisionHistoryLimit: 10
minReadySeconds: 0
template:
metadata:
labels:
app.kubernetes.io/name: ingress-nginx
app.kubernetes.io/instance: ingress-nginx
app.kubernetes.io/component: udp-controller
spec:
dnsPolicy: ClusterFirst
containers:
- name: udp-controller
image: k8s.gcr.io/ingress-nginx/controller:v0.41.2@sha256:1f4f402b9c14f3ae92b11ada1dfe9893a88f0faeb0b2f4b903e2c67a0c3bf0de
imagePullPolicy: IfNotPresent
lifecycle:
preStop:
exec:
command:
- /wait-shutdown
args:
- /nginx-ingress-controller
- --publish-service=$(POD_NAMESPACE)/ingress-nginx-udp-controller
- --election-id=ingress-controller-leader
- --ingress-class=nginx
- --configmap=$(POD_NAMESPACE)/ingress-nginx-controller
- --udp-services-configmap=$(POD_NAMESPACE)/udp-services
- --validating-webhook=:8443
- --validating-webhook-certificate=/usr/local/certificates/cert
- --validating-webhook-key=/usr/local/certificates/key
securityContext:
capabilities:
drop:
- ALL
add:
- NET_BIND_SERVICE
runAsUser: 101
allowPrivilegeEscalation: true
env:
- name: POD_NAME
valueFrom:
fieldRef:
fieldPath: metadata.name
- name: POD_NAMESPACE
valueFrom:
fieldRef:
fieldPath: metadata.namespace
- name: LD_PRELOAD
value: /usr/local/lib/libmimalloc.so
livenessProbe:
httpGet:
path: /healthz
port: 10254
scheme: HTTP
initialDelaySeconds: 10
periodSeconds: 10
timeoutSeconds: 1
successThreshold: 1
failureThreshold: 5
readinessProbe:
httpGet:
path: /healthz
port: 10254
scheme: HTTP
initialDelaySeconds: 10
periodSeconds: 10
timeoutSeconds: 1
successThreshold: 1
failureThreshold: 3
volumeMounts:
- name: webhook-cert
mountPath: /usr/local/certificates/
readOnly: true
resources:
requests:
cpu: 100m
memory: 90Mi
nodeSelector:
kubernetes.io/os: linux
serviceAccountName: ingress-nginx
terminationGracePeriodSeconds: 300
volumes:
- name: webhook-cert
secret:
secretName: ingress-nginx-admission

应用此服务


apiVersion: v1
kind: Service
metadata:
labels:
helm.sh/chart: ingress-nginx-3.10.1
app.kubernetes.io/name: ingress-nginx
app.kubernetes.io/instance: ingress-nginx
app.kubernetes.io/version: 0.41.2
app.kubernetes.io/managed-by: Helm
app.kubernetes.io/component: udp-controller
name: ingress-nginx-udp-controller
namespace: ingress-nginx
spec:
type: LoadBalancer
externalTrafficPolicy: Local
ports:
- name: udp
port: 5004
protocol: UDP
targetPort: 5004
selector:
app.kubernetes.io/name: ingress-nginx
app.kubernetes.io/instance: ingress-nginx
app.kubernetes.io/component: udp-controller

跑步应该给你一些类似于kubectl get services -n ingress-nginx


NAME                                 TYPE           CLUSTER-IP       EXTERNAL-IP   PORT(S)                      AGE
ingress-nginx-controller             LoadBalancer   10.103.60.70     localhost     80:30885/TCP,443:30370/TCP   13m
ingress-nginx-controller-admission   ClusterIP      10.111.245.103           443/TCP                      14d
ingress-nginx-udp-controller         LoadBalancer   10.111.249.180   localhost     5004:30565/UDP               9m48s

要测试它是否正常工作，您可以使用netcat来访问您的udp服务器，例如nc -u -v localhost 5004

关于"节点端口：想要使用30000-32767范围之外的端口"。

您可以通过服务的 yaml 文件中的"nodePort"设置，根据服务实现手动选择服务的端口，或者设置下面指示的标志，以便为所有服务实现自动分配自定义端口范围。

从文档中： "如果将类型字段设置为 NodePort，Kubernetes 控制平面将从 --service-node-port-range 标志(默认值：30000-32767)指定的范围内分配一个端口。">

相关内容

最新更新

热门标签：