在 kubeadm 集群上配置 PodSecurityPolicy

Question

我尝试在带有 kubeadm 的 ubuntu 16.04 上安装的 1.10.1 集群上设置 PodSecurityPolicy，并按照 https://kubernetes.io/docs/concepts/policy/pod-security-policy/中的说明进行操作

所以我在/etc/kubernetes/manifests/kube-apiserver.yaml上更改了主服务器上的 apiserver 清单 将",PodSecurityPolicy"添加到--admission-control参数

当我这样做并运行kubectl get pods -n kube-systemAPI 服务器没有列出，显然我已经设法击中了 apiserver 的正在运行的实例，因为我获得了 kube-system 命名空间中所有其他 pod 的列表

我可以看到一个新的docker容器已经使用PodSecurityPolicy准入控制器启动，它显然正在为kubectl请求提供服务

当我用journalctl -u kubelet检查 kubelet 日志时，我可以看到

Apr 15 18:14:23 pmcgrath-k8s-3-master kubelet[993]: E0415 18:14:23.087361 993 kubelet.go:1617] Failed creating a mirror pod for "kube-apiserver-pmcgrath-k8s-3-master_kube-system(46dbb13cd345f9fbb9e18e2229e2e dd1)": pods "kube-apiserver-pmcgrath-k8s-3-master" is forbidden: unable to validate against any pod security policy: []

我已经添加了特权 PSP 并创建了群集角色和绑定，并确认 PSP 正在工作

只是不确定为什么 apiserver kubelet 会给出此错误，因此没有出现在 pod 列表中，会认为 kubelet 会创建这个 pod，不确定我是否必须为 apiserver、控制器管理器、调度程序和 kube-dns 创建一个角色绑定

没有指示如何处理此问题的文档，我认为这是一个先有鸡还是先有蛋的情况，我必须引导集群，添加一些 PSP、集群角色和集群角色绑定，然后才能改变 api 服务器的准入控制参数

有人有同样的问题或对此有任何指示吗？

谢谢 帕特

Answer 1

我写了一篇关于我如何弄清楚这些东西的博客文章，简短的回答是

• 在 master run kubeadm init 上启用了 PodSecurityPolicy 准入控制器
• 添加一些带有 RBAC 配置的 Pod 安全策略 - 足以允许 CNI 和 DNS 等启动
  • 没有这个，CNI 守护进程将无法启动
• 通过 kubeadm join 完成集群添加节点的配置。
• 向群集添加更多工作负载时，请检查是否需要其他 Pod 安全策略和 RBAC 配置
。

见 https://pmcgrath.net/using-pod-security-policies-with-kubeadm

Answer 2

看起来不能只将PodSecurityPolicy添加到插件列表的末尾。例如，启动集群的脚本仅从选项列表中选择一个security_admission(SecurityContextDeny、PodSecurityPolicy、NodeRestriction)，因此它们一起使用时可能会导致冲突。

函数create_psp_policy在start_apiserver之后调用，因此我们假设您可以在更改 API 服务器参数后创建策略、角色和绑定，但某些 Pod 在所有必要的对象到位后会变得Running。

请参阅文件 https://github.com/kubernetes/kubernetes/blob/master/hack/local-up-cluster.sh

从第 412 行开始：

function start_apiserver {
security_admission=""
if [[ -n "${DENY_SECURITY_CONTEXT_ADMISSION}" ]]; then
security_admission=",SecurityContextDeny"
fi
if [[ -n "${PSP_ADMISSION}" ]]; then
security_admission=",PodSecurityPolicy"
fi
if [[ -n "${NODE_ADMISSION}" ]]; then
security_admission=",NodeRestriction"
fi
if [ "${ENABLE_POD_PRIORITY_PREEMPTION}" == true ]; then
security_admission=",Priority"
if [[ -n "${RUNTIME_CONFIG}" ]]; then
RUNTIME_CONFIG+=","
fi
RUNTIME_CONFIG+="scheduling.k8s.io/v1alpha1=true"
fi
# Admission Controllers to invoke prior to persisting objects in cluster
#
# The order defined here dose not matter.
ENABLE_ADMISSION_PLUGINS=Initializers,LimitRanger,ServiceAccount${security_admission},DefaultStorageClass,DefaultTolerationSeconds,MutatingAdmissionWebhook,ValidatingAdmissionWebhook,ResourceQuota,PodPreset,StorageObjectInUseProtection
<skipped>
}
<skipped>

从第 864 行开始：

function create_psp_policy {
echo "Create podsecuritypolicy policies for RBAC."
${KUBECTL} --kubeconfig="${CERT_DIR}/admin.kubeconfig" create -f ${KUBE_ROOT}/examples/podsecuritypolicy/rbac/policies.yaml
${KUBECTL} --kubeconfig="${CERT_DIR}/admin.kubeconfig" create -f ${KUBE_ROOT}/examples/podsecuritypolicy/rbac/roles.yaml
${KUBECTL} --kubeconfig="${CERT_DIR}/admin.kubeconfig" create -f ${KUBE_ROOT}/examples/podsecuritypolicy/rbac/bindings.yaml
}
<skipped>

从986路开始

echo "Starting services now!"
if [[ "${START_MODE}" != "kubeletonly" ]]; then
start_etcd
set_service_accounts
start_apiserver
start_controller_manager
if [[ "${EXTERNAL_CLOUD_PROVIDER:-}" == "true" ]]; then
start_cloud_controller_manager
fi
start_kubeproxy
start_kubedns
start_kubedashboard
fi
if [[ "${START_MODE}" != "nokubelet" ]]; then
## TODO remove this check if/when kubelet is supported on darwin
# Detect the OS name/arch and display appropriate error.
case "$(uname -s)" in
Darwin)
warning "kubelet is not currently supported in darwin, kubelet aborted."
KUBELET_LOG=""
;;
Linux)
start_kubelet
;;
*)
warning "Unsupported host OS.  Must be Linux or Mac OS X, kubelet aborted."
;;
esac
fi
if [[ -n "${PSP_ADMISSION}" && "${AUTHORIZATION_MODE}" = *RBAC* ]]; then
create_psp_policy
fi
if [[ "$DEFAULT_STORAGE_CLASS" = "true" ]]; then
create_storage_class
fi
print_success
<skipped>