Kubernetes 部署只读文件系统错误

Question

我在 Kubernetes(正是这个版本的 Airflow https://github.com/puckel/docker-airflow/blob/1.8.1/Dockerfile)上部署 Airflow 时遇到关于将权限写入文件系统的错误。

Pod 日志上显示的错误为：

sed: couldn't open temporary file /usr/local/airflow/sed18bPUH: Read-only file system
sed: -e expression #1, char 131: unterminated `s' command
sed: -e expression #1, char 118: unterminated `s' command
Initialize database...
sed: couldn't open temporary file /usr/local/airflow/sedouxZBL: Read-only file system
Traceback (most recent call last):
File "/usr/local/lib/python2.7/dist-packages/airflow/configuration.py", line 769, in
....
with open(TEST_CONFIG_FILE, 'w') as f:
IOError: [Errno 30] Read-only file system: '/usr/local/airflow/unittests.cfg'

似乎文件系统是只读的，但我不明白为什么会这样。我不确定这是否是Kubernetes 配置错误(我需要为 pod 提供特殊的 RBAC 吗？不知道)或者是否是Dockerfile的问题。

部署文件如下所示：

apiVersion: extensions/v1beta1
kind: Deployment
metadata:
name: airflow
namespace: test
spec:
replicas: 1
revisionHistoryLimit: 3
strategy:
type: RollingUpdate
rollingUpdate:
maxUnavailable: 0
maxSurge: 1
template:
metadata:
labels:
app: airflow
spec:
restartPolicy: Always
containers:
- name: webserver
image: davideberdin/docker-airflow:0.0.4
imagePullPolicy: Always
resources:
limits:
cpu: 1
memory: 1Gi
requests:
cpu: 50m
memory: 128Mi
securityContext:  #does not have any effect
runAsUser: 0    #does not have any effect
ports:
- name: airflow-web
containerPort: 8080
args: ["webserver"]
volumeMounts:
- name: airflow-config-volume
mountPath: /usr/local/airflow
readOnly: false #does not have any effect
- name: airflow-logs
mountPath: /usr/local/logs
readOnly: false #does not have any effect
volumes:
- name: airflow-config-volume
secret:
secretName: airflow-config-secret
- name: airflow-parameters-volume
secret:
secretName: airflow-parameters-secret
- name: airflow-logs
emptyDir: {}

知道我如何使文件系统可写吗？容器作为用户气流运行，但我认为该用户具有root权限。

Answer 1

从 kubernetes 版本 1.9 及以后，volumeMounts 在 secret、configMap、downwardAPI 和 projected 上的行为默认更改为只读。

该问题的解决方法是创建一个 emtpyDir 卷并将内容复制到其中并执行/写入所需的任何内容。

这是一个要演示的小片段。

initContainers:
- name: copy-ro-scripts
image: busybox
command: ['sh', '-c', 'cp /scripts/* /etc/pre-install/']
volumeMounts:
- name: scripts
mountPath: /scripts
- name: pre-install
mountPath: /etc/pre-install
volumes:
- name: pre-install
emptyDir: {}
- name: scripts
configMap:
name: bla

导致此中断的合并 PR :( https://github.com/kubernetes/kubernetes/pull/58720

Answer 2

volumeMounts:
- name: airflow-config-volume
mountPath: /usr/local/airflow
volumes:
- name: airflow-config-volume
secret:
secretName: airflow-config-secret

是问题的根源，原因有两个：首先，您通过将密钥直接安装到映像上来粉碎 airflow 用户的主目录，该映像需要airflow拥有的目录。

另外，虽然我必须启动一个集群来确认 100%，但我非常确定Secret卷挂载 -我认为他们的ConfigMap朋友 - 是 Pod 文件系统的只读投影;这种怀疑肯定与您的经验相符。当然，对这些卷的更改不会传播回 kubernetes 集群，所以为什么要假装不然。

如果你想继续尝试这样的事情，你实际上对投影到该volumeMount中的文件的defaultMode有影响，所以你可以将它们设置为0666，但肯定需要注意 emptor。到目前为止，简短的版本不是用卷安装来粉碎$AIRFLOW_HOME。