我正在尝试运行一个示例造纸厂笔记本,您可以在这里找到:在官方Apache气流url
airflow-github
与相应的dag文件,在上述指定的同一目录中找到。
我使用docker-compose程序集在本地运行此程序集,您可以在气流网站上找到:
airflow-docker-page
我必须使用Papermill自定义构建图像,因为它看起来没有被烤到图像中:
输入图片描述
我得到了一个错误:
raise NoSuchKernel(kernel_name)
jupyter_client.kernelspec。NoSuchKernel: No such kernel named python3
如何添加内核?
更新:我设法解决了这个问题,但现在有这个:
[2010-10-28, 22:47:57 UTC] {execute.py:84} INFO - Input Notebook:/opt//dags/example_notebook.ipynb[2010-10-28, 22:47:57 UTC] {execute.py:85} INFO - Output Notebook: out- 2010-10-28 t22:47:55 .826195+00:00.ipynb[2010-10-28, 22:47:57 UTC] {driver.py:192} INFO -从/home/生成语法表/。local/lib/python3.6/网站/blib2to3/Grammar.txt[2021-10-28, 22:47:57 UTC] {driver.py:195} INFO -将语法表写入/home//.cache/black/21.90 b0/grammar3.6.15 .fin .0.pickle[2010-10-28, 22:47:57 UTC] {driver.py:199} INFO -写入失败:[Errno 2]没有这样的文件或目录:'/home/气流/.cache/black/21.90 b0/tmp27kcm8y_'[2010-10-28, 22:47:57 UTC] {driver.py:192} INFO -从/home/生成语法表/。local/lib/python3.6/网站/blib2to3/PatternGrammar.txt[2021-10-28, 22:47:57 UTC] {driver.py:195} INFO -将语法表写入/home//.cache/black/21.90 b0/PatternGrammar3.6.15.final.0.pickle[2021年10月28日,22:47:57 UTC] {driver.py:199} INFO -写入失败:[Errno 2]没有这样的文件或目录:'/home/气流/.cache/black/21.90 b0/tmpnexc_sob'[2010-10-28, 22:47:57 UTC] {warnings.py:99} WARNING -/home//.local/lib/python3.6/site-packages/IPython/paths.py:67: UserWarning: IPython父目录'/home/***'不是可写的位置,使用临时目录。";使用临时目录。".format(parent))
我也有同样的问题,
我通过在Docker文件中添加这些行来解决它
RUN pip install --upgrade pip ipython ipykernel
RUN ipython kernel install --name "python3" --user
和
docker-compose build
docker-compose up
这是我完整的Dockerfile
FROM apache/airflow:2.2.1
COPY requirement.txt .
RUN pip install -r requirement.txt
RUN pip install --upgrade pip ipython ipykernel
RUN ipython kernel install --name "python3" --user
CMD python -m ipykernel_launcher -f $DOCKERNEL_CONNECTION_FILE