airflow: 使用 cli 进行操作
ariflow
是一款优秀的开源任务管理架构,通过 DAG
的图形关系,指定各个子任务之间的依赖关系,并自动执行流水线。同时,airflow
还提供了美观的 UI
,方便用户通过鼠标点击进行相关操作。
而本文要介绍的,则是 airflow
的命令行(CLI)操作模式。CLI
相比于 UI
,提供了更加灵活、可重现的运作方式,通过代码和配置,我们可以进行大规模的系统部署,避免鼠标操作存在的失误与不可重复性。
ariflow
是一款优秀的开源任务管理架构,通过 DAG
的图形关系,指定各个子任务之间的依赖关系,并自动执行流水线。同时,airflow
还提供了美观的 UI
,方便用户通过鼠标点击进行相关操作。
而本文要介绍的,则是 airflow
的命令行(CLI)操作模式。CLI
相比于 UI
,提供了更加灵活、可重现的运作方式,通过代码和配置,我们可以进行大规模的系统部署,避免鼠标操作存在的失误与不可重复性。
在使用 docker:experimental
时,出现报错信息为:
|
|
需要添加临时镜像: https://docker.1panel.live
在使用 Docker
拉取镜像时,出现域名解析错误
通过 traits
把 lambda
转化成函数指针。
最近一些不可描述的会议导致了整个国内互联网的大瘫痪,顺带牵连了 Docker
镜像的同步功能。所以说不能相信国内互联网这群人,动不动就听话干事。
由此,我在部署 docker
时就遇到了网络连接超时的问题,甚至是 hello world
都无法跑得通(天哪,这些不可描述的会议研究的是开放互联网,却是大张旗鼓的搞瘫整个互联网)。所以想到需要使用梯子来加速pull。
公司有一台退役的古早机器安装的操作系统是 CentOS7.6
,软件源已经几年没有更新了,基本上已经到达无法使用的地步了。现在需要在这上面搞交易运维(tmd真抠),所以要安装 Docker,以适应新的软件开发环境。