william

Keep Calm and Markdown.

airflow: 使用 cli 进行操作

ariflow 是一款优秀的开源任务管理架构,通过 DAG 的图形关系,指定各个子任务之间的依赖关系,并自动执行流水线。同时,airflow 还提供了美观的 UI,方便用户通过鼠标点击进行相关操作。

而本文要介绍的,则是 airflow 的命令行(CLI)操作模式。CLI 相比于 UI ,提供了更加灵活、可重现的运作方式,通过代码和配置,我们可以进行大规模的系统部署,避免鼠标操作存在的失误与不可重复性。

docker 镜像失败,添加临时方案

在使用 docker:experimental 时,出现报错信息为:

1
2
3
failed to solve with frontend dockerfile.v0: failed to solve with frontend gateway.v0: unexpected status code [manifests 1.0.0-experimental]: 403 Forbidden

error pulling image configuration: download failed after attempts=6: dial tcp 75.126.150.210:443: i/o timeout

需要添加临时镜像: https://docker.1panel.live

docker 配置在pull阶段使用 proxy

最近一些不可描述的会议导致了整个国内互联网的大瘫痪,顺带牵连了 Docker 镜像的同步功能。所以说不能相信国内互联网这群人,动不动就听话干事。

由此,我在部署 docker 时就遇到了网络连接超时的问题,甚至是 hello world 都无法跑得通(天哪,这些不可描述的会议研究的是开放互联网,却是大张旗鼓的搞瘫整个互联网)。所以想到需要使用梯子来加速pull。

在古早 CentOS7.6 机器安装 Docker

公司有一台退役的古早机器安装的操作系统是 CentOS7.6,软件源已经几年没有更新了,基本上已经到达无法使用的地步了。现在需要在这上面搞交易运维(tmd真抠),所以要安装 Docker,以适应新的软件开发环境。

0%