Skip to content

约 10 分钟阅读

DolphinScheduler:工作流、重试与补数 ​

每天凌晨生成前一天的订单日报,通常要等源数据到齐,再清洗订单、核对金额、发布报表,最后通知订阅者。把这些步骤塞进一个定时脚本,会遇到“上游没到齐却开始统计”“失败重跑重复入账”“通知成功但报表还是旧版”等问题。DolphinScheduler 用工作流定义依赖,把一次执行的参数、任务状态、日志与恢复操作组织起来。

它负责安排任务和追踪结果;SQL、Spark、Python 或远程服务仍负责实际计算。调度平台显示成功,不等于订单没有重复、金额正确或外部消息只发送一次。本页以 DolphinScheduler 3.4.3 的配置结构说明机制与操作入口,部署时还需要固定发行包、插件与数据库驱动版本。

调度系统与计算系统的关系 ​

DolphinScheduler调度组件与执行边界

UI 通过 API 管理工作流、权限、定时和执行请求。元数据库保存定义、执行命令和实例状态,Master 获取命令、推进 DAG 并分发可执行任务;Worker 在相应租户环境运行任务插件,向 Master 回报状态。提交 Spark 作业时,Worker 负责提交与跟踪,计算资源由实际的 YARN、Kubernetes 或其他计算环境提供,不能把 Worker 数量当作 Spark executor 数量。

注册中心用于节点发现、心跳与协调,图中采用 ZooKeeper;它不是订单数据仓库,也不是业务任务依次经过的处理节点。3.4.3 代码中还有其他注册插件,是否采用取决于发行包与配置,不能直接混用不同后端的连接参数。Alert 服务消费告警请求并通过插件通知外部渠道,通知渠道失败不应让已经发布的报表再次累计。

多 Master、多 Worker 解决部分服务故障后的调度恢复,仍依赖元数据库、注册中心、资源存储和计算平台。失联不等于旧作业已经停止:旧 Worker 提交的应用可能仍在计算集群运行,恢复前要结合应用 ID、终止结果和业务写入状态判断。服务容错不能代替业务幂等。

对象在订单日报中的含义不应混淆的对象
工作流定义与版本“数据到齐→统计→校验→发布”的模板某一天实际运行的结果
工作流实例模板某版本对 2026-10-19 的一次运行业务日;同一天可以有多次实例
任务定义与任务实例一类统计节点及本次执行记录外部 Spark/YARN 应用 ID
调度时间本次运行对应的计划时间点机器当前时间与数据业务日
租户Worker 执行作业的操作系统身份项目权限、数据库账号和容器安全边界
Worker 分组将任务路由到装有相应依赖的机器组外部资源并发限制
任务组约束已配置任务的并发数量数据库唯一约束或跨系统分布式锁

用订单日报建立 DAG ​

订单日报候选数据校验发布流程

先在“项目管理 → 工作流 → 工作流定义”创建独立练习工作流,逐个添加任务并连接依赖。最小业务链路如下,表中的脚本名表示需要交付的业务程序职责,不是 DolphinScheduler 自带命令。

节点输入与产出合同成功条件与失败行为
wait_source业务日、源快照或水位;产出固定输入版本所需分区及完成标记齐备;暂未到齐可有限重试,不能用“目录存在”代替完整性
build_candidate固定输入版本;写入本次运行的候选分区先校验版本冲突与金额,再按订单粒度处理;不覆盖当前发布版本
validate_candidate候选数据及对账基准核对行数、唯一性、总额与范围;失败返回非零,后续发布不得执行
publish已通过的候选版本与目标业务日用目标系统支持的事务或原子元数据切换发布;并发发布必须仲裁
notify已发布版本、业务日和固定通知身份记录投递结果,超时可查询;重试通知不回到统计节点追加数据

例如两笔已支付订单分别为 5000 分和 3000 分,日报应是 2 单、8000 分;同一输入重跑仍是这个结果。后来一笔订单取消,应按明确口径重算相应日期,不能对旧结果再加一次 8000 分。订单版本、取消和空日期处理见数据分层,计算与分区写入见 Spark。

先把同一工作流的执行策略设为串行等待,可以减少同一定义的实例互相干扰,但其他工作流或人工程序仍能写同一张表。发布端需要以“租户+报表类型+业务日”为并发控制范围,验证候选是否仍有资格替换当前版本。不同业务日可以并行,是否共享源水位、维度快照或汇总表也要确认。

先验证运行身份与退出码 ​

在独立练习项目中,添加以下 Shell 节点,以指定租户和 Worker 分组运行。它只检查执行身份、工作目录和 Python,不处理业务数据;依赖中缺少 python3 或断言失败时应使任务失败。

bash
#!/usr/bin/env bash
set -euo pipefail
id
pwd
command -v python3
python3 - <<'PY'
import datetime
import sys

biz_date = datetime.date.fromisoformat("2026-10-19")
amounts_cent = [5000, 3000]
assert len(amounts_cent) == 2 and sum(amounts_cent) == 8000
print(f"biz_date={biz_date.isoformat()} orders=2 amount_cent=8000")
print(f"python={sys.version_info.major}.{sys.version_info.minor}")
PY

日志应包含实际执行账号、目录和 amount_cent=8000。随后在这个练习节点末尾临时加 exit 7,确认任务失败、成功依赖的下游不运行,并检查设置的重试是否发生。不要用 命令; echo 完成 覆盖前一个失败退出码;经管道或后台提交的程序还要显式等待和检查真正结果。上面的固定输入只验证运行合同,不能证明真实源数据完整。

参数、定时与业务日 ​

在工作流全局参数中定义 biz_date,业务程序只接收规范化的 YYYY-MM-DD,并记录输入快照版本、程序版本和运行身份。定时页面的时区设为明确值,例如 Asia/Shanghai,预览后续触发时间,确认计划时间与业务日的映射:10 月 20 日 02:00 的运行统计 10 月 19 日;补跑时仍使用指定业务日,不能在脚本中用 date 重新算成今天。

DolphinScheduler 的内置日期参数基于调度时间解释,有业务日期、业务时间和日期偏移等形式。全局、局部、启动和上下文参数也有覆盖规则;同名参数尽量减少,启动前和日志中都核对实际解析结果。跨时区、月末和补数至少各验证一次。参数值是数据,不能将任意表名、路径或脚本片段拼进 SQL、Shell;允许外部指定的日期和标识符要在生成任务脚本前做白名单校验,数据库程序内仍使用绑定参数。

保存并上线工作流定义后,创建定时,再将定时上线。定义上线和定时上线是不同操作,只完成前者不会自动按计划触发。定时失触发策略与历史补数是不同功能,停机后恢复不能只凭“定时已上线”推断遗漏日期全部补齐;应对照计划实例和实际发布日期检查。

资源文件、Python 环境和数据库驱动需要在目标 Worker 可用,API 主机上安装成功不能证明 Worker 能执行。机密由部署环境或凭据管理提供,避免放进全局参数、导出的工作流 JSON、日志和版本库。脚本的输入参数、产物与日志均应带实例关联信息,但不能输出密码或完整连接串。

重试、恢复与补数的边界 ​

任务失败重试针对节点,失败恢复通常从失败位置继续,工作流重跑可能从头执行,补数则按选定日期和定时规则生成对应实例。这些操作都会重新触发业务代码,配置了重试次数并不会自动获得“恰好一次”效果。

最容易出错的时刻是“业务写入成功,状态回报丢失”。假设日报已发布,但 Worker 回报前断开连接,调度恢复可能再次调用发布。业务端应能以固定的发布身份查询已完成结果,或在事务内验证版本后返回相同结果;随机生成新业务请求号会破坏去重。故障恢复可能产生新的任务实例,不能只靠任务实例 ID 保证同一天业务结果唯一。

情况可采用的处理需要确认的边界
短暂连接失败、源数据稍晚有上限的重试和间隔总等待时间、外部请求是否已经成功
schema 错误、对账差异停在校验节点,修复后重新产出候选不把错误改成空集后继续发布
提交 Spark 成功但回报丢失用应用 ID 和业务身份查询状态再次提交可能导致两个应用同时写入
停止或超时核对外部进程与应用的最终状态“超时告警”不等于已终止;终止也不回滚既有写入
一批历史日期缺失固定输入版本,先补一天再扩大范围日期边界、时区、定时状态、上下游依赖和并发发布
通知响应超时查询投递记录或使用渠道去重身份报表已经发布,无需重新统计或重新扣款

补数前列出每个业务日的预期实例和目标分区,确认历史源数据、维度版本及程序版本可用。先以一天、低并发验证总额和重放,再按 Worker、任务组与外部计算队列容量逐步提高并行度。不能把“补一个月”简单换成 30 个进程;调度区间、Cron、时区和定时是否上线都会影响生成的计划时间点。含前一天累计余额的任务还需要日期依赖,不能任意并行。

任务组可限制共享资源上同时运行的任务数量,比如多个工作流共用一个报表数据库,但只有加入该组、受它管理的任务才被约束,Master 执行的逻辑节点不按同样方式占用容量。外部手工 SQL、其他系统和未加入该组的任务仍可能访问数据库,所以它不是完整的数据库限流或互斥机制。

部署入口与配置位置 ​

Standalone 适合隔离体验,其默认内存元数据配置不能作为生产持久化方案。生产应先确定元数据库与注册中心的可用性、资源文件存储、租户身份、插件依赖和计算平台,再选择集群或 Helm 部署。对既有实例升级,先备份元数据和配置,在恢复副本中验证迁移;数据库 schema 升级后,不能只换回旧二进制就宣称完成回滚。

3.4.3 源码中的 Master 和 Worker 使用各自的 src/main/resources/application.yaml,发行包对应到相应服务的 conf/,Helm 则通过 chart 值生成配置。应检查当前部署最终生效的文件与环境变量,不用一个根目录 conf/application.yaml 覆盖所有服务。以下配置只说明 Worker 3.4.3 的键名,不是完整部署文件:

yaml
worker:
  group: report
  physical-task-config:
    task-executor-thread-size: 4
  server-load-protection:
    enabled: true

4 只是容量练习值,不能当成所有机器的推荐线程数;并发还受 CPU、子进程内存、连接池和外部队列约束。Master 的工作流事件线程、Worker 物理任务线程和 Spark executor 分别管理不同资源。先测排队与执行耗时,再调整瓶颈,不能统一把线程改到 200、堆改到 16 GB,或降低数据库提交持久性来换取表面吞吐。

租户切换涉及操作系统权限;正式部署应审查运行用户、可执行程序、目录、凭据和网络范围。项目写权限不代表只能运行无害脚本,容器也不自动消除主机挂载与服务账号风险。元数据库不使用超级用户作为日常运行账号,管理端与监控端口限制到所需网络,不复制开放所有 sudo、关闭保护或明文 ConfigMap 的安装捷径。

从现象定位到恢复验收 ​

现象按顺序检查恢复后的验证
计划时间到了却没有实例定时上线、有效期、时区、失触发策略、Master 与元数据库对照缺失计划时间,验证新增实例及对应业务日
有实例但任务不启动上游状态、Worker 分组、任务组排队、节点心跳及过载保护确认排队缩短,任务实际进入目标 Worker
Worker 立即失败租户身份、资源文件、解释器、环境与数据源权限在同租户同分组运行最小探针,再运行业务任务
Spark 节点一直运行外部应用 ID、计算队列、驱动日志、状态回报核对真实应用终态,排除遗留的重复应用
工作流成功但报表错误输入版本、业务日、去重粒度、质量断言和发布记录对账通过,重跑无额外累加,旧读者切换规则成立
告警未收到通知策略、告警组、插件配置、告警实例与渠道响应在隔离渠道测试故意失败,核对投递结果和重复抑制

观察至少区分调度延迟、资源等待、任务执行耗时、业务发布新鲜度和告警投递结果。进程存在、端口可连或 HTTP 200 只能证明部分可达性;需要同时检查服务状态和一条可追踪的小工作流。不用直接修改 t_ds_* 状态、随意新增索引或分区来修任务,系统表结构与状态机由对应版本维护。

日志保留期要覆盖故障追踪与补数窗口,先归档并验证可读取,再按受控策略清理。完成一次恢复后,应核对输入水位、实例参数、外部应用终态、发布版本和业务对账;这些证据共同说明链路恢复,单独一个绿色节点无法完成验收。

别急,先让缓存热一下。