变更与运行手册
设置变更治理,了解计划、批准、提交的过程,把多步变更写成运行手册。
变更治理
入口:「运维(运枢) › 变更 › 变更治理」。这里设置的规则,在生成计划、提交,以及每个目标派发之前都会重新检查。设置只能由控制台里的人员修改,Agent 不能读取或更改。
页面里的新增、编辑和移除都先标为「待保存」,尚未生效,要点底部的「保存设置」才生效,「放弃修改」则恢复当前生效的版本。别人先保存了会提示版本冲突,你的待保存修改会保留,核对后可以再次保存。
冻结窗口和维护窗口
点「新增冻结窗口」或「新增维护窗口」,填写名称、适用范围(全局,或选一个资源组)、开始、结束和说明(最多 500 个字符,例如「大促封网」)。窗口最长 366 天。
- 冻结窗口:窗口生效期间,适用范围内的目标不能生成计划,不能提交,也不能派发。
- 维护窗口:本身不限制什么,要配合下面的「仅允许在维护窗口内变更」使用,也是定时执行必须落入的时间段。
变更规模限制
点「新增变更限制」,同一个范围只保留一条。留空的上限表示不限。
| 字段 | 说明 |
|---|---|
| 适用范围 | 全局统计全部目标,资源组只统计该组的目标。保存后不能改范围,要改请移除后新增。 |
| 单个计划最多目标数 | 1 到 20。 |
| 时段内最多目标数、时段长度(分钟) | 前者 1 到 1000,后者 1 到 10080,两个要一起填。统计该时段内已提交的任务里没有被跳过的目标。 |
| 仅允许在维护窗口内变更 | 勾选后,这个范围的变更只能在覆盖它的维护窗口(本范围或全局)内执行。 |
被拒绝时会看到什么
被治理规则拒绝的变更不会产生远端动作,拒绝原因用中文说明,并写入操作审计。已派发中的任务会暂停,任务详情里写明原因和下一步。常见的提示:
- 「变更冻结中:全局冻结窗口「…」(北京时间 … 至 …),原因:…。冻结期内不能生成或执行变更(资源 …)。」冻结结束后重新生成计划,或到「变更治理」核对窗口。
- 「…只允许在维护窗口内变更,资源 … 当前不在维护窗口内;最近的窗口为「…」…」要么等到维护窗口内重新提交,要么核对窗口设置。
- 「…单个计划最多 N 个目标,本次涉及 M 个,请拆分后分批变更。」减少目标后重新生成计划。
- 「…每 N 分钟最多变更 M 个目标:该时段内已提交 X 个,本次 Y 个,请稍后再试。」稍后重新生成计划,或核对限制。
- 「定时执行必须安排在维护窗口内…」定时的时间点没有落进覆盖全部目标的维护窗口。
变更:计划、批准、提交
入口:「运维(运枢) › 变更 › 变更计划」。变更按固定的顺序进行,每一步都有边界。
目前有哪些变更类型
| 类型 | 适用 | 资源上要开的设置 | 怎么验证成功 |
|---|---|---|---|
重启(restart) | Linux 的 Docker 和 systemd 服务,Kubernetes 的 Deployment 和 StatefulSet | 「允许为此资源生成重启计划」 | 收到与本次操作匹配的回执,实例已变化,并且服务健康。 |
扩缩容(scale) | Kubernetes Deployment | 扩缩容范围 | 副本数按计划变化,ready 和 available 副本都等于目标。 |
回滚(rollback) | Kubernetes Deployment | 「允许为此资源生成回滚到上一修订版本的计划」 | 回到计划冻结的紧邻的上一修订版本,滚动完成。 |
重载(reload) | Linux 的 systemd 和 Docker 服务 | 「允许为此资源生成配置重载计划」 | 回执匹配,实例和主进程都没变,服务保持健康。实例变了会按意外重启处理,结果不明。 |
回滚的「上一修订版本」是当前修订号以下最大的那个。只有一个修订版本、历史已被集群清理、Deployment 暂停,或控制器还没观察到最新版本时,不能生成回滚计划。扩缩容在目标等于当前副本数、Deployment 暂停或正在删除时也会被拒绝。这些检查在生成计划时做,被拒绝时不会生成计划,也不会改动服务。重启的检查在派发前做:遇到 partition、OnDelete、Recreate 更新策略、零副本或暂停,会在派发前被拒绝,目标显示「未执行」,任务暂停,不改动服务。
从计划到执行
- 冻结计划:Agent 调用
change.plan,传入变更类型、资源和参数,例如{"action_type": "restart", "resource_refs": ["orders-api"], "params": {}}。运枢冻结变更类型、参数、目标、连接配置、当前实例和执行顺序,并用校验值封存,每个目标附上验证标准。同时向 Nexus Core 申请审批,返回审批页链接和有效期。要安排在维护窗口里执行时,可以带not_before,见下文「定时执行」。 - 人批准:有权的人在 Nexus 审批页,或在自己客户端里的审批卡片上,按计划内容批准。规则相同:本人确认由发起 Agent 的归属人员完成,他人审批由持有「审批」授权的其他人员完成。模型没有决定类的工具,对话里说「同意」不算批准。批准人需要先登录审批页,登录方式见授权、审批与审计。
- 原发起人提交:Agent 调用
change.submit,只传计划引用plan_ref,必须带幂等键,不能改目标或参数。提交成功得到一个持久的任务,用task.get读取进度。 - 逐目标执行并验证:任务按顺序逐个目标执行。每个目标派发前,运枢都会重新检查授权、资源版本、实例、批准人是否在职,以及变更治理。目标自计划生成后被重启、重建或修改过,运枢不会执行,任务暂停,要重新生成计划。
管理员在「变更计划」页可以看每个计划的变更类型、参数、目标、定时安排和验证标准,也可以对待批的计划「撤销」,或对已批准但还没提交的计划「撤销」,撤销时要填 2 到 200 个字的原因,记入审计并显示给发起人和审批人,在审批页显示为「已由管理员撤销」,与业务上的拒绝区分开。页面上没有批准按钮。管理员在控制台起草的计划(资源页的「生成重启计划」、运行手册的「生成计划」)获批后,由这位管理员本人在「变更计划」页点「提交执行」。
批准人停用后
批准绑定的是批准人在 Nexus Core 里的在职状态。提交时和每次派发前都会确认批准人仍然在职,批准人离职或停用后,原来的批准失效,任务会暂停,写明「批准人已离职或停用,需重新审批」。之后分两种情况:还没有派发任何目标时,计划变为「需重新批准」,运枢为同一个计划重新申请审批,在职的人批准后,用同一个提交请求即可继续;已经执行了部分目标时,剩余目标不再执行,需要重新生成计划。
结果不明时只能只读核验
派发之后如果远端超时、响应丢失,或者无法证明变更生效,目标会被标为「待核验」,其余目标不再执行,这个资源保持锁定。这时只允许做只读核验:
- 用
task.reconcile,或在「运维(运枢) › 记录 › 执行记录」打开任务点「只读核验」。它按原来的回执核对,不会重新执行,不会靠换幂等键绕过锁。 - 核验仍然无法确认时,管理员可以先登录服务器或集群确认实际状态,再点「人工确认并释放」,填写 4 到 500 个字的确认说明。释放只解除资源锁,不执行也不重试任何操作,操作人和说明写入审计。
- 运枢不会自动重试重启。
定时执行
计划可以带 not_before(UTC 时间,晚于当前,最多提前 7 天),让变更在维护窗口里执行。这个时间点必须落在覆盖全部目标的维护窗口内,否则被拒绝。计划的有效期到覆盖窗口里最早结束的那个为止,并且不超过 not_before 之后 24 小时。提交后任务显示「定时等待」,到点后同样逐目标重新检查授权、批准人和治理规则。窗口结束时还没执行的目标会标为「未执行」,计划过期,需要重新生成。定时任务在开始前可以用 task.stop 停止。
运行手册
入口:「运维(运枢) › 巡检 › 运行手册」。运行手册把多步变更固定成有版本的流程,只能由控制台里的管理员编辑,Agent 只能列出它们并按它们生成计划。每一步只能用已有的变更类型,不能执行命令。
点「新建运行手册」,填写名称、标识(自动生成,保存后不能修改)和说明,然后添加步骤,最多 10 步。
| 字段 | 说明 |
|---|---|
| 步骤名称 | 必填。 |
| 变更类型 | 重启、扩缩容、回滚或重载。选扩缩容时要填目标副本数(0 到 100,且必须在每个目标资源登记的范围内)。 |
| 目标方式 | 「明确资源」,或「资源组(生成计划时展开)」,后者展开成组内已开放这个变更类型的资源。 |
| 变更后等待(秒) | 0 到 600。每个目标变更后先等待,再开始验证。 |
| 验证超时(秒) | 0 到 600。每 5 秒重读一次状态直到验证通过,超时则结果不明,并停止后续步骤。 |
| 步骤之间在审批页确认 | 勾选后,每步完成要有人确认才执行下一步,确认人和整份计划相同。不勾选时,验证通过就进入下一步。 |
- 同一个资源只能出现在一个步骤里,展开后一次最多 20 个目标。先缩容后扩容同一个 Deployment 这样的需求,要拆成两个运行手册。
- 每次保存都生成新版本,保留最近 20 个版本,可以在「版本记录」里查看。修改或删除运行手册后,按旧版本生成但还没提交的计划失效。
- Agent 用
runbook.plan把整个运行手册冻结成一个计划,由人整体批准,再用change.submit提交。每个目标需要运行手册的计划授权,以及该步骤变更类型的计划授权,提交时还需要提交授权。缺任何一项,整个请求被拒绝,可以用resource_refs只选已授权的目标。 - 执行时按步骤逐目标派发,每个目标派发前重新检查。任何一个目标没有通过验证、被拒绝或结果不明,后续步骤就停止,结果不明的目标保持锁定,其他的释放。勾选了步骤间确认时,每步之后任务显示「等待审批页确认下一步」,确认的人拒绝,或超时无人确认,后续步骤同样不执行。
- 运行手册计划可以带
not_before,在维护窗口内定时执行,规则同上。管理员也可以在运行手册卡片上点「生成计划」,可选填「定时执行」时间,这种计划一律需要他人审批。