多租户指标平台上的告警分层设计
在服务 50 个 Kubernetes 集群的 VictoriaMetrics 平台上设计三层告警分级与 per-tenant SLI recording rules,把约 80% 不可操作的资源型告警换成基于用户影响的准入控制。
在服务 50 个 Kubernetes 集群的 VictoriaMetrics 平台上设计三层告警分级与 per-tenant SLI recording rules,把约 80% 不可操作的资源型告警换成基于用户影响的准入控制。
两个词把搜索空间砍半;走完八跳找到两个根因。
什么变了,什么还需要工程师
一个 SRE oncall triage 的 harness:调查交给 agent 自己跑,所有会改动线上的操作都挡在确定性门禁之后,由人批准。它建立在 Spec / Loop / Hook / Fork 四个控制原语之上,用 Kubernetes 控制平面的可靠性范式去约束一个不确定的推理内核。
「模型变强,orchestration 层就会消失」,等于说「CPU 变快,操作系统就会消失」。CPU 确实杀死了内存覆盖技术和手工 DMA,但进程管理、权限控制、设备驱动不仅没消失,反而更重要了。orchestration 在三处重新分配了位置,附一条可检验的吸收判别式。
一场纠正了自身前提的恢复演练,第一次把 RPO 写成显式数字。
雷达为什么是九个轴:一个按问题类别而不是工具清单构建的能力模型,以及护城河到底在哪里。
整数尾延迟是人为常量:一个周期性尖刺,追到藏在限流插件里的缓存超时。
「熟悉 Jenkins」写在无数 JD 里,但会写 pipeline 脚本不是那个能力。真正的能力是把交付流水线当生产系统对待:流程幂等、job 状态可观测、配置进代码,并且知道自动化本身什么时候会变成新的熵源。落地素材来自一次真实的 Jenkins 迁移,和其中 diagnose 与 fix 脚本的配对。