Restoring 5.2 billion rows without touching prod
A restore drill that corrected its own premise and made RPO explicit for the first time.
A restore drill that corrected its own premise and made RPO explicit for the first time.
审计了一个每天产出约 960 条 OpsGenie 告警、约 85% 是默认 P3、背后有 367 条 paging 规则的 pager:定位四个结构性根因,重建准入、去重和 ownership,防止噪声重新累积。
九个分数如何从证据密度推导、每个分数意味着什么,以及一份独立交叉验证雷达形状的行为记录。
一个平时 0 副本的重查询计算池背后的五个设计决策:物理隔离、离散容量、按瓶颈类型定容、把 controller 收敛成对一个字段的 patch,以及一条假设「每个健康信号最终都会骗人」而设计的 readiness 路径。spot 只是分池决策的结果,不是重点。
一个在打开任何 tablet 之前把 566 个 tablet 剪到约 1 个的跨 tablet 点查索引,一个消掉排队时间(不是消掉 IO 本身)的宽读预取。两个都冲着可避免的扇出去,都做成 fail-open,因为它们不许改变查询结果。包含我们真正付出的代价,以及它造成的一次静默事故。
一个自研、持续运行的 systemd 层 daemon,把 Intel 的 Best Known Configuration 从一份 prose 加 shell 的文档,变成 git 里声明式、被持续审计的 desired state,覆盖分布在多个 cluster 的约 30 台裸金属服务器。
在 Apache Doris FE 内新增一条 SQL 语句,每条查询执行前 6-8ms 判定 heavy/light。工作在 fork 上完成,mechanism 准备 upstream,policy 刻意留在内部。
用 Upgrade Safety System(check → plan → apply + evidence)把 18-21 小时、需要两人结对的手工升级压缩为 6-8 小时单人操作,并在两套生产集群上以零客户可感知停机完成执行。
ClickHouse → Doris 存算分离:内存工程、引擎级路由、两次 compaction 事故,以及经受住重测的数字。