分布式数据库一旦出现故障,最忌讳的就是盲目重启节点或凭经验逐个排查。故障排查必须从“数据分片的路由状态”和“副本一致性”两个核心维度切入,因为绝大多数看似随机的问题,本质都是这两类机制在异常网络或资源争用下产生的连锁反应。先确认客户端报错是超时、拒绝服务还是返回了错误数据,这决定了你是要排查网络分区、锁冲突还是副本同步延迟。

先定位故障域:节点、分片还是全局

拿到故障报告后,第一件事不是看日志,而是用一条最简单的SQL或读写请求去探测集群。如果只有某个分片范围的数据读写失败,问题大概率出在该分片的Leader副本所在节点,或者该分片的元数据路由信息过期。如果所有请求都慢但能通,通常是全局性的资源瓶颈,比如CPU饱和、磁盘IO等待或网络拥塞。如果所有请求都直接失败,优先检查配置中心、元数据服务或多数派节点是否失联。

判断分片路由是否正常,可以直接查询系统表。以常见的NewSQL架构为例,查看分片Leader分布和副本状态:

SELECT region_id, peer_id, is_leader, down_seconds 
FROM information_schema.region_peers 
WHERE down_seconds > 10;

这条查询能快速列出超过10秒未响应的副本。如果某个分片的Leader副本down_seconds很高,但其他副本正常,系统可能已经触发重新选主,此时客户端会出现短暂的读写失败。你需要进一步确认是网络隔离导致误判,还是节点进程真的僵死。

网络分区与脑裂的识别

分布式数据库最隐蔽的故障是网络分区。节点之间心跳超时并不代表节点宕机,可能只是交换机拥塞或防火墙规则变更。如果两个机房之间的专线抖动,两个机房内的节点会各自认为对方失效,从而分别发起选主。一旦出现双主,数据写入就会冲突,直到其中一个主被隔离或降级。

排查网络分区,先看各节点上的一致性协议日志。Raft或Paxos实现通常会记录term变化和投票请求。如果日志中频繁出现“election timeout”和“vote granted”,且term值在短时间内多次跳变,基本可以确定发生了分区。此时不要手动指定新主,而应先恢复网络连通性,让多数派重新达成共识。手动干预往往会覆盖掉协议自身的恢复逻辑,造成更严重的数据回滚。

还有一个容易被忽略的点:防火墙或安全组策略可能只放行了业务端口,没有放行节点间的内部通信端口。扩容新节点后,如果新节点能注册但无法同步数据,先检查内部RPC端口是否被拦截。很多故障排查半天,最后发现是安全策略变更导致。

副本不一致与数据修复

当用户反馈“刚写入的数据读不到”或“读到旧值”,优先检查副本一致性。分布式数据库通常采用异步复制或半同步复制,从副本落后于主副本是常态,但落后太多就会触发读写异常。先确认读请求是走主副本还是从副本。如果业务允许读从副本,而某个从副本复制延迟超过几秒,就会出现读旧数据。

查看复制延迟:

SELECT db_name, table_name, peer_id, applied_index, leader_index, 
       leader_index - applied_index AS lag 
FROM information_schema.replication_status 
WHERE lag > 100;

如果lag持续增长,说明从副本的apply线程卡住了。常见原因是该节点磁盘写满、日志盘IO抖动,或者某个大事务在从库回放时阻塞了后续所有复制。处理办法是先清理磁盘空间或隔离慢盘,再观察lag是否下降。如果某个从副本长期无法追平,直接将其标记为下线,让系统重新调度一个副本,比在线上强行修复要安全。

对于已经发生的数据不一致,不能简单地以主副本为准覆盖从副本。需要先对比主从副本在该分片上的数据校验和。多数分布式数据库提供一致性校验工具,例如对某个分片范围执行checksum比对。如果校验和不一致,再进一步定位到具体的key范围。修复时优先使用数据库自带的在线修复功能,它会以主副本为基准,在后台重新同步差异数据,期间不阻塞读写。手动拷贝SST文件或直接修改底层存储是最后的手段,容易破坏元数据。

锁冲突与热点问题

分布式数据库的锁冲突比单机数据库更难排查,因为锁可能分布在不同的协调节点上。如果出现大量事务超时或回滚,先看监控中的锁等待时间和死锁次数。热点行更新是最常见的诱因。比如秒杀场景下,同一个库存行被数百个事务并发修改,乐观锁会频繁重试,悲观锁会形成等待队列,最终拖垮整个分片。

排查热点,可以查询系统表中锁等待最严重的数据行或索引:

SELECT table_id, index_id, key, total_wait_ms, wait_count 
FROM information_schema.lock_stats 
ORDER BY total_wait_ms DESC 
LIMIT 20;

如果某个key的等待时间远高于其他key,基本就是热点。临时解决办法是将该热点行做逻辑拆分,比如把库存拆成多个子库存,业务层随机路由到不同子行,最后汇总扣减。长期方案是调整分片键,让写入分散到更多分片。但改分片键涉及数据重分布,需要评估迁移成本和业务改造量。

还有一种锁冲突来自跨分片事务。分布式事务需要两阶段提交,协调者会持有多个分片上的锁。如果两个事务以不同顺序访问相同的分片,就会死锁。排查时关注死锁检测日志,找到参与死锁的事务ID和持有的锁资源。优化手段包括调整事务内的操作顺序、缩短事务时长、避免在事务中做远程调用或人工交互。

慢查询与资源瓶颈

分布式数据库的慢查询不一定慢在SQL本身,而可能慢在数据跨节点拉取。如果一条SQL需要扫描的数据分布在几十个节点上,协调节点需要汇总所有结果,网络传输和内存合并都会成为瓶颈。排查时先看执行计划,确认是否有不必要的全表扫描或跨分片JOIN。很多分布式数据库不支持高效的跨分片JOIN,会把两个大表的数据拉到同一个节点上做连接,导致内存暴涨。

对于慢查询,先抓取正在运行的SQL列表:

SELECT query_id, node_id, elapsed_ms, cpu_time_ms, scan_rows, sql_text 
FROM information_schema.running_queries 
WHERE elapsed_ms > 5000 
ORDER BY elapsed_ms DESC;

找到耗时最长的SQL后,分析其扫描行数和返回行数的比例。如果扫描了上千万行但只返回几十行,说明索引缺失或索引失效。分布式数据库的索引是局部索引,如果查询条件不包含分片键,就需要扫描所有分片。此时即使单分片上有索引,整体扫描量依然很大。优化方向是调整查询条件,尽量带上分片键,或者建立全局二级索引。

资源瓶颈方面,磁盘IO等待是最常见的性能杀手。分布式数据库的存储层通常基于LSM树,后台compaction会消耗大量磁盘带宽。如果业务写入量突然增大,compaction跟不上,就会导致读放大和写停顿。监控磁盘的util和await指标,如果await持续超过20ms,说明磁盘已经过载。处理办法包括扩容磁盘、降低写入并发、调整compaction策略,或者将冷热数据分离到不同存储介质。

元数据与配置中心故障

很多分布式数据库依赖独立的元数据服务或配置中心来管理分片路由、节点状态和表结构。如果配置中心不可用,整个集群可能无法提供正常服务,即使数据节点都健康。排查这类故障时,先确认配置中心自身的健康状态。如果配置中心是多节点部署,检查其多数派是否存活。配置中心一旦脑裂,分片路由信息就会混乱,客户端可能把请求发到错误的分片。

元数据不一致的典型表现是:某些节点认为某个分片的主副本在A节点,而另一些节点认为在B节点。这会导致客户端拿到过期的路由表,请求被转发到错误节点后返回“region not found”或“stale epoch”。处理办法是触发一次全量元数据同步,让所有节点从配置中心拉取最新路由。如果配置中心的数据本身已经损坏,需要从备份中恢复元数据,再让数据节点重新注册。

表结构变更操作也容易引发元数据故障。在线DDL在分布式数据库中需要协调所有分片同时变更schema。如果某个分片变更失败,而其他分片已经完成,就会出现表结构不一致。此时对该表的任何写入都可能报错。排查时检查DDL任务的状态,找到失败的分片,手动重试该分片的schema变更。不要直接修改系统表来强制完成DDL,这会导致后续版本升级或备份恢复时出现不可预知的问题。

日志与监控的合理利用

故障排查不能只看错误日志。分布式数据库的日志量很大,错误日志往往只是最后的表现。更有效的是看节点间的心跳日志、一致性协议的状态机日志,以及存储层的compaction和flush日志。这些日志能还原故障发生前后的时间线。建议在监控系统中为关键指标设置告警阈值,比如副本延迟、选主次数、锁等待时间、磁盘util等。当故障发生时,先看监控图表中哪些指标在故障时间点前后发生了突变,再结合日志定位具体原因。

日志采样也很重要。如果全量开启debug日志,磁盘和CPU开销会显著增加,甚至可能掩盖真实故障。平时保持info级别,在怀疑某个模块有问题时,对该模块动态开启debug,并限制日志输出速率。很多分布式数据库支持在线调整日志级别,无需重启节点。

故障处理后的复盘与预防

每次故障处理完后,必须复盘三个问题:第一,故障的直接触发条件是什么;第二,为什么监控没有提前发现;第三,现有架构中还有哪些类似的单点风险。分布式数据库的故障很少是孤立的,往往是多个条件叠加。比如磁盘空间不足导致compaction停止,进而引发副本延迟,最终在业务高峰期触发读写超时。如果只处理了磁盘空间问题,而没有优化磁盘容量告警和compaction策略,同样的问题还会再次发生。

预防措施包括:定期进行故障演练,模拟节点宕机、网络分区、磁盘写满等场景,验证集群的自动恢复能力;对关键分片和元数据做定期备份,并验证备份可恢复性;建立容量模型,根据写入量和数据增长趋势提前扩容。分布式数据库的运维核心不是“出了问题能修好”,而是“出了问题系统自己能扛住,人工只需要做决策”。