DDoS攻击流量消退、业务重新上线,并不意味着风险已经结束。很多团队在攻击结束后立刻放松警惕,结果往往在恢复过程中暴露出配置错误、数据不一致、服务依赖未就绪等二次故障。攻击结束后的检查与恢复动作,本质上是一次受控的业务回切和系统加固过程,需要按照从底层网络到上层业务、从核心数据到外围依赖的顺序逐项确认。
先确认攻击是否真正结束,而不是流量短暂下降
DDoS攻击的流量模式并不总是持续高压,很多混合型攻击会间歇性发动。攻击结束后立刻把全部流量切回原线路,可能正好撞上下一波攻击。检查时先看运营商或清洗服务商提供的流量趋势图,确认入向流量、包速率、新建连接数在至少30到60分钟内保持平稳,且与历史同期基线相差不大。同时查看防火墙或边界设备的会话表项数量,如果会话数仍然远高于正常水平,说明可能还有低速慢连接攻击或残留的僵尸连接没有清干净。
边界设备上还要检查黑洞路由是否已经撤销。很多机房在攻击高峰时会触发自动黑洞或手动宣告空路由,攻击结束后如果忘记撤销,用户访问会直接被丢弃。登录核心路由器或上游运营商管理后台,确认相关IP段的BGP宣告状态正常,路由表中不存在指向Null0的静态条目。
按顺序恢复DNS、负载均衡和入口流量调度
攻击期间很多团队会把域名解析切换到高防IP、CDN或备用线路。恢复时不要一次性把所有域名全部切回源站,建议先选择流量占比较小、非核心的业务域名进行灰度回切。修改DNS记录前,先确认TTL已经调低,否则部分地区递归DNS缓存了旧解析结果,会导致访问不一致。回切后持续观察解析量、响应时间和源站入流量是否匹配,确认没有大量用户仍然命中旧地址。
负载均衡层面,检查后端服务器池中被摘除的节点是否已经重新加入,健康检查是否全部通过。攻击期间可能有部分节点因响应超时被标记为不可用,恢复时需要手动确认这些节点的应用进程、端口监听和资源占用都正常后再放量。同时核对负载均衡的会话保持策略,避免因后端节点变化导致用户登录态丢失。
检查核心数据库和缓存层的数据一致性
攻击期间最容易被忽略的是数据层。高并发请求和连接耗尽可能导致数据库出现大量未提交事务、锁等待甚至主从复制中断。恢复业务前,先检查主从数据库的复制延迟是否已经归零,Seconds_Behind_Master指标是否持续为0。如果延迟过大,不要立即开放写流量,否则从库读到的旧数据会引发业务逻辑错误。
对于使用Redis或Memcached的缓存层,攻击期间可能有大量异常Key写入,或者缓存被清空后出现缓存穿透。恢复时先检查缓存命中率,如果命中率异常低,说明大量请求会直接打到数据库,此时需要做预热或者临时限流。还要检查缓存中是否存在攻击者注入的脏数据,比如伪造的会话、异常的验证码计数、被篡改的配置项,必要时对关键缓存做一次选择性清理。
数据库连接池也要重新校准。攻击期间连接池可能被打满,恢复后如果连接池参数没有调整,正常业务流量下可能出现连接获取超时。检查连接池的活跃连接数、空闲连接数和等待队列长度,确认没有连接泄漏。对于MySQL或PostgreSQL,可以查看慢查询日志,找出攻击期间执行时间异常变长的SQL语句,评估是否需要加索引或优化查询逻辑。
验证应用服务状态和核心业务流程
应用服务器恢复后,不能只看进程是否存活。攻击期间CPU、内存、文件描述符等资源可能被耗尽,进程虽然还在,但内部状态已经异常。检查应用日志中是否有大量超时、连接重置、内存溢出等错误记录。对于Java应用,关注GC频率和堆内存使用情况;对于PHP或Python应用,检查worker进程是否正常回收,是否存在僵尸进程。
核心业务流程需要做端到端验证。登录、注册、下单、支付、消息推送这些关键链路,逐条跑通并检查返回结果。攻击期间如果业务逻辑被部分限流或降级,恢复后要确认降级开关已经关闭,全量功能可用。特别是涉及第三方接口调用的业务,检查外部服务的可用性和超时配置,攻击期间第三方可能也受到影响,恢复后需要重新确认对接状态。
安全策略复核与攻击溯源信息留存
攻击结束后的安全复核是很多人会跳过的一步。攻击期间为了快速止损,团队往往会临时放宽或收紧某些安全策略,比如关闭WAF的部分规则、调整CC防护阈值、开放临时白名单。恢复后这些临时策略必须逐条审查,该回滚的回滚,该保留的保留。检查WAF、IDS/IPS的规则版本和拦截日志,确认没有因为策略调整导致正常流量被误杀,也没有因为规则过松而放过攻击载荷。
攻击溯源信息要在恢复阶段就整理留存。从清洗服务商、运营商和自有设备中导出攻击流量样本、攻击类型分布、源IP列表、攻击时间线等数据。这些信息不仅用于后续安全分析,也是向管理层汇报和可能的法律取证依据。源IP列表不要直接用于封禁,因为DDoS攻击源绝大多数是伪造或受控主机,真正有价值的是攻击特征和流量模式。
验证监控告警和日志系统是否恢复正常
攻击期间监控系统本身可能因为资源耗尽或网络拥堵而中断,恢复后第一件事是确认监控数据在持续采集,告警规则能正常触发。检查Zabbix、Prometheus、Grafana等监控平台的指标采集是否中断过,补全攻击期间缺失的数据。告警通道也要测试,确保邮件、短信、即时通讯等通知方式都能正常送达。
日志系统同样需要确认。攻击期间产生的海量日志可能撑爆磁盘,导致日志采集Agent停止工作。检查ELK或Loki等日志平台的写入延迟和存储余量,清理攻击期间无价值的原始流量日志,保留关键安全事件和业务错误日志。如果日志存储使用对象存储或冷热分层,确认归档策略没有被攻击日志打乱。
业务容量评估与后续防护调整
一次DDoS攻击结束后,应该对现有防护能力做一次客观评估。攻击峰值流量是多少,清洗服务商是否成功清洗,源站带宽是否成为瓶颈,CC攻击时应用层的QPS上限在哪里,这些数据直接决定后续防护策略。如果攻击峰值接近或超过当前防护套餐的上限,需要考虑升级带宽或清洗能力。如果攻击类型以CC为主,重点优化WAF的CC防护规则和应用层的限流策略。
对于自建防护的企业,检查抗D设备或软件的性能瓶颈,比如CPU处理能力、会话表容量、规则匹配效率。攻击期间如果设备CPU长期超过80%,说明硬件已经接近极限,需要扩容或优化规则。对于使用云防护的企业,确认清洗服务的回源链路是否稳定,是否存在单点故障。
形成恢复检查清单并落实到文档
DDoS攻击恢复检查涉及网络、系统、应用、数据、安全多个层面,靠临时记忆很容易遗漏。建议把本次恢复过程中执行的检查项、发现的问题、处理方式整理成标准操作流程,下次再遇到类似情况可以直接按清单执行。清单里要明确每一项检查的负责人、检查命令或工具、正常判定标准以及异常时的处理步骤。
这份文档不是写完就束之高阁,需要在每次攻击事件后持续更新。不同攻击类型、不同业务架构下的恢复重点不同,文档要随着业务演进和攻击手法的变化不断迭代。团队内部可以定期做恢复演练,模拟攻击结束后的回切流程,验证文档的可执行性和团队配合的熟练度。
攻击结束后的恢复检查,本质上是在验证系统是否真正回到了可控状态。流量恢复只是表象,数据一致性、服务可用性、安全策略有效性、监控完整性这些深层指标才是业务能否稳定运行的关键。把每一项检查做扎实,才能避免从一次DDoS攻击演变成连续的业务中断。
