Ubuntu服务器在长期运行中,最让人头疼的不是初始部署,而是半夜突然收到告警、SSH连不上、磁盘写满或者服务无响应的时刻。应急处理的核心不是“重启试试”,而是先止损、再定位、最后恢复和复盘。下面直接按故障发生的处理顺序,把常见的几类紧急情况和具体命令、判断逻辑讲清楚。
第一步:确认故障范围和当前状态
接到故障报告后,先不要盲目登录服务器执行命令。如果还能通过SSH连接,第一时间确认系统负载、内存、磁盘和关键进程状态。执行下面这组命令快速建立现场认知:
uptime free -h df -h ps aux --sort=-%mem | head -20 ps aux --sort=-%cpu | head -20
uptime的输出里重点看load average的三个数值。如果1分钟负载远高于CPU核心数,说明有进程在疯狂占用资源。free -h看内存和swap的使用情况,如果swap使用率突然飙升,通常意味着物理内存不足。df -h看根分区和各个挂载点是否写满,磁盘100%是Ubuntu服务器最常见的故障之一。ps命令按内存和CPU排序,能快速找出异常进程。
如果SSH都连不上,先通过云控制台或带外管理查看服务器是否处于运行状态、CPU监控曲线是否打满、网络流量是否异常。不要一上来就强制重启,强制重启会丢失现场信息,增加后续排查难度。
磁盘空间耗尽处理
磁盘写满会导致服务无法写入日志、数据库停止响应、甚至SSH登录后无法执行任何需要写临时文件的操作。先用df -h确认是哪个分区满了,然后用du命令逐层定位大文件:
sudo du -h --max-depth=1 / 2>/dev/null | sort -hr | head -20 sudo du -h --max-depth=1 /var 2>/dev/null | sort -hr | head -20
常见的大文件来源包括:日志文件未轮转、journal日志膨胀、旧内核文件堆积、数据库binlog、Docker镜像和容器层、以及被删除但未被释放的文件句柄。如果是日志问题,先确认日志服务状态并手动清理或截断:
sudo journalctl --disk-usage sudo journalctl --vacuum-size=500M sudo truncate -s 0 /var/log/syslog sudo truncate -s 0 /var/log/kern.log
如果是被删除但仍然被进程占用的文件,用lsof找到对应进程并重启该服务:
sudo lsof +L1 | grep deleted
清理旧内核也是释放/boot分区空间的常用手段:
dpkg --list | grep linux-image sudo apt autoremove --purge
处理完磁盘问题后,要检查相关服务的写入是否恢复正常,并设置日志轮转策略或监控告警,避免再次写满。
高负载与CPU/内存耗尽处理
当服务器响应变慢、命令执行卡顿,但还能登录时,优先用top或htop观察实时状态。top里按P键按CPU排序,按M键按内存排序。找到占用异常的进程后,先判断这个进程是否为核心业务进程。如果是MySQL、Nginx、PHP-FPM等关键服务,不要直接kill,先查看该服务的日志和连接数。
对于PHP-FPM或Nginx这类可能因为并发过高导致资源耗尽的情况,可以查看当前连接数和进程数:
sudo ss -s sudo netstat -anp | grep :80 | wc -l sudo ps aux | grep php-fpm | wc -l
如果确认是某个非核心进程或失控脚本导致,可以先尝试发送SIGTERM信号优雅终止,再考虑SIGKILL:
sudo kill -15 PID sleep 5 sudo kill -9 PID
内存耗尽时,系统会大量使用swap,导致磁盘I/O飙升,整体性能急剧下降。此时除了找出占用内存最大的进程外,还要检查是否有内存泄漏。如果是Java应用,需要查看JVM的堆内存配置和GC日志;如果是MySQL,检查buffer pool大小和连接数是否合理。临时缓解可以重启相关服务,但根本解决需要调整配置或修复代码。
服务无响应或进程假死处理
服务进程存在但无法正常响应请求,属于典型的假死状态。常见原因包括:线程池耗尽、死锁、依赖的外部服务超时、文件句柄耗尽。先查看服务的状态和日志:
sudo systemctl status nginx sudo journalctl -u nginx --since "30 minutes ago" --no-pager
检查文件句柄使用情况:
sudo lsof | wc -l sudo lsof -p PID | wc -l cat /proc/sys/fs/file-nr
如果文件句柄接近上限,需要调整系统的ulimit或服务的LimitNOFILE配置。对于Nginx,检查worker_connections和worker_processes是否合理;对于MySQL,检查max_connections和当前连接数:
mysql -e "SHOW STATUS LIKE 'Threads_connected';" mysql -e "SHOW VARIABLES LIKE 'max_connections';"
如果确认服务假死且无法通过常规手段恢复,可以重启该服务。重启前先记录当前状态和日志,便于事后分析。对于systemd管理的服务,使用systemctl restart,但要注意重启可能带来的短暂不可用。
网络异常与端口不通处理
外部访问失败时,先区分是服务器本身网络问题、防火墙规则问题还是服务监听问题。在服务器本地测试服务端口:
sudo ss -tlnp | grep :80 curl -I http://127.0.0.1
如果本地curl正常但外部访问失败,检查防火墙和云安全组规则。Ubuntu默认使用ufw管理防火墙:
sudo ufw status verbose sudo ufw allow 80/tcp
如果本地curl也不通,说明服务本身没有正常监听或已经崩溃。此时需要查看服务日志并尝试重启。另外,检查DNS解析是否正常,/etc/resolv.conf是否被修改,以及路由表是否异常:
ip route show cat /etc/resolv.conf
对于间歇性网络问题,可以用mtr或ping持续观察丢包情况,判断是服务器网卡问题、交换机问题还是上游线路问题。
系统无法启动或内核崩溃处理
如果服务器重启后无法正常启动,需要通过云控制台的VNC或带外管理查看启动过程。常见问题包括:/etc/fstab配置错误导致挂载失败、内核升级后驱动不兼容、文件系统损坏。进入恢复模式或使用Live CD挂载根分区后,检查并修复文件系统:
sudo fsck -y /dev/sda1
如果是fstab配置错误,注释掉有问题的挂载项,先让系统启动起来,再逐步排查。如果是内核问题,可以在GRUB启动菜单选择旧内核进入系统,然后卸载或修复新内核。
对于使用LVM或软件RAID的服务器,启动失败可能涉及卷组激活问题。进入恢复模式后,先激活LVM卷组:
sudo vgchange -ay
再挂载根分区进行修复。这类操作风险较高,务必在操作前做好数据备份或快照。
数据库故障应急处理
MySQL或PostgreSQL故障在Ubuntu服务器上非常常见。如果是MySQL无法启动,先查看错误日志:
sudo tail -100 /var/log/mysql/error.log
常见原因包括:磁盘写满导致无法写入、数据目录权限错误、配置文件语法错误、InnoDB表空间损坏。如果是权限问题,修复数据目录所有者:
sudo chown -R mysql:mysql /var/lib/mysql
如果是配置文件错误,用mysqld --validate-config检查语法。如果是InnoDB损坏,可以尝试强制恢复模式启动,但操作前必须备份数据文件。对于PostgreSQL,查看/var/log/postgresql/下的日志,检查pg_hba.conf和postgresql.conf配置,以及数据目录的权限和磁盘空间。
数据库连接数耗尽也是高频故障。临时提高max_connections可以缓解,但根本问题通常是应用连接池配置不当或存在慢查询。通过SHOW PROCESSLIST查看当前连接状态,找出长时间运行的查询并优化。
应急处理后的复盘与预防
故障恢复后,必须做两件事:一是保留现场日志和监控数据,二是编写故障复盘报告。复盘报告要包含故障时间线、影响范围、根本原因、处理步骤、恢复时间和改进措施。改进措施要具体可执行,比如增加磁盘使用率告警、配置日志自动轮转、优化数据库连接池、定期巡检内核和补丁更新。
在Ubuntu服务器上,建议部署一套轻量级的监控和告警工具,比如Netdata、Prometheus配合Node Exporter,或者使用云厂商自带的监控服务。关键指标包括:CPU使用率、内存使用率、磁盘使用率、磁盘I/O、网络流量、服务端口存活状态、进程数、文件句柄数。告警阈值要设置合理,避免误报和漏报。
另外,定期进行故障演练也很重要。模拟磁盘写满、服务崩溃、网络中断等场景,让运维人员熟悉应急处理流程,验证监控告警是否有效,检查备份恢复方案是否可行。只有经过实际演练,才能在真实故障发生时做到不慌不乱、快速止损。
Ubuntu服务器应急处理的核心原则是:先判断影响范围,再快速止损,保留现场证据,定位根本原因,恢复服务,最后复盘改进。每一次故障都是一次优化系统的机会,把处理过程沉淀成文档和自动化脚本,后续遇到同类问题就能更快响应。
