收到线上服务器出现cpu告警一般怎么排查？

当线上服务器出现CPU告警时，可以按照以下步骤进行系统性排查，逐步定位问题根源：

1. 快速确认CPU使用情况

• 命令工具：top # 实时查看CPU占用（按P排序进程）
  htop # 增强版top，支持可视化操作
  mpstat -P ALL 1 # 查看每个CPU核心的详细利用率
  sar -u 1 5 # 历史CPU使用率统计（需安装sysstat）
• 关注指标：
  • %us（用户态）高：应用代码消耗CPU。
  • %sy（内核态）高：系统调用或中断频繁。
  • %wa（I/O等待）：高则可能磁盘/网络IO成为瓶颈。

2. 定位高CPU进程/线程

• 查看进程：top -c # 显示完整命令，确认可疑进程
  ps -eo pid,pcpu,comm,args –sort=-%cpu | head # 按CPU排序进程
• 深入线程：top -H -p <PID> # 查看指定进程的线程（按P排序）
  pidstat -t -p <PID> 1 # 统计线程级CPU使用

3. 分析进程内部状态

• Java应用：

  jstack <PID> > thread_dump.log # 生成线程快照
  jstat -gcutil <PID> 1000 # 检查GC情况（频繁GC可能导致CPU高）

  • 用工具（如fastthread）分析jstack输出，查找RUNNABLE状态的线程及堆栈。

• 其他语言（如C/C++/Go）：

  pstack <PID> # 查看进程的线程堆栈（可能需gdb）
  perf top -p <PID> # 实时分析函数级CPU占用
  gdb -p <PID> -ex "thread apply all bt" –batch > gdb_dump.log # 生成完整堆栈

4. 检查系统级瓶颈

• I/O瓶颈：

  iostat -x 1 # 查看磁盘IO负载（%util高表示瓶颈）
  dstat # 综合监控（CPU、磁盘、网络）

• 网络瓶颈：

  sar -n DEV 1 # 网络流量统计
  ss -s # 查看连接统计（TIME-WAIT过多？）

• 上下文切换/中断：

  vmstat 1 # 查看cs（上下文切换）、in（中断）
  pidstat -w -p <PID> 1 # 进程级上下文切换统计

5. 结合日志与监控

• 应用日志：

  • 检查错误日志（如grep -i error /var/log/app/*.log）。
  • 关注高频日志输出（可能是循环报错或异常逻辑）。

• 系统日志：

  dmesg | grep -i "error" # 检查内核日志
  journalctl –since "5 minutes ago" # 查看近期系统日志（systemd系统）

• 监控系统（如Prometheus、Zabbix）：

  • 检查历史趋势：CPU升高是否伴随流量突增？
  • 关联指标：内存、磁盘、网络、应用中间件（如数据库连接池）。

6. 代码/配置级检查

• 代码热点：

  • 使用性能分析工具生成火焰图：perf record -F 99 -p <PID> -g — sleep 30 # 采样
    perf script > out.perf
    flamegraph.pl out.perf > flamegraph.svg # 生成火焰图
  • 分析火焰图，找到占用CPU高的函数或代码块。

• 配置问题：

  • 线程池配置不合理（过多/过少）。
  • 缓存失效导致频繁计算。
  • JVM参数不当（如堆大小、GC策略）。

7. 安全排查

• 可疑进程：lsof -p <PID> # 查看进程打开的文件/网络
  netstat -antp | grep <PID> # 检查异常连接
• 挖矿病毒：
  • 检查未知进程、计划任务（crontab -l）、启动项。
  • 使用rkhunter、chkrootkit扫描后门。

8. 常见场景速查

• 场景1：GC频繁 现象：jstat显示GC时间占比高，应用卡顿。 解决：调整JVM堆大小/选择低延迟GC算法（如G1/CMS）。

• 场景2：死循环/死锁 现象：线程堆栈中同一方法反复出现。 解决：分析代码逻辑，修复并发问题。

• 场景3：外部依赖瓶颈 现象：CPU高伴随大量I/O等待或网络超时。 解决：优化数据库查询、增加缓存、降级非核心功能。

总结流程