服务器故障自检库

可能的表现

• 按下前面板电源键，电源指示灯不亮，风扇不转，无任何声音
• 机房其他设备正常，排除整机房断电
• 部分情况下电源模块上的指示灯也不亮

自检步骤（按顺序做）

1. 1

   先确认是不是「假不上电」

   有些机型开机键需要长按 1-2 秒，轻触不会触发。同时看电源模块背后的指示灯：亮绿灯说明市电已进入模块，不亮说明没进电。

2. 2

   查供电链路：插座 → PDU → UPS → 空开

   用测电笔或万用表逐段确认。最常见的原因是 PDU 某一路上游空开跳闸、或 UPS 输出被误关。双电源机型要确认两路都有电。

3. 3

   换一路电源线试

   电源线内部断芯不会在外观上看出来。用已知正常的线替换，或把两个电源模块的线互换位置，能快速定位是线还是模块的问题。

4. 4

   确认前面板是否被锁定

   部分机型前面板有锁或按键锁，锁定状态下电源键无效。也可尝试通过带外管理（IPMI/BMC）的 Web 界面远程开机——能远程开机说明主板待机供电正常，问题在前面板或按键。

5. 5

   最小化配置测试

   断电后拔掉所有硬盘、扩展卡、只留 1 条内存与 1 颗 CPU 再上电。能上电说明是某个部件短路保护；仍不上电，问题在主板、电源或背板。

6. 6

   观察电源模块的故障灯

   多数服务器电源模块有独立的故障指示灯（琥珀色或红色）。某个模块亮故障灯时，冗余机型可先只保留正常模块运行，业务优先恢复。

不要这样做

• 不要反复快速按电源键，部分平台会进入保护锁定
• 不要在未断电情况下插拔电源模块或内存
• 不要用办公插排临时替代机柜 PDU 长期运行

可能的表现

• 风扇正常转动，前面板电源灯常亮或闪烁
• 显示器提示「无信号」或保持黑屏
• 部分机型前面板有健康灯或 LCD 显示异常码

自检步骤（按顺序做）

1. 1

   先排查显示链路，不要急着拆机

   确认显示器输入源选对（HDMI/DP/VGA）、线缆插紧、显示器本身正常。把显示器接到另一台设备上验证一次，能排掉相当一部分「假故障」。

2. 2

   确认显卡与显示口位置

   带独立显卡的机型，板载显示口可能被禁用。此时必须接独立显卡的输出口，接主板上的口会一直黑屏。

3. 3

   看前面板故障码

   多数服务器前面板有健康灯或两位数码管。查该机型的故障码表，能直接定位到内存、CPU 或 PCIe 设备。这一步比盲猜快得多。

4. 4

   通过带外管理看远程控制台

   登录 IPMI/BMC 的远程 KVM，能看到与本地显示器相同的画面，还能读硬件日志。如果远程有画面而本地没有，问题在本地显示输出。

5. 5

   内存重插或单条测试

   断电后按机型要求的插法只留 1 条内存（通常在 CPU0 的 A1 槽）。内存接触不良或插错通道是「通电无显示」最常见的原因。

6. 6

   清 CMOS 或最小化配置

   部分机型因 BIOS 设置错误（如显示输出被改为外接卡）导致黑屏，清除 CMOS 可恢复默认。仍无画面则拔掉所有扩展卡做最小化测试。

不要这样做

• 不要在通电状态下插拔内存或显卡
• 不要盲目反复重启，可能触发文件系统检查延长故障时间
• 不要忽略前面板故障码直接拆机

可能的表现

• 开机后蜂鸣器发出规律的短鸣或长鸣
• 屏幕可能停在自检画面，或完全无显示
• 部分机型同时前面板健康灯变琥珀色

自检步骤（按顺序做）

1. 1

   先数清鸣叫模式

   记录是连续短鸣、长短组合还是一次性长鸣。不同品牌的定义不同，但「内存未识别」通常表现为连续短鸣，「显卡异常」为长鸣组合。查该机型手册的蜂鸣码表最准。

2. 2

   优先怀疑内存

   内存未插紧、插错槽位、型号混插是报警的第一大原因。断电后重新插拔，确保卡扣到位，并按机型手册的顺序插。

3. 3

   看前面板故障码与健康灯

   故障码能精确定位到具体部件（如 CPU1 DIMM A2）。有 BMC 的直接登录看硬件日志，里面会写明「Memory training failure」之类的具体错误。

4. 4

   检查是否有新加的部件

   刚加过内存、显卡、网卡的话，先拆回原状再试。新增部件不兼容或供电不足会直接触发报警。

5. 5

   最小化配置逐项排除

   只留 1 CPU、1 内存、无扩展卡，能自检说明问题在拔掉的部件中。再逐项加回，定位到具体部件。

不要这样做

• 不要为了「让它别响」而拔掉蜂鸣器，会掩盖真实故障
• 不要混插不同规格的内存尝试「凑容量」

可能的表现

• 电源模块上的指示灯变琥珀色或熄灭
• BMC 日志提示 PSU1/PSU2 Failure 或输入丢失
• 业务正常运行，但健康灯变琥珀色

自检步骤（按顺序做）

1. 1

   先确认是模块故障还是输入断电

   看两个模块的输入指示灯。一个亮一个不亮，通常是那一路市电、PDU 或电源线的问题，不是模块坏。把两路线互换位置即可判断。

2. 2

   确认冗余是否仍在

   单模块故障时，另一个模块承担全部负载。查 BMC 的功耗读数，确认剩余模块的负载在其额定功率的 70% 以内，否则有二次故障风险。

3. 3

   降低负载争取时间

   如果剩余模块接近满载，先关掉非必要业务或减少 GPU 负载，避免单模块过载保护导致整机断电。

4. 4

   热插拔更换（确认机型支持）

   多数机架式服务器支持电源模块热插拔。更换时注意新模块的功率与型号必须一致，混用不同功率的模块可能导致均流异常。

5. 5

   更换后核对两路供电

   装回后确认两个模块都在工作、负载均衡。很多「换了还坏」的情况，其实是那一路 PDU 或空开本身有问题。

不要这样做

• 不要长期只用单个电源运行，冗余失效期间任何一次故障都会停机
• 不要混用不同功率或不同型号的电源模块
• 不要在未确认剩余模块负载的情况下继续满负荷运行

可能的表现

• 开机自检或阵列卡界面提示「Degraded」「Critical」
• 硬盘托架上的故障灯亮琥珀色或红色
• 系统仍能正常读写，但速度可能变慢
• 监控软件发出阵列告警邮件

自检步骤（按顺序做）

1. 1

   先确认阵列状态，别急着重启

   在系统内用阵列卡管理工具（如 MegaRAID Storage Manager、storcli、PERC CLI）查看虚拟盘状态。状态为 Degraded 时业务可继续运行，此时重启反而有风险。

2. 2

   定位是哪块物理盘故障

   看管理工具里的物理盘列表，找到状态为 Failed 或 Offline 的槽位号，对应到机箱上的盘位编号。同时看盘的指示灯：常亮琥珀色通常表示已故障。

3. 3

   判断是「盘坏」还是「接触不良」

   把故障盘拔出再插回（支持热插拔的机型可在线操作），若状态恢复为 Online 则是接触问题；若仍是 Failed，基本可判定盘故障。注意：这一步只能做一次，反复插拔会加重损伤。

4. 4

   备份优先于修复

   降级状态下数据的最后一份冗余已经消耗掉。在换盘重建之前，先把最关键的数据备份出来——重建过程本身有失败概率，尤其是盘龄较老的阵列。

5. 5

   换盘并确认自动重建

   用同容量或更大容量的企业级盘替换，插入后阵列卡通常会自动开始重建。在管理工具里确认重建进度在推进（Rebuild Progress 百分比在增长）。

6. 6

   重建期间降低负载

   重建需要大量 IO。这段时间避免大批量备份、大批量文件拷贝、数据库全表扫描，否则重建时间会成倍延长，期间再坏一块盘就全丢。

不要这样做

• 不要在降级状态下重启或断电，可能造成第二块盘掉线
• 不要用不同型号、不同容量的盘直接替换（除非确认支持）
• 不要在重建未完成时再次拔插任何盘

可能的表现

• 重建进度每小时只推进 1%-2%，或长时间停在同一个数值
• 阵列卡管理工具显示 Rebuild 状态但进度不变
• 业务读写明显变慢，磁盘队列长度升高

自检步骤（按顺序做）

1. 1

   先算一下正常应该多久

   8TB 盘在 RAID 5 中重建，通常需要 8-20 小时；16TB 盘可能需要 1-3 天。如果在这个范围内，属于正常，不要误判为卡住。

2. 2

   检查重建速率设置

   多数阵列卡有「重建速率」参数（Rebuild Rate），默认常在 30% 左右，留出带宽给业务。维护窗口内可临时调到 60%-80% 加速，业务高峰期则应保持较低值。

3. 3

   确认是否有业务在抢 IO

   备份任务、大批量文件拷贝、数据库全表扫描都会显著拖慢重建。查一下当前是否有计划任务在跑，能暂停的先暂停。

4. 4

   检查是否有坏道在反复重试

   源盘存在坏道时，阵列卡会反复重试读取，进度表现为长时间停滞。硬件日志里会出现介质错误（Medium Error）记录，这种情况重建可能永远无法完成。

5. 5

   观察是否反复从 0 开始

   进度归零重来，通常意味着重建过程中又有一块盘掉线，或阵列卡被重启。这种情况要立即降低负载并准备数据备份。

不要这样做

• 不要在重建期间重启服务器
• 不要把重建速率调到 100% 长时间运行，会拖垮业务并加速盘老化
• 不要在重建期间做阵列扩容或迁移操作

可能的表现

• 硬盘托架指示灯变琥珀色或红色常亮/闪烁
• 系统日志出现磁盘超时、复位、离线记录
• 同一块盘反复上线又掉线

自检步骤（按顺序做）

1. 1

   先分清灯的含义

   不同品牌不同：常见为绿色常亮=正常、绿色闪烁=读写中、琥珀色常亮=已故障或预测故障、琥珀色闪烁=重建中。查该机型的灯位说明，避免把「重建中」当故障处理。

2. 2

   读 SMART 与控制器日志

   在系统内用 smartctl 读 Reallocated_Sector_Ct、Pending_Sector、UDMA_CRC_Error_Count。前两项增长说明盘体在失效；CRC 错误增长通常是线缆或背板接触问题，换盘解决不了。

3. 3

   判断是盘的问题还是位置的问题

   把这块盘换到另一个空盘位，如果仍然掉线则是盘的问题；如果在新位置正常，说明原盘位或背板接口有问题。这一步能避免「换了新盘还是掉」。

4. 4

   检查固件与兼容性

   部分型号的盘在特定阵列卡固件下会出现批量掉盘（常见于 SMR 盘或固件版本不匹配）。查阵列卡与硬盘的兼容性列表，必要时升级固件。

5. 5

   更换时坚持同型号同容量

   混插不同型号会导致阵列按最小容量计算，且不同固件的盘在同一阵列内的错误恢复行为不一致，增加后续掉盘概率。

不要这样做

• 不要在没有备份的情况下反复插拔同一块盘
• 不要用桌面盘或 SMR 盘替换企业级盘
• 不要忽略 CRC 错误直接换盘，可能换完还掉

可能的表现

• 前面板健康灯变琥珀色，BMC 日志出现 Fan 相关告警
• 风扇噪音突然明显增大（转速拉满）
• 部分机型屏幕或管理界面提示具体风扇位号（如 Fan3 Fail）

自检步骤（按顺序做）

1. 1

   先看是「故障」还是「调速」

   噪音突然变大但无告警，多数是温控策略把风扇拉满，属于保护行为而非故障。此时应查进风温度与 CPU 温度，找热源而不是换风扇。

2. 2

   定位具体风扇位号

   BMC 的传感器页面会列出每个风扇的当前转速（RPM）。转速为 0 或明显低于同组其他风扇的，就是故障件；同时记录位号，方便备件更换。

3. 3

   检查是否有异物阻挡

   线缆卷入扇叶、防尘网被堵、机柜后门被挡住，都会导致风量不足、转速拉高。这类问题不需要换件，清理即可。

4. 4

   确认是否已触发降频保护

   部分平台在风扇故障时会主动降低 CPU 频率以控制温度，表现为业务突然变慢。查 BMC 日志是否有「Thermal Throttling」记录。

5. 5

   冗余风扇可在线更换

   服务器风扇通常是冗余设计（N+1），单个故障不影响运行，支持热插拔。更换时注意断电拔插的机型要求，以及风扇模块的朝向（进风/出风不能装反）。

6. 6

   清理防尘网并纳入周期维护

   粉尘环境（车间、临街机房）建议每季度清理一次防尘网。这一步能把风扇故障率降下来一大半。

不要这样做

• 不要为了降噪直接拔掉报警的风扇，会失去冗余并可能触发高温关机
• 不要把不同型号的风扇混装在同一组，转速策略会冲突
• 不要在运行中把手伸进风扇区

可能的表现

• BMC 日志出现温度阈值告警（Temperature Upper Critical）
• CPU 频率低于标称值，业务响应变慢
• 风扇长期全速运转，噪音很大

自检步骤（按顺序做）

1. 1

   分清是环境温度还是部件温度

   看 BMC 的进风口温度传感器（Inlet Temp）。进风超过 30℃ 说明机房环境有问题；进风正常但 CPU 温度高，问题在散热器或硅脂。

2. 2

   检查机柜气流组织

   空 U 位是否装了盲板、机柜后门是否被线缆挡住、冷热通道是否混排。这些因素会让局部温度比设定值高 10℃ 以上。

3. 3

   清理散热器与防尘网

   粉尘堵塞散热片是运行 2 年以上机器的常见问题。断电后用压缩空气清理，温度常能降 5-10℃。

4. 4

   确认风扇策略是否被改过

   有人为降噪把风扇策略调成「低功耗」模式，会导致散热不足。恢复默认策略或改为「性能优先」再观察。

5. 5

   核对整机功耗与机柜密度

   同一机柜内设备功耗叠加超出制冷能力时，只有降低密度或增加制冷才能根治。这一项要在规划阶段就算清楚。

不要这样做

• 不要在高温告警时通过调高告警阈值来「消除」告警
• 不要长期在超过 35℃ 进风温度下运行，硬盘年故障率会明显上升
• 不要用普通家用风扇对着机柜吹来替代制冷

可能的表现

• 系统日志或 BMC 日志出现 ECC Correctable / Uncorrectable Error
• 服务器随机蓝屏、重启，或应用莫名崩溃
• 部分机型前面板内存告警灯亮起

自检步骤（按顺序做）

1. 1

   先分清 CE 与 UE

   可纠正错误（CE）由 ECC 自动修正，业务不中断但说明这根内存已在劣化；不可纠正错误（UE）无法修正，会直接导致蓝屏或数据错误。UE 必须立即处理。

2. 2

   定位到具体的槽位

   BMC 日志通常会写明 CPU 编号与 DIMM 槽位（如 P1-DIMMB2）。记录下来，只换这一根，不要整组换。

3. 3

   看错误是否集中在同一根

   如果 CE 全部集中在某个槽位，是该内存条的问题；如果分散在多个槽位，可能是 CPU 内存控制器或主板问题。

4. 4

   检查是否刚加过内存

   新增内存与原有内存型号不一致、混插 RDIMM 与 LRDIMM、插错通道，都会引发大量 CE。先恢复原配置验证。

5. 5

   更换后清空日志观察 24 小时

   换新内存后清除 BMC 的 SEL 日志，观察 24 小时是否还有新增 CE。仍有则问题不在内存条本身。

不要这样做

• 不要把 CE 当作「不影响使用」而长期忽略，它会演变成 UE
• 不要混插不同规格的内存条
• 不要在通电状态下插拔内存

可能的表现

• 网口指示灯不亮，或只有一端亮
• ping 丢包、时延抖动，业务访问间歇性失败
• 交换机端口告警，或链路反复 up/down

自检步骤（按顺序做）

1. 1

   先看物理层：灯、线、端口

   网口灯不亮说明链路没建立。换一根已知正常的网线、换一个交换机端口，能快速区分是线、端口还是网卡的问题。

2. 2

   确认速率与双工协商

   一端强制千兆、另一端自协商，会出现链路起不来或大量 CRC 错误。查交换机端口状态与服务器网卡速率是否一致，必要时两端都设为自协商。

3. 3

   查 CRC 与丢包计数

   在系统内看网卡的 RX/TX errors、dropped、crc 计数。CRC 增长说明物理链路质量差（线缆、水晶头、光模块）；dropped 增长多为缓冲区或流控问题。

4. 4

   确认 VLAN 与网关配置

   能通同网段但通不了其他网段，通常是网关或 VLAN 配置问题。检查交换机端口的 VLAN 归属与服务器的网关设置。

5. 5

   光模块与 DAC 线要配对

   光口用单模模块接多模光纤、或两端模块速率不一致，链路起不来。万兆以上链路建议直接看交换机侧的光功率读数。

6. 6

   排除 IP 冲突与环路

   同网段出现 IP 冲突会表现为时通时断。交换机侧若出现 MAC 地址漂移告警，说明存在网络环路。

不要这样做

• 不要在网络不通时先重装系统
• 不要用普通网线替代万兆链路（需 Cat6a 以上或光纤）
• 不要在两端都强制固定速率与双工，容易协商不一致

可能的表现

• 业务系统响应时间明显变长，页面转圈
• CPU 或内存占用长期接近 100%
• 磁盘队列长度持续偏高，风扇转速升高

自检步骤（按顺序做）

1. 1

   先分清是「一直慢」还是「突然慢」

   一直慢多是容量规划不足（内存小、机械盘）；突然慢多为新变量引起：数据量增长、新上业务、备份任务、硬件降级、病毒或挖矿程序。

2. 2

   看三组数据：CPU、内存、磁盘队列

   CPU 长期高于 80% 才是算力不足；内存长期高于 90% 且页面文件读写频繁，说明内存不足在换页；磁盘队列长期大于 2，说明 IO 是瓶颈。三者指向的解法完全不同。

3. 3

   检查是否有阵列降级

   阵列降级或正在重建时，性能会明显下降。这一项常被忽略，因为业务还在跑，只是慢了。查阵列卡管理工具的状态。

4. 4

   检查计划任务与备份窗口

   备份、杀毒扫描、报表生成如果与业务高峰重叠，会直接抢走 IO 与 CPU。把这类任务挪到夜间就能解决相当一部分「突然变慢」。

5. 5

   看数据库的等待类型

   SQL Server 看 Page Life Expectancy、Lock Waits、CXPACKET；MySQL 看慢查询日志与 InnoDB 缓冲池命中率。等待类型能直接指出是内存、锁还是 IO。

6. 6

   排查异常进程与外部因素

   是否有未知进程占用大量 CPU（挖矿木马常见）、是否有大量外网连接、是否有人在做大数据量导出。

不要这样做

• 不要在没定位瓶颈前就加 CPU 或换整机
• 不要频繁重启来「缓解」变慢，会丢失现场证据
• 不要在生产高峰做性能压测