飞蚕信息部 · 机房断电、宕机、硬件故障应急预案

第一章 总则

1.1 编制目的

1.2 适用范围

1.3 核心应急原则

• 预防为主、常备管控：日常做好机房用电、硬件、设备状态巡检，提前排查隐患，减少突发故障发生概率。
• 快速响应、稳妥处置：突发故障第一时间定位问题、分级处置，优先保障数据安全，再恢复业务与设备运行。
• 先保数据、后恢业务：故障处置优先规避数据丢失、数据损坏，在数据安全前提下快速恢复核心业务。
• 规范操作、杜绝盲动：严格按流程开关机、排查故障，禁止盲目重启、强制断电、随意插拔硬件导致二次故障。
• 全程留痕、闭环复盘：所有突发事件、处置过程、恢复记录、问题原因全部登记归档，完成闭环整改，避免重复故障。
• 轻量化落地、可迭代扩容：适配现阶段小平台机房运维模式，后期可随机房扩容新增多级应急机制、备份容灾、自动告警、故障预判模块。

1.4 权责划分

• 信息部（应急执行）：负责突发事件发现、初步研判、应急处置、故障排查、设备恢复、业务验证、台账登记、复盘整改、日常应急准备。
• 在岗人员：发现机房异常、业务中断、设备告警第一时间上报，不擅自操作核心设备。
• 行政部：配合机房安全核查、应急资料归档、常态化安全监督。
• 管理层：负责重大故障、长时间停机、硬件大额更换、对外报修事项的审批与督导。

第二章 突发事件分级标准

2.1 一般故障（三级响应）

2.2 较重故障（二级响应）

2.3 重大故障（一级响应）

第三章 机房断电专项应急预案

3.1 故障识别与初步研判

3.2 应急处置流程（市电断电）

• 第一步：确认供电状态 核查机房外部市电、楼道供电、周边用电情况，确认是全域停电还是机房局部线路故障，同步查看UPS剩余续航时长。
• 第二步：保护核心数据、有序关机 根据UPS续航情况，优先对业务服务器、数据库、存储设备执行安全关机操作，避免强制断电导致文件损坏、数据丢失；非核心网络设备可延后关停。
• 第三步：切断隐患线路 关闭机房空开、设备电源开关，避免市电恢复瞬间电压冲击，造成设备烧毁、主板击穿。
• 第四步：跟进供电恢复 持续跟进市电恢复进度，预判停电时长，短时停电保持设备待机，长时间停电完成全部设备安全关停。
• 第五步：逐级上电恢复 市电恢复后，先确认电压稳定、线路无异常，再依次开启UPS、网络设备、服务器、存储设备，逐项核验设备运行与业务连通状态。

3.3 UPS异常/失效处置流程

3.4 断电恢复核验要点

第四章 服务器宕机专项应急预案

4.1 故障识别判定

4.2 常规宕机处置流程

• 第一步：快速定位问题 优先远程排查系统进程、服务状态、磁盘占用、内存CPU负载、网络端口，判断是系统卡死、服务崩溃还是硬件异常导致宕机。
• 第二步：远程恢复优先 可远程操作的，优先重启异常服务、修复异常进程、释放过载资源，尽量避免直接重启整机。
• 第三步：合规重启整机 远程无法恢复时，执行安全关机后重启，禁止长按强制断电重启，降低文件系统损坏风险。
• 第四步：开机核验校验 重启后核查系统状态、磁盘挂载、数据库服务、业务进程、日志信息，确认无报错、无文件丢失。
• 第五步：业务恢复验证 逐项测试前端访问、数据读写、接口连通、功能可用性，确认业务完全恢复正常。

4.3 反复宕机专项处置

第五章 机房硬件故障专项应急预案

5.1 常见硬件故障范围

5.2 通用硬件故障处置流程

• 第一步：紧急隔离风险 发现硬件异常、发烫、异响、报错，第一时间隔离故障设备，断开异常端口、下线故障节点，避免故障扩散、牵连全网设备。
• 第二步：初步排查定位 核查设备供电、线路连接、环境温湿度、设备负载、运行日志，区分是线路问题、环境问题还是硬件本体损坏。
• 第三步：临时应急兜底 单设备故障无法快速修复时，启用备用设备、备用端口、备用链路，优先恢复业务运行。
• 第四步：维修与更换 可自主修复的合规更换配件、清理故障；无法自主修复的整理故障现象、设备信息，联系厂商售后维保。
• 第五步：恢复与核验 维修更换完成后，测试设备运行、链路连通、业务适配状态，确认稳定无异常。

5.3 关键硬件故障重点要求

• 硬盘/存储故障 立即停止读写操作，禁止反复插拔、强制修复，优先保护原始数据，按数据恢复规范谨慎操作，必要时委托专业维保处理。
• 电源/配电故障立即断电隔离，排查短路、过载、线路老化问题，杜绝带电故障运行，防止起火、设备烧毁风险。
• 网络硬件故障 快速切换备用链路，修改端口配置，优先恢复内网连通与核心业务，再排查设备本体故障。

第六章 通用应急处置规范与禁忌

6.1 通用处置顺序

6.2 应急操作禁令

• 禁止故障状态下反复强制断电、强制重启核心服务器，避免二次损坏与数据丢失。
• 禁止硬件异常、发烫、异响设备继续带电运行，杜绝风险扩大。
• 禁止断电恢复瞬间大批量同时上电，需分批逐级启动设备，防止瞬时负载过载。
• 禁止未备份数据、未留存故障日志直接修复、重装系统、格式化设备。
• 禁止重大故障私自处置、不上报、不留痕，规避责任风险与复盘缺失。

第七章 事后复盘与台账管理

7.1 事件登记要求

7.2 复盘整改机制

7.3 资料留存规范

第八章 日常预防与应急保障

8.1 日常预防管控

• 每日巡检机房供电、UPS状态、设备负载、温湿度、硬件运行状态、网络链路，提前排查隐患。
• 定期完成服务器数据备份、配置备份，保障故障发生后可快速恢复。
• 定期检测UPS续航、配电线路、设备电源模块，及时更换老化配件。
• 规范机房环境、防尘、温湿度、用电管理，减少硬件故障诱因。

8.2 应急资源保障

第九章 制度迭代说明

第十章 附则

• 本预案为飞蚕机房断电、宕机、硬件故障突发事件应急处置的唯一官方执行标准，全体运维及相关岗位人员严格遵照执行。
• 本预案由飞蚕信息部负责日常解读、应急指导、落地执行、复盘优化与迭代升级，行政部负责合规归档。
• 本预案自发布之日起正式生效，过往机房突发故障无流程、无标准、无复盘的处置模式全部作废。