记一次服务器异常宕机导致的系统异常

1.事件背景

某部门应急演练，服务器异常关机未提前通知各业务系统。

2.事件经过

服务器断电后，服务器宕机重启，各系统都受到影响，无法访问，现场也不知道发生了什么情况，以为是业务系统本身出故障了，实际上业务系统的信息管理员也不知道此事，虽然服务器重启比较快，但是各业务系统网站有些没有自动启动，需要手动重启。涉及很多台服务器，特别是部署的java应用，都需要重新启动。

1.应用网站应用程序池重启。

2.网站重启

异常断电后，服务器重启后磁盘IO异常，时间持续影响几个小时。以本人个人电脑为例截图，类似下图，磁盘的写入平均延迟异常。正常的IO延迟都是毫秒级，基本都是个位数，当时延迟达到了几千毫秒，3000~7000多毫秒，这在高并发写入的场景下是无法接受的。后再次彻底重启应用服务器，磁盘IO恢复正常，各交互系统上传数据正常。

3.事件总结

服务器不同于个人电脑，承载的业务很庞杂，异常重启会导致各种各样的问题，还是按正常步骤重启服务器。异常断电可能会导致磁盘IO异常。