P0事故后复盘
几条短信
刚过下班时间,我准备收尾git push下班
突然收到几条云服务商发来的安全告警短信!
刚看到的时候,我说:这啥啊?咋这么多信息?
但当我看到:勒索的时候,整个人瞬间清醒!!!
激动的心,颤抖的手
进入服务器后台,发现数据库无法启动,系统OA无法访问
点开数据备份 databack 目录,文件都被加了后缀,留了一个 txt(勒索信)。
瞬间紧张起来:发冷、紧张、手抖...
脑子里闪过:完了完了,网上看过这么多的勒索,这次到我了...我是不是要跑路了?
冷静
我疯狂提醒自己:一定先不要急!一定要冷静!冷静!
现在不是解激动就能解决问题的,要冷静思考!!!
于是开始重新整理思路与同事探讨。
最后确定了大方向:
- 尽最大能力恢复数据!
- 假设数据真的丢失,接下来的业务不能断!
落实计划
第一条:寻找数据恢复可能
因为系统有固定周期备份,所以第一时间想到:能不能找回之前被删除的备份文件(想着那些文件肯定没感染)。
我尝试通过数据恢复工具扫描磁盘,希望找回未被感染的历史备份。但是结果失败。
随后开始联系:
- 云服务厂商
- 身边做安全、运维、数据恢复的朋友
- 使用 AI 分析加密样本
第二条:业务不能断
数据能不能恢复,是未知的。但是第二天一定要继续处理工作流,公司业务不能断!
一边想办法的同时,做最坏的打算:
- 如果数据恢复失败怎么办?
- 如果历史数据无法找回怎么办?
- 业务是不是全部停止?
我知道业务一定不能停止,整个公司的工作流必须运转!
必须准备 Plan B 临时方案:
保障核心基础业务能够继续运行,业务能运行起来,数据恢复只是一个未知数!
封存离线文档、信息
马上组织人员进行:封存近六个月的本地冷文件记录、汇总冷数据、聊天记录
构造 MVP:如果系统回不来,业务怎么活?
*MVP = Minimum Viable Product 最小产品版本
组织团队开始拆业务,按照最小完整工作流,制定一个小型 OA,还有如何配合离线数据。
让明天一上班的同事能正常处理工作。
庆幸是晚上
后来回头看,我觉得真的庆幸是晚上,没有实际业务,可以中断。
但是这个晚上是一个不眠夜是一个确定后续结果的重要时刻!
如果当时:继续对着被勒索的数据手足无措,那么第二天可能完全被动。
系统跑不起来,全部手动操作工作流,每个人的压力都无比大!
事故处理不是等答案!而是在未知情况下,不断增加成功概率。
数据无价:希望再也不要数据恢复!
在凌晨三点的时候,数据恢复取得了进展。
数据不是文件,早就成了我们工作流一个不可缺失的部分!
很多东西,一旦丢失,不是重新开发一个系统就能回来。
系统可以重建,代码可以重写,但是数据没有那么容易。
所以数据无价,不是一句口号!
只有真正经历过一次数据风险,才会理解它的重量。
认真反省:没有热备冷备,服务器一锅端
事情解决之后,最大的感受不是庆幸。
而是反思!为什么会这么紧张?
因为我深知我没有完整恢复能力...
之前有一段时间想过要是这个服务器挂了怎么办?一直搁那纠结...
就想着“代码写好,服务器没那么容易出问题的,最多就是修修小问题。”
因为几年过来我遇到的问题就是这些问题,感觉大意也没事。
但是哪有那么多感觉,明天和意外谁知道哪个先来?
感觉程序没问题,代码写的很好,想尽了我所谓安全的“防护”,
但...实际这次的攻击点在系统级别,我压根完全没有审计系统级别的能力。
我想到了基础的备份,但是留在了服务器本身,而没上传到云盘等专门的备份,我的窝点在这里,人家一锅端。
只想过软件问题,没有想到外部问题,安全意识完全不足!
总觉得岁月静好,当岁月静好被打爆,才知道什么痛!
还有就是每个行业有每个行业的知识,不要自己三脚猫臆想,ai 算一下就无知的去挑战人家的专业。
知己知彼:勒索病毒相关资料
Weaxor 勒索病毒 .weax后缀,是Mallox变种。
解密工具:decryptor_console.exe
解密需要:一个 key 此 key

评论
发表评论