宕机频发:可靠不等于韧性,SLA也救不了业务
作者: CBISMB
责任编辑: 邹大斌
来源: CBISMB
时间: 2026-11-19 11:08
浏览: 1
点赞: 0
收藏: 0
过去一周的一连串重大故障,脚本几乎一模一样。服务黑掉,Downdetector(故障监测网站)上警报刷屏,厂商连发几条状态更新,几天后根因浮出水面,所有人回去上班,默认它不会再发生。而刚刚过去的这一周,这套剧本超负荷运转。
11月12日,微软的Microsoft 365套件经历近24小时全球性宕机,74个国家和地区的Outlook、Exchange Online、Teams、Copilot、Defender和Intune全部不可用。微软把故障追溯到7月埋在其网络网关服务器上的一个软件缺陷,本该把区域问题圈住的保护机制失效后,缺陷在全球级联扩散。
11月13日,Workday发生重大故障,波及逾1万家企业,原因在其灾难恢复(DR)环境与生产数据库之间出现了一条本不该存在的连接。
11月13日,美国联邦航空管理局(FAA)因电信故障影响空管中心,罕见发布全国性停飞令。当天运营商取消12462个航班,交通部长肖恩·达菲(Sean Duffy)称路由器被数据压垮,导致信息前后不一致。
11月16日,美联航(United Airlines)因全公司范围的故障出现航班延误,飞行员无法获取飞机最终重量和其他必需数据。
11月16日,摩根大通(JPMorgan Chase)客户大半天无法登录或转账。银行称是本地硬件系统中的一个软件缺陷,故障波及Zelle转账,以及其他银行与摩根大通有往来的客户。
11月17日,苹果报告iCloud、Apple Pay、App Store等服务故障,一位发言人将其归因于一次内部更新。
这些没有一起是网络攻击,而且就目前所知,彼此毫无关联。一个休眠缺陷、一批过载的老旧路由器、一次糟糕的内部更新、一处本地硬件故障,根因的差异已经大到不能再大。这些系统有的跑在公有云,有的跑在企业自己的数据中心,还有的跑在几十年历史的空管设备上。而这恰恰是要点:共同点不在技术,而在于每一家机构都有一个关键依赖失守,业务随之停摆。
这才是我想让企业领导者带走的结论。宕机不是偶然事件,不该事后找个说法就翻篇。它是必然会发生的,必须提前规划;而规划要回答的是整个服务挂掉时怎么办,不只是某台服务器或某个数据中心挂掉时怎么办。
云让人忘了灾备
我想弄清楚真正的韧性长什么样。Zscaler是个有意思的案例,原因很具体:企业部署Zscaler之后,每个用户、每个分支、每台设备都要通过它的零信任交换(Zero Trust Exchange)访问应用,这让它正好站在关键路径上。它一旦停摆,用户就够不到Microsoft 365、Salesforce、内部应用,不管这些应用本身多健康。这种全有或全无的暴露,逼着Zscaler比大多数厂商更认真地想清楚,自己的服务挂了怎么办。
在上一届Zenith Live(Zscaler的用户大会)上,我问过首席执行官杰伊·乔杜里(Jay Chaudhry)这个问题。他的解释是,正因为产品处在关键位置,一分钟停机都承受不起,所以公司把韧性做进了服务设计本身。这一轮大面积故障之后,我又找乔杜里和首席可靠性官米沙·库珀曼(Misha Kuperman)聊了一次,为行业收集经验。
需要说清楚的是,Zscaler既保不住微软的一个邮箱,也没法重启FAA的路由器,公司里没人这样声称。但它为自家平台做连续性的思路,对所有处在企业关键路径上的服务(包括SaaS)都提供了一个可用的样板。以下是我认为董事会和高管层应当读到的几点。
我出身金融服务业,那里的灾备站点是没得商量的,每个人都清楚哪些服务必须在故障中活下来。在IBM工作多年的乔杜里讲的是同一件事。
“我的大客户大多有一个生产数据中心和一个灾备数据中心。”他告诉我,“生产中心挂了,就切到灾备,这是标准做法。可当整个世界搬到云上,大家把它忘了,觉得灾备是云厂商的责任,实际上这是共同责任。”
他说得对,记录也证明了这一点。可用区(availability zone)和多区域设计能挡住硬件故障和局部事件,但它们共享软件、控制平面、配置流水线,还常常共享DNS。当一份错误配置或一个休眠缺陷开始传播,它会传到所有地方。微软这次正是如此。
可用性架构和韧性架构不是一回事。前者在某个组件失效时让服务不倒,后者在整个服务失效时让业务不停。大多数公司有前者,并以为自己也拥有后者。而最近发生的一切说明,这个假设是错的。
可靠性是保养,韧性是保险
通话中乔杜里用了一个所有人都懂的类比。你可以拥有世界上最可靠的车,保养得一丝不苟,但你依然会为保修不覆盖的风险买车险,比如被盗,比如一棵树砸在车上。有保险,并且知道什么时候用、怎么用,才能让你尽快重新上路。Zscaler造的是网络空间的对应物。
现实中人们懂这个道理。到了网络和数字化领域,我们似乎就忘了,转而依赖服务等级协议(SLA)。99.999%的可用性承诺听起来很美,直到把它翻译成业务语言。乔杜里说,Zscaler一些最大的银行客户告诉他,五个九不够,因为你哪怕只挂五分钟,我们就可能损失数亿美元。
回到我做IT的那些年,我从不喜欢SLA,因为它是金融工具,不是运营工具。它告诉你事后能拿多少补偿,却不告诉你怎样继续处理支付,摩根大通的客户已经领教了;也不告诉你怎样让飞机继续飞,美联航领教了。监管机构已经意识到这一点。欧盟的《数字运营韧性法案》(DORA)和澳大利亚的CPS 230,都要求受监管机构评估、测试并缓释其技术供应商带来的风险。“我们的云厂商挂了”不再是可接受的抗辩。
IT高管该停止问“我们供应商的SLA是多少”,开始问“关键依赖失效时,我们的业务必须继续做哪些事,我们是否证明过自己能做到”。
备份在PPT里能用,在危机里不能用
面对微软这样的故障,本能反应是再买一家供应商。乔杜里讲了一个CIO的故事:这位CIO的CEO把Office 365列为业务风险,让他去找替代方案。CIO买了Google Workspace。当被问到切换之后文档、链接和基于角色的访问控制还能不能用,哪怕只在一半场景下能用,他说他觉得不行。
这就是现实。光邮件就够难了,用户一切换就丢掉了全部历史。现代生产力套件早已不是存储,每封邮件里都有指向共享文档的链接,权限绑在身份上,流程横跨多个应用。库珀曼把问题放在规模上讲:“我自己可以在Gmail和Outlook之间切换,但一万个人能吗?他们的效率还能一样吗?”
同样的问题在安全和网络领域更严重,代价也更高。A厂商/B厂商的双轨模式,意味着两套策略要保持完全同步、两套客户端软件,还要有办法在危机之中把几万名用户和设备从一套搬到另一套。库珀曼讲了一个客户的情况:“过去切过去要七天,切回来要三十天。这样做不了生意。”
一个从未在全量规模上验证过的备份,不叫备份,叫指望。而一个会改变用户体验的备份,恰恰会在最需要它的时候失效。
另一种本能是把安全整个关掉。但危机发生时,攻击者会集结起来发动攻势。CrowdStrike那次故障期间,钓鱼活动几乎立刻铺开,美国网络安全和基础设施安全局(CISA)不得不发出警告,提醒不要上钩。威胁行为者内外都有,所以在关键故障期间,尤其是故障已被公开的时候,安全必须继续值守。
把灾备做进服务本身
这就说到Zscaler的业务连续性云(Business Continuity Cloud),以及我为什么认为它是这个行业该抄的模板。它没有要求客户再外挂一家供应商,而是为每个客户建了一套专属环境,在架构上与其主用的零信任交换完全隔离。
设计上的取舍值得细看。业务连续性云跑在第三方数据中心(不是Zscaler自己的),使用独立网络、独立自治系统号(ASN)、独立DNS和独立云域。软件与威胁情报的更新被刻意错开,这样一次糟糕的生产发布不会同时落到备份里。策略和身份数据单向同步进一个只读的最后已知良好状态。它覆盖九个区域,足以在某个国家被切断时把运营留在境内。
“没有任何连接,没有共享网络,没有共享路由器,没有共享交换机,没有共享网络运维。”乔杜里说。这就是把当年生产和灾备之间的老纪律,在云上重建了一遍。在亲眼看着过载的路由器让全国航班停飞之后,不共享路由器听起来一点也不算过度设计。
还有两个运营细节值得记一笔。第一,Zscaler鼓励客户在和平时期持续把合成流量或可信用户流量打到备份环境里,让切换路径每天都被验证,而不是一年做一次桌面推演。第二,切换可以自动化执行以压低恢复时间目标(RTO),也可以由客户手动触发,确保连Zscaler自己都联系不上时依然能切。
Zscaler说目前有近百家客户在用,其中包括一家30万用户以上的全球性银行、一家10万用户以上的全球制药公司、一家7.5万用户以上的美国电信运营商。公司按乔杜里的说法收取一笔象征性费用,用来覆盖专属基础设施、网络和常开容量。
微软这次故障给出的教训,不是客户需要第二套生产力套件,而是主供应商应当把一套命运隔离的连续性环境,作为服务的一部分提供出来。Zscaler已经证明,一个全球性的安全云可以做到。我希望每一家处在企业关键路径上的SaaS厂商,尤其是微软,都被大客户推着做到同样的事。
微软的故障还暴露出另一种集中度风险,很多企业通过打包授权协议早已身处其中。微软说这次不仅影响Exchange和Teams,还影响Defender XDR、Defender for Office 365和Intune。对许多组织来说,微软同时是生产力套件、身份提供商和安全栈。当底下共享的基础设施失效,这三层会一起失效。
库珀曼描述了灾难期间维持运营所需的最小能力集:人、身份、网络与安全、业务关键应用。每一项都得能用,而任何一项都可能失效。“你得想清楚你的鸡蛋放在哪儿,装在哪几个篮子里。”他说。
我不是在反对平台化。但董事会应当弄清楚,整合在身份、应用和安全之间造出了哪个单点,并确保这几层不要同生共死。
这不会是最后一次大宕机,下一次可能是网络攻击、战争,或者一次配置推送,而不是一个休眠缺陷。以下是我建议IT与业务领导者现在就去做的。
其一,定义最小可行业务。找出重大故障期间公司必须继续运转的三到五个流程,比如支付、客户服务、交易或制造,并把这些流程下面的所有依赖画出来,包括身份、连接、安全以及应用本身。
其二,盘问每一个关键厂商的连续性架构。问它的备份是否跑在独立的基础设施、网络和DNS上,更新是否有时间差,切换由谁触发。如果答案是多个可用区,那是可用性,不是连续性。
其三,持续测试,而不是年度测试。桌面推演证明不了五万名用户能切过去再切回来。要求持续验证,并且做不预先通知的切换演练。
其四,危机期间保持安全开启。防线一松,攻击者动作很快。绕开安全的连续性方案,是拿一次宕机换一次入侵。
其五,用你的采购权。大客户在续约时有筹码。把命运隔离的连续性,写成关键路径上SaaS厂商的合同条款。
云兑现了敏捷和规模的承诺,但在这个过程中,行业让一条来之不易的纪律松掉了。过去这一周提醒我们,一切终将失效,无论是在云上、在数据中心,还是在空管塔台里。真到那时,SLA的补偿救不了业务,真正的连续性方案才能。






京公网安备:11010502051901号