以毒攻毒: Google、Amazon、Netflix如何用混沌工程控制系统风险

经纬创投2019-02-12
等待下一次系统故障并非解决方案,为了迎接挑战,混沌工程应运而生。

编者按:本文来自微信公众号“经纬创投”(ID:matrixpartnerschina),作者 经纬主页君。36氪经授权转载。

越来越多的企业开始使用云存储基础设施,将信息存储在云端而非以前的物理基础设施中。然而,云存储并非万无一失;在网络越来越复杂的情况下,云存储设施的故障也变得更加难以预料。

系统故障给企业带来了代价高昂的损失:98% 的企业表示,一小时的宕机时间将给他们带来超过 10 万美元的损失,一次服务中断有可能让一个公司损失数百万美元。

英国航空公司首席执行官说,2017年5月发生了一起技术故障导致数万名乘客滞留,他们公司因此损失了8000万英镑(约合7亿人民币)。

等待下一次系统故障并非解决方案,为了迎接挑战,混沌工程应运而生。

2010年,Netflix的信息存储开始从物理基础设施向Amazon Web Services提供的云基础设施转变。在这个转移过程中,最让企业担忧的事情就是数据丢失而影响流媒体体验的需求。

为了对数据丢失或是停机等问题有所预防,Netflix的工程团队创造了Chaos Monkey(混乱的猴子),这就是混沌工程的由来。

混沌工程是一种系统的方法,使得系统故障可以在导致中断之前被识别。通过主动测试系统在压力下如何响应,工程团队可以在故障出现之前识别并修复它们。

用更通俗的方式来说,混沌工程就像“疫苗”:注射少量潜在有害的异物以预防疾病,这种人为的“破坏”其实是有帮助的。混沌工程通过在技术系统中注入危害(如延迟、CPU故障或网络黑洞)来建立这种免疫力,从而发现和修正潜在的弱点。

从Google、Amazon、Facebook、Netflix、Microsoft、LinkedIn等一系列网络公司,到诸如银行、金融等更传统的行业,越来越多的技术公司开始把混沌工程应用于服务器架构的检测中。

混沌实验可以帮助减少意外事件,减轻工程团队应急的负担,增加对系统故障模式的理解从而能改进系统设计,减少严重事故检测的平均时间和重复严重事故。

那么,混沌工程从何而来?混沌工程通过什么原理和方法帮助公司预防系统故障?如果要展开第一个混沌工程实验,你需要怎么做?

本文将分享混沌工程的简要历史,演示混沌工程如何为你的系统提供新的见解,并且为你展开第一个混沌工程实验提出了一些建议。以下,Enjoy:

01.为什么搞破坏?混沌工程的作用

混沌工程最初出现在那些开创大规模分布式系统的互联网公司。分布式系统是一组计算机通过网络相互连接、通信并协调它们的行为而形成的系统。

分布式系统存在参与者众多、依靠网络等特点,具有一定的复杂性。为了预测系统失败或出现错误的所有方式,“混沌工程”应运而生。

使用分布式系统的公司把信息存储也置于其中,因此出现了分布式存储系统,也就是通俗所说的“云存储”。

起初,人们对于云存储的认识存在一些谬误,比如网络是可靠的,宽带是无限的,延迟是零等。在意识到以上的认知是错误之后,工程师把这种“错误”放入系统中,例如“包丢失攻击”和“延迟攻击”。认识到这些谬误的存在,很大程度上驱动了混动工程实验的设计。

通过混沌工程的实施,用户、企业和技术本身都能有所获益:

对于用户来说,服务的可用性和持久性的提高,这意味着不会有中断干扰他们的日常使用。

对企业来说,混沌工程可以帮助公司避免巨大的维护成本和损失,提高对工程团队的应急培训,改善整个公司的意外事件管理流程。

而对于技术本身,从混沌实验中获得的经验可以减少意外事件,减少工程团队应急的负担,增加对系统故障模式的理解从而能改进系统设计,缩短严重事故检测的平均时间,减少类似事故的再次发生。

02.混沌工程原理

混沌工程运行经过有计划的实验,这些实验可以让工程团队在实际情况中了解到系统在失败时的表现。

这些实验遵循三个步骤:

你首先要形成一个假设,假设系统在出现问题时应该如何运行。

然后,设计针对性的实验在系统中测试它。

最后,在每一步中计算系统失败的带来的影响,寻找成功或失败的迹象。当实验结束时,你可以更好地理解系统的实际行为。

03.如何展开混沌工程实验

前面已经说到,混沌工程就像“疫苗”,因此不足或是过量都无法起到预想的作用。我们建议循序渐进地展开混沌工程实验,按照以下顺序进行实验:

已知-已知——已经了解并注意到的

已知-未知——注意到但不了解的

未知-已知——了解但没有注意到的

未知-未知——既没有注意到也不了解的

下图说明了这个概念:

图片来源:ChaosEngineering: the history, principles, and practice

为了在实践中举例说明这一点,我们将演示如何基于MySQL数据库进行实验。

如下图所示,我们有一个100个MySQL主机的集群,每个主机有多个分片。

在其中的一个区域,我们有一个主服务器、两个副本并使用半同步复制,在另一个区域中,也有一个伪主服务器和两个伪副本。

图片来源:ChaosEngineering: the history, principles, and practice

第一步,我们要需要明确哪些内容分别是已知和未知的:

已知-已知:我们知道,副本如果发生宕机,它将从集群中删除,然后将从主服务器克隆一个新的副本,并将其添加回集群。

已知-未知:我们已知克隆会发生,因为我们可以通过日志来确认它成功或失败,但是我们不知道从失败到将克隆有效地添加回集群所需的时间。

我们知道,副本发生宕机5分钟后会收到一个警告,但是我们不知道是否应该调整警报阈值以更有效地防止故障发生。

未知-已知:如果我们同时关闭一个集群的两个副本,我们不知道从现有的主服务器上克隆两个新副本所需的确切时间。但是我们知道有一个伪主副本和两个副本。

未知-未知:我们不知道如果关闭A区域中的整个集群会发生什么,也不知道B区域是否能够有效地进行故障转移,因为我们还没有运行这个场景。

第二步,在明确了已知与未知后,我们设计混沌工程实验,按照以下顺序逐步进行:

已知-已知:关闭一个副本,计算从检测到关闭、删除副本、启动克隆、完成克隆和将克隆添加回集群的时间。在你开始这个步骤之前,把副本从2个增加到3个。报告复制关机故障恢复的平均时间,并按日期和时间细分,以反映高峰时间。

已知-未知:通过上一步,可以知道哪些是“已知-未知”的问题,你就能够了解从副本发生故障到将克隆添加回集群所需的平均时间,以及知道5分钟是否是预防严重事故的适当警报阈值。

未知-已知:在进行这个实验之前,将副本的数量增加到4个。同时关闭其中的两个副本,计算克隆两个新副本需要多长时间。这个实验可能会发现未知的问题,例如,主服务器不能同时处理克隆和备份带来的负载,因此你需要更好地调整副本数量。

未知-未知:关闭整个集群(主副本和两个副本)。这种失败可能会导致严重的意外发生,但你可能还没有准备好。在执行混沌实验之前,请优先考虑处理这个失败场景的应急工程工作。

04.第一个混沌工程实验,有何建议?

计划你的第一个实验

混沌工程中最关键的问题之一是“哪里可能出问题?”通过对这个问题的思考和讨论,我们可以总结系统潜在的弱点和预期结果。类似于风险评估,这可以让你对优先级有所把握:哪些潜在问题更有可能发生或后果更严重。

作为管理者,你可以让你的团队将服务、依赖项(内部和外部)和数据存储等因素写下来,这可以让你对“哪里可能出错”有初步的认识。当你觉得某一项可能存在问题时,注入故障会是一个好的开始

创建一个假设

你知道哪里可能会出问题,在相应的地方注入了故障。接下来会发生什么?在实验实施前先创建一个假设,会是一个很好的团队思维练习。通过讨论这个场景,你可以在运行它之前对预期结果进行假设,比如这个失败对客户、企业或对你的依赖项有什么影响?

测量影响

要理解系统在压力下运行时的行为,需要评估系统的可用性和持久性。你需要拥有一个与用户相关的关键性能指标,例如每分钟的订单量,或每秒的流量。

根据经验,如果你看到这些指标受到影响,则可以停止实验。接下来是评估失败本身,在这里你希望验证(或反驳)你的假设。最后,你需要检查仪表板和警报,看看是否有意外副作用。

回滚计划

请务必要有一个回滚计划,以防出现问题;但你也要接受,有时即使是回滚计划也可能失败。因此你需要考虑如何扭转这种影响。

完善

在运行第一个实验之后,你可能会遇到两个结果之一:验证了系统对引入的失败是否具有弹性,或者发现需要修复的问题。这两个结果都很好。如果是第一种情况,你增强了对系统及其行为的信心;如果是后者,你则在系统导致停机之前发现了问题。

感受乐趣

混沌工程是一个让工作更容易的工具。通过主动测试和验证系统的故障模式,你将减少操作负担,增加可用性。

在用户体验和用户信息越来越受到重视的当下,停机故障给公司带来的损失可谓巨大,因此无论是互联网公司还是传统行业,都开始将混沌工程的思想纳入到风险控制中。

系统故障不可避免,但对系统故障的提前预测与防范是行之有效的应对措施。与其等待下一次代价高昂的停机,不如首先提高系统对潜在风险的“抵抗力”,通过故意破坏,暴露出可能影响系统和客户的未知问题。

就如同人类要打疫苗才能免除病痛,企业的信息基础架构安全,也离不开混沌工程。

Reference:Chaos Engineering: the history, principles, and practice, BY Gremlin

题图来自pexels.com,图片授权基于:CC0协议,如有侵权,请联系我们处理。

+1
9

好文章,需要你的鼓励

参与评论
登录后才能参与讨论哦...
后参与讨论
提交评论0/1000

请回复有价值的信息,无意义的评论将很快被删除,账号将被禁止发言。

下一篇

2018年中国短视频全面爆发大势下,Vlog在小圈层内走红了

2019-02-12

36氪APP让一部分人先看到未来
36氪
鲸准
氪空间

为你推送和解读最前沿、最有料的科技创投资讯

一级市场金融信息和系统服务提供商

聚集全球最优秀的创业者,项目融资率接近97%,领跑行业