云架构俭约之道七法则(The Frugal Architect)

在这里插入图片描述

授权声明:本篇文章授权活动官方亚马逊云科技文章转发、改写权,包括不限于在 亚马逊云科技开发者社区, 知乎,自媒体平台,第三方开发者媒体等亚马逊云科技官方渠道

文章目录

    • 一、前言
      • 关于 Law 与 Rule 的区别
    • 二、云架构俭约之道七法则
      • Design(设计方面)
        • Law 1:把成本作为非功能性需求
        • Law 2:可持续性系统需要将成本与业务相匹配
        • Law 3:架构设计是一系列权衡的取舍
      • Measure(评估方面)
        • Law 4:未被观察的系统导致未知的成本
        • Law 5:依托成本感知架构实现成本控制
      • Optimize(优化方面)
        • Law 6:成本优化是循序渐进的
        • Law 7:未经挑战的成功导致假设
    • 三、个人反思

一、前言

在今年 2023 亚马逊云科技的 re:Invent 大会中 Amazon.com 副总裁兼首席技术官 Werner Vogels 博士在主题演讲中,介绍了 The Frugal Architect(云架构俭约之道)这一架构设计法则理念。讲真的,当时并没有怎么上心点开这个视频,当看到这一部分的时候,突然一激灵,这一部分是我需要的,因为在过去的案例中深有感触,你的设计好坏,会影响很大的一部分成本,依稀还记得一个多服务的系统,在预估的时候,成本中心算下来要一千万花费,当时最头疼是客户显然很难接受,另外一个问题是我如何能够降低这个成本,完成最终的架构实施。

2004年Werner Vogels 加入亚马逊担任系统研究总监,2005年1月被任命为CTO和副总裁至今。

今年是Werner Vogels 第十二次在 re:lnvent 大会进行主讲。

Werner 凭借 20 年经验为技术专业提供了架构设计、衡量和优化方面的实用建议。他强调了技术领域的快速变化,呼吁持续学习。俭约不单指金钱,更关乎资源节约。科技进步和人工智能模型的更新带来了巨大的资源消耗挑战,必须引起高度重视。他认为成本是可持续性的近似衡量,这一点一直是他关注的焦点,也应成为大家的关注点。

Werner博士以荷兰文件传输服务公司 WeTransfer 的案例作为例证,该公司通过采用亚马逊云科技,成功降低了 2022 年服务器使用中的碳排放,减少了78%。这一改变源自他会上分享的七项黄金法则。

《The Frugal Architect》只有七页,每一页都突显了 Werner Vogels 想要强调的一项法则。这本书为架构师和开发者提供了关于架构设计、评估和优化的规范准则,形成了一份重要的教程。

在这里插入图片描述

在全球企业普遍强调“降本增效”的大环境下,《The Frugal Architect》的理念更显得及时。

关于 Law 与 Rule 的区别

注意:规则是人定的,但是他并不是死的硬性的规则,并且在 The Frugal Architect(云架构俭约之道)中这些规则被称为 Law(法则) 而不是 Rule

关于 Law 与 Rule 的区别,我觉得这里有必要提一下:

  • Law是万世不易四海皆准的真理,是天之律法;在中国古代那就是「经」。
  • Rule是人类制定的规则,是可以变动的,放中国古代那就是「纬」。

相对于 Rule,我们可以发现 Law 更接近本质,对常人(非理论革新者)来讲,Law 无法被推导,它处于理论或思维的原点,而 Rule 则常由一个或多个 Law 推导得出,其存在并非必须,我意思是说,前者只是后者体现出来的「现象」,如果没有 Rule,我们也可以由 Law 直接计算或推导得出,只是麻烦一些而已,但反过来要想由 Rule 得出相应的 Law 则是不可能的!

总之:可以理解为,Rule 是 Law 的现象,Law 是 Rule 的本质。

二、云架构俭约之道七法则

Design(设计方面)

Law 1:把成本作为非功能性需求

非功能性需求指定了可用于评判系统运作的标准,而不是具体的特性或功能。例如可访问性、可用性、可扩展性、安全性、可移植性、可维护性和合规性。经常被忽视的是成本。

在这里插入图片描述

公司之所以会失败,是因为他们在业务的各个阶段都没有考虑成本,从设计到开发再到运营,或者因为他们没有正确地衡量成本。数学很简单:如果成本高于收入,你的业务就面临风险。组织也需要将成本和可持续性视为非功能性要求。

通过早期和持续考虑成本影响,系统可以设计得平衡:特性、上市时间和效率。开发可以专注于保持精简高效的代码。而运营可以微调资源使用和支出,以最大化盈利能力。

核心要点:在设计架构的每一步都考虑成本因素

Law 2:可持续性系统需要将成本与业务相匹配

系统的可持续性取决于其成本与业务模式的良好匹配程度。在设计和构建系统时,我们必须考虑收入来源和利润点。重要的是找到你将从中获利的维度,然后确保架构符合这个盈利模式。

在这里插入图片描述

例如,在电子商务中,这个维度可能是订单数量。当订单增加时,基础设施和运营成本也会上升。这是可以接受的,因为如果你的系统架构良好,你就可以开始利用规模经济。重要的是基础设施成本对业务产生可衡量的影响。

作为建造者,我们需要思考收入,并利用这些知识来指导我们的选择。因为不顾一切成长会导致一连串的破坏,甚至是损失。

核心要点:偿还你的架构债

Law 3:架构设计是一系列权衡的取舍

在架构设计中,每个决策都伴随着权衡取舍。成本、弹性和性能是经常相互冲突的非功能性需求。

在这里插入图片描述

俗话说,“万物皆有可能失败。” 能够抵御失败意味着投资于弹性,但性能可能会付出代价。

找到技术和业务需求之间的合适平衡至关重要——找到符合风险承受能力和预算的最佳点。记住,节俭是关于最大化价值,而不仅仅是降低支出。为此,你需要确定愿意为什么付费。

核心要点:确立你的优先级

Measure(评估方面)

Law 4:未被观察的系统导致未知的成本

Werner 博士分享了一个阿姆斯特丹老房子的例子,将电表放在走廊上比藏在地下室的房子会使用更少的能源,其原因在于他们每天都可以看到能源消耗。

在这里插入图片描述

如果没有仔细的观察和测量,操作系统的真实成本将保持不可见。就像藏在地下室的公用事业计量器一样,缺乏可见性会导致浪费习惯。使计量器更加可见可以深刻地改变行为。

尽管观察需要投资,但不实施足够的监控是短视的。谚语警告说,“如果不能衡量它,就不能管理它。” 跟踪利用率、支出、错误等等对于成本管理至关重要。

当关键的成本指标置于工程师和他们的业务伙伴的核心位置时,更可持续的实践会自然而然地出现。持续的检查让你能够发现过度支出,并调整运营以削减开支。在可观测性方面的投资回报通常远远超过了开支。

最重要的是,将成本置于前沿可以鼓励可持续的实践。

核心要点:定义你的衡量单位

Law 5:依托成本感知架构实现成本控制

精简架构的本质是强大的监控与优化成本的能力相结合。良好设计的系统使你能够针对改进机会采取行动。为了实现这一目标,将应用程序分解为可调整的构建模块。

在这里插入图片描述

一种常见的方法是按重要性对组件进行分层。一级组件是至关重要的;无论成本如何都要进行优化。二级组件也很重要,但可以在不造成重大影响的情况下暂时降低规模。三级组件是“好有但不必须”的;让它们成本低廉且易于控制。

定义层级可以在成本和其他要求之间进行权衡。对组件的细粒度控制既优化了成本,又优化了用户体验。基础设施、编程语言、数据库都应该是可调整的。在架构和构建系统时要考虑收入和利润。成本优化必须是可衡量的,并与业务影响相关联。

核心要点:建立层级

Optimize(优化方面)

Law 6:成本优化是循序渐进的

成本效率的追求是一个持续的过程。即使在部署后,我们也必须重新审视系统,逐步改进优化。关键是不断质疑并深入探究。编程语言提供了性能分析工具来分析代码性能,虽然这些工具需要设置和专业知识,但它们能够进行细粒度的分析,从而导致可以减少毫秒级时间的变化。看似微小的优化在规模上积累起来会带来巨大的节省。

在这里插入图片描述

在运营中,大部分时间都花在运行现有系统上。有机会对资源使用进行分析,找出浪费并进行减少。在亚马逊,我们持续监控生产中的服务,以了解模式并修剪低效。节俭需要坚持不懈——通过逐步降低延迟和基础设施成本,我们可以优化提供服务的成本。

总是存在改进的空间……只要我们不断寻找。今天我们获得的节约为明天的创新提供了资金。

核心要点:持续优化

Law 7:未经挑战的成功导致假设

当软件团队在没有遇到重大失败或障碍的情况下取得重大成功时,就可能产生自满情绪。人们很容易过分自信于导致这些成功的方法、工具和实践。

在这里插入图片描述

软件团队经常陷入一种陷阱,就是假设他们当前的技术、架构或语言将永远是最佳选择,仅仅因为它们过去曾有效。这可能导致一种虚假的安全感,使人不愿质疑现状或探索可能更有效、更具成本效益或可扩展性的新选择。

在选择编程语言时经常会出现这种情况。“我们一直使用Java。”是我经常听到的一句话,它可能会扼杀创新。未经挑战的成功通过假设滋生了自满。我们必须始终寻求质疑、优化和改进的方法。

正如 Grace Hopper 所说,英语中最危险的短语之一是:“我们过去总是这样做。”

核心要点:证伪你曾相信的事情

三、个人反思

首先,看到像亚马逊这样庞大的公司的首席技术官在主题演讲中花了大量时间关注成本,这令人耳目一新(也令人惊讶)。随着公司努力在预算不断减少的情况下推动成功的产品创新,成本优化变得越来越重要,而上述一套可靠的原则将作为应对这些挑战的有用指南。

就我最同意的观点而言,最初的观点可能是最强烈的。在开发新产品时,成本不再处于次要地位。当你稍后考虑成本时,为时已晚,并且很难恢复早期未考虑成本的设计决策。我发现这在我们建设新管道的设计讨论中更多地被考虑在内,总的来说,人们似乎越来越关注成本,这是一件好事。

正确的架构都是关于权衡的,成本肯定会在决策中发挥作用。正确实施成本控制(第五法则)使这个过程变得更加简单。你的哪些组件是绝对不会出现故障的,哪些部分运行时间稍慢或偶尔出现故障是可以容忍的?了解这一点可以让你做出更好的成本驱动决策,例如使用按需实例与 Spot 实例、更容易出错的实例类型等。

适当的监控也很关键。虽然人们会从应用程序日志的角度考虑这一点,但不要忘记成本!正确标记所有资源并设置仪表板,并内置异常检测,以跟踪一段时间内的成本。 亚马逊云科技整合了计费和成本管理控制台,这使得你可以更轻松地在一个地方找到所需的一切。

成本优化是一个渐进的过程。虽然你总是想在一开始就考虑这一点,但障碍和挑战将会出现并迫使你转变方向。重要的是要牢记成本并继续将其作为决策过程的一部分。

最后但并非最不重要的一点是,质疑一切。良好的公司文化的标志是不仅允许而且鼓励这样做。你永远不知道什么时候你会发现事先没有考虑到的差距。

最后总结一下,Werner Vogels 在今年的 re:Invent 大会上分享了《The Frugal Architect》的架构设计法则。这些法则涵盖了关于成本、系统可持续性、权衡取舍、观察系统和成本优化的重要原则。他特别强调了将成本视为非功能性需求的重要性,以及对成本敏感的架构设计在实现成本控制方面的价值。而他的七项黄金法则不仅提供了技术层面的指导,更是对于技术人员应持续学习和不断优化的呼吁。这些法则不仅适用于技术架构,更关乎如何在一个不断变化的科技环境中保持敏锐和持续进步。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mfbz.cn/a/251264.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

【算法刷题】每日打卡——动态规划(1)

背包问题 例题一 有 N件物品和一个容量是 V 的背包。每件物品只能使用一次。 第 i件物品的体积是 vi,价值是 wi。 求解将哪些物品装入背包,可使这些物品的总体积不超过背包容量,且总价值最大。 输出最大价值。 输入格式 第一行两个整数…

深度学习python编译器的配置及法宝函数的作用

一、python编辑器的配置(pycharm 和 jupyter) (1)pycharm 在pycharm导入conda环境: 新建项目,更改编译器,选择已有的编译器 选择python.exe时会出现错误:找不到conda可执行文件 …

太空旅行:计算机技术的崭新航程

太空旅行:计算机技术的崭新航程 一、引言 自古以来,人类就对浩渺的宇宙充满了无尽的好奇和渴望。随着科技的飞速发展,太空旅行已经从科幻小说中的构想变为现实。在这个过程中,计算机技术起到了不可或缺的作用。从阿波罗时代的初…

EDT:On Efficient Transformer-Based Image Pre-training for Low-Level Vision

EDT:On Efficient Transformer-Based Image Pre-training for Low-Level Vision 论文地址:On Efficient Transformer-Based Image Pre-training for Low-Level Vision 代码地址:fenglinglwb/EDT: On Efficient Transformer-Based Image Pre…

知识付费小程序开发:技术实践示例

随着知识付费小程序的兴起,让我们一起来看一个简单的示例,使用Node.js和Express框架搭建一个基础的知识付费小程序后端。 首先,确保你已经安装了Node.js和npm。接下来,创建一个新的项目文件夹,然后通过以下步骤创建你…

LabVIEW实时建模检测癌细胞的异常

LabVIEW实时建模检测癌细胞的异常 癌症是全球健康的主要挑战之一,每年导致许多人死亡。世界卫生组织指出,不健康的生活方式和日益严重的环境污染是癌症发生的主要原因之一。癌症的发生通常与基因突变有关,这些突变导致细胞失去正常的增长和分…

excel手撕神经网络(只需高中数学基础)

神经网络最基础部分是由神经元组成,一个神经元相当于是一个一次函数,yaxb 即在已知x,和y情况下,怎么使用神经网络求解a和b 如下是使用excel求解的神经网络,可以方便理解神经网络运行原理 excel玩具神经网络下载地址 百…

蓝桥杯专题-真题版含答案-【排序法 - 改良的选择排序】【插补搜寻法】【稀疏矩阵】【欧拉与鸡蛋】

Unity3D特效百例案例项目实战源码Android-Unity实战问题汇总游戏脚本-辅助自动化Android控件全解手册再战Android系列Scratch编程案例软考全系列Unity3D学习专栏蓝桥系列ChatGPT和AIGC 👉关于作者 专注于Android/Unity和各种游戏开发技巧,以及各种资源分…

centos8stream 升级 sqlite3 ,解决 SQLite 3.27 or later is required (found 3.26.0).

服务器环境是centos8stream, 默认的sqlite是 3.26 ,因此,需要升级。 sqlite官网:SQLite Download Page 1.从官网下载最新源码包 cd /opt/ wget https://www.sqlite.org/2023/sqlite-autoconf-3440200.tar.gz tar xvf sqlite-autoconf-344020…

【webstrom】【idea】修改git历史提交记录

webstrom修改git历史提交记录 历史记录中有3条提交记录 此时2中的提交记录需要更新,我们可以在2中右击,选择“从这里执行交互式变基” 在弹框中选择需要修改提交记录2右击,然后选择“停止以编辑” 启动变基 更改2中内容 提交对2的更改 …

机器学习 高维数据可视化:t-SNE 降维算法

✅作者简介:人工智能专业本科在读,喜欢计算机与编程,写博客记录自己的学习历程。 🍎个人主页:小嗷犬的个人主页 🍊个人网站:小嗷犬的技术小站 🥭个人信条:为天地立心&…

Flink中的时间和窗口

在批处理统计中,我们可以等待一批数据都到齐后,统一处理。但是在实时处理统计中,我们是来一条就得处理一条,那么我们怎么统计最近一段时间内的数据呢?引入“窗口”。 所谓的“窗口”,一般就是划定的一段时…

CentOS 7系统加固详细方案SSH FTP MYSQL加固

一、删除后门账户 修改强口令 1、修改改密码长度需要编译login.defs文件 vi /etc/login.defs PASS_MIN_LEN 82、注释掉不需要的用户和用户组 或者 检查是否存在除root之外UID为0的用户 使用如下代码,对passwd文件进行检索: awk -F : ($30){print $1) …

(C++)VS下sizeof(string(““))与linux-g++下sizeof(string(““))大小区别及原因剖析

个人主页:Lei宝啊 愿所有美好如期而遇 说明 博主是x86平台,所以下面的结果是28;x64平台下是40,size_t变了,由int变long long。 接下来我们先来介绍 vs 下string的数据结构 我们可以看到有一个_Buf数组,…

极坐标下的牛拉法潮流计算57节点MATLAB程序

微❤关注“电气仔推送”获得资料(专享优惠) 潮流计算: 潮流计算是根据给定的电网结构、参数和发电机、负荷等元件的运行条件,确定电力系统各部分稳态运行状态参数的计算。通常给定的运行条件有系统中各电源和负荷点的功率、枢纽…

大模型时代-大模型开发入门

一、 学习大模型的入门知识 深度学习基础知识:了解深度学习中的基本概念、算法和模型,包括神经网络、卷积神经网络、循环神经网络等。 编程能力:掌握至少一种编程语言,如Python、C等,熟悉常用的深度学习框架&#xff…

解锁数据探索新时代,JetBrains DataGrip 2023 Mac/win中文版下载

JetBrains DataGrip 2023 Mac/win,作为一款全新的数据库管理和开发工具,为数据工程师、分析师和开发人员提供了强大的功能和工具,帮助他们更高效地处理和分析数据。无论你是使用Mac还是Windows系统,都能够通过这款软件轻松驾驭数据…

【halcon深度学习】目标检测的数据准备过程中的一个库函数determine_dl_model_detection_param

determine_dl_model_detection_param “determine_dl_model_detection_param” 直译为 “确定深度学习模型检测参数”。 这个过程会自动针对给定数据集估算模型的某些高级参数,强烈建议使用这一过程来优化训练和推断性能。 过程签名 determine_dl_model_detection…

【JAVA日志框架】JUL,JDK原生日志框架详解。

前言 Java日志体系混乱?Java日志框架系列,清晰简洁整理好整个Java的日志框架体系。第一篇,JDK原生日志框架——JUL。 目录 1.概述 2.日志级别 3.配置 4.继承关系 1.概述 日志框架的核心问题: 日志是用来记录应用的一些运行…

听GPT 讲Rust源代码--src/tools(13)

File: rust/src/tools/rust-analyzer/crates/ide-diagnostics/src/handlers/incoherent_impl.rs 在Rust源代码中,路径为rust/src/tools/rust-analyzer/crates/ide-diagnostics/src/handlers/incoherent_impl.rs的文件是为了处理Rust代码中的不一致实现问题而存在的。…