AWS re:Invent 2021 观后感
今年我注册了AWS re:Invent 2021的免费账号，抽时间浏览了大部分KeyNote，少部分Leadership Session和一小部分我感兴趣的内容。
最后，可能因为看得有点多，上瘾了。我也找来了其他云厂商的年度活动来看，GCP、Azure、阿里云，以及前一段时间在知乎上刷到的字节跳动新的云服务火山引擎。火山引擎IaaS的发布会在12.2号，基本和AWS re:Invent在同一段时间，我也对比着看了。以后有时间出一期对比视频。
之后我会挑几个今年AWS活动里面我印象比较深刻的几个部分谈谈自己的感想。
另外推荐一下AWS的播客，在Spotify或者Apple Podcast上搜AWS直接能搜到。更新非常频繁，上下班通勤路上碎片时间充电的黄金之选。
CEO KeyNote
AWS CEO的keynote有两个多小时，有很多内容。从开始介绍了15年AWS的历史，这个部分请了纳斯达克CTO来介绍她们是如何使用AWS的服务的。后面回顾第一个发布的产品是S3，之后是EC2，然后扩展EC2从最开始的实例（Instance Type）到上百种的实例，并且还在增加。之后引入了自研芯片Graviton 3和对应的实例。之后介绍了包括Data和机器学习方面的产品，这个演讲部分非常标准，后面细说。再接着是Training和工业转型相关的新服务。最后收尾，云计算对创新的重要性，以及今年keynote的主题transformation。为什么主旨是transformation，是因为自疫情以来，越来越多的企业转向云计算。云计算最大的特点是”pay as go”，不拥有自己的数据中心，或者说机房，只使对自己使用的云上计算资源进行付费。这在后疫情时代是非常有意义的。对于某些在疫情中，业务受阻，需要削减IT支出的企业，比如全美航空，云计算帮助他们节约了成本。对于在疫情中业务取得长足发展的企业，比如Netflix，云计算能够快速响应他们增长的IT资源需求，不存在购买计算机 → 安装 → 部署 → 投入使用的长期循环。以及今年很大的环节在讲解对于数据的使用，从传统的决策到基于数据（data-driven）的决策，也是transformation的一个重点。
下面想要讲一下data部分的演讲结构，这个是一个非常标准的美式演讲+产品发布。虽然不知道什么时候能用上，但是我认真学习并记了笔记。
这个部分的演讲从南丁格尔的故事开始，第二次世界大战的时候，南丁格尔发现英军战地医院的死亡率异常高。根据她多年护士生涯的经验判断，死亡率居高不下的原因应该是战地医院卫生措施导致的护理过程中的干扰导致的，她向上级报告了这一想法，并请求批准提高卫生等级的经费。上级因为经费紧张，拒绝将有限的经费用于卫生环境。之后南丁格尔只身采集大量数据，做了一张明显能看出来死亡率与卫生强相关的数据图，最终说服了上司。南丁格尔在战后也因此创举成为第一个获得英女王奖章的女性。以这个故事为引子，CEO提出了当今数据对于作出正确决策的重要性。
之后他提出了一个数据应用的流程框架（The Data Jounery）：
Data Sources → Goverence → People, Apps and Devices
之后分成三个部分说明AWS如何帮助企业在全环节处理、使用和管理自己的数据。每一部分的介绍都关联了既存的AWS服务，也退出了几个新的数据相关的服务。这部分介绍完了之后，CEO邀请了全美航空的CTO来介绍他们公司如何使用AWS来利用数据开展业务。
在Guest Speeching结束之后，他讲到之前都是说如果使用过去的数据，目前使用机器学习基于已有的数据预测未来也是很重要的。开始介绍机器学习部分产品，包括SageMaker的进一步加强以及面对不了解机器学习的人也能使用的SageMaker Canvas。最后提了一嘴机器学习的民主化，AWS帮助所有人都能使用机器学习的力量。
最终又回到了南丁格尔的故事，南丁格尔通过数据看到了其他人看不到的东西，AWS帮助每一位客户做到这件事。
这部分演讲结构非常工整，从一个故事开始，一个故事结尾。中间分成对于现有数据的分析以及对于数据的预测。非常值得学习。
Netflix Session
Netflix一直是我很感兴趣的一家公司，从2010年Netflix决定把自己的几乎全部计算平台迁移到AWS，他们坚信让专业的人做专业的事情。将计算资源交给云服务厂商打理，能让更加专注于自己的core business——创造优质内容。
我们先来看几个来自Netflix re:Invent 2016 Speech的数据：
- Netflix 的视频服务在高峰时段占据了高达37%的 Internet 流量。相比之下，YouTube 仅占到 15.6%，网页浏览约 6%, Facebook约 2.7%, Amazon Instant Video 约2.0%， Hulu 约1.9%
- 在 AWS 上共利用超过10万个 EC2 Instances 的80万CPU Cores，且在此基础上有约 20% 的波动
- 在每个服务区域上的 AWS Elastic Load Balancing 的流量超过 50Gbps
- 在 S3 上存储和管理超过15亿个对象的 60 PB 的数据。其中每天要丢弃超过 400TB 的过期数据以及新增 600TB 的数据
[AWS re:Invent 2016] Day in the Life of a Netflix Engineer
考虑到疫情后，Netflix用户的日均使用时长达到惊人的三个半小时，上述的数字应该会有大幅的提升。
近几年的re:Invent都会有专门的Netflix session，我挑了几个看了一下，有一个prioritized load shedding的speech非常有意思。我来分享一下大致的内容。
[NFX] Keeping Netflix reliable using prioritized load shedding
简而言之，这项技术是对于用户不同类别的请求进行优先级分类，在请求数目陡增，服务器端Auto-Scaling完成之前，drop掉不影响客户串流体验的请求，以保证最基本的服务质量。
这个演讲的技术应该分类在SRE或者QA，我想应该没有比Netflix工程师更懂可靠性工程的吧。
我很早之前就很喜欢看Netflix工程师的speech。如果说谷歌工程师受到evaluate axis里complexity的趋势，倾向于把简单的问题用你能想到最复杂的方式去解决。那么Netflix工程师则是用最朴素的方式去解决问题，并用最能让人理解的方式和逻辑链讲出来。
AWS Private 5G
我本人是从通信专业跑路到码农的，尽管已背叛C的阵地，但还是一直关注着通信行业新闻的。要说这次AWS活动中让我最意想不到的产品就是CEO KeyNote发布的第二个大项——AWS Private 5G。
AWS从前几年开始就一直和电信运营商有着密切的合作，美国最大的运营商Verizon迁移了一大部分计算资源到AWS，AWS在日本最大客户是日本用户数最多的运营商NTT DoCoMo。在去年的re:Invent上，AWS宣布推出了5G边缘部署服务——AWS Wavelength。尽管不知道现在这项服务的具体销售数据如何，但从今年早些时候已经在亚太多个市场开始服务来说，运营得应该还不错。
不过从AWS与CSP和网络设备vendor的密切关系来说，Private 5G也就并不是这么意外地出现了。目前网络上对于这项新服务的资料很少，除了官方的介绍page和媒体的新闻稿暂时见不到其他消息。
由于这是一个面向企业的服务，相信信息以及具体收费需要联系销售人员才能得到spec，作为对其感兴趣的个人，我就很难受了。
另外，负责这项产品的Principal PM，Bala Thekkedath在AWS官方博客上介绍了一些在CEO KeyNote上没有详细说的细节。包括设想的应用场景，收费模式，以及和partner的合作等等。