亚马逊云科技用生成式AI，向开发的复杂性动手了

机器之心报道机器之心编辑部生成式 AI、分布式扩展功能全面进化，还降价了。同一天的发布，完全不同的方向。今天凌晨，云计算巨头亚马逊云科技的 re:Invent 与大号创业公司 OpenAI 的发布「撞了车」。后者公布了一系列生成式 AI 应用，价格更贵、性能更大，而前者则致力于简化生产力矛盾，降低价格。不约而同的是，他们的发力点都在生成式 AI 等技术的应用上。正如亚马逊副总裁兼 CTO Werner Vogels 博士在演讲时所说的，想要做好基础设施，问题的核心是「复杂性」。「Complexity」这个单词，在他整场演讲现了近 70 次。在《Lessons in Simplexity》（繁简之道）中，Werner Vogels 将自己在亚马逊 20 年构建底层架构的经验浓缩为六条金句，句句有关人们如何面对日益复杂的技术系统。台上的 PPT 每一次翻页，都让台下的观众默契地举起手机。这六条经验是这样说的：Lesson 1 – Make evolvability a requirementEvolvability is a prediction for managing complexity将可演化性作为一项要求，可演化性是应对复杂性的一种预判Lesson 2 – Break complexity into piecesDisaggregate into building blocks with high-cohesion and well-defined APIs将复杂性拆解成多个部分，分解为内聚性高且有明确定义 API 的构建模块Lesson 3 – Align organization to architectureBuild small teams， challenge the status quo， and encourage ownership让组织与架构相匹配，组建小团队，挑战现状并鼓励主人翁意识Lesson 4 – Organize into CellsIn a complex system you must reduce the scope of impact组织成单元形式，在复杂系统中必须缩小影响范围Lesson 5 – Design predictable systemsReduce the impact of uncertainty设计可预测的系统，降低不确定性的影响Lesson 6 – Automate ComplexityAutomate everything that doesn’t require high judgement使复杂性自动化，将不需要高度判断力的一切事务自动化化繁为简，正是亚马逊云科技希望帮助千行百业用户做到的事情。这几天的大会上，亚马逊云科技概述了一系列围绕云计算、云数据库的创。如何让开发者和用户感受到「简单了」？答案是进化。亚马逊云科技还详细介绍了其整体战略，并概述了向量数据库是如何对生成式 AI 提供加持的。除了一系列创，还有降价措施，包括 Amazon DynamoDB 的按需定价降低了 50%。简单点，再简单点。这几乎是当下所以企业用户引入生成式 AI 技术时的同诉求。在今年的 re:invent 2024 发布内容中，这一原则体现的淋漓尽致。AI Agents让复杂的技术系统自动运转最近一段时间，智能体（AI Agents）是生成式 AI 域的重要发展方向，一系列应用快速落地。先有 Anthropic 基于最的基础大模型 Claude 3.5 Sonnet 提出了可以操纵 PC 的智能体功能，紧接着荣耀展示了基于一代操作系统 MagicOS 9.0 的全局智能体。在生产力端，微软也在 10 月推出了多种 Copilot 智能体，包揽了销售、服务、财务、供应链团队的任务。其实在企业开发环境中，AI 智能体的引入也早已开始。去年在 re:Invent 大会上，亚马逊云科技预览了生成式 AI 助手 Amazon Q Developer，它可用于跨集成开发环境（IDE）的设计、构建、测试、部署和维护，其中就有一系列 AI 智能体的能力。比如，Amazon Q Developer 可以自动分析代码库、生成转换计划并执行转换任务，包括升级和替换 NuGet 包和 API、重写已弃用和低效的代码组件，以及移植到跨台 .NET 等等。今年 4 月， Amazon Q Developer 全面上市，并增加了更多功能，例如支持 AWS 命令行界面（AWS CLI）、Amazon SageMaker Studio、AWS CloudShell 以及内联的对话功能，以便开发者在 IDE 中进行无缝编码操作。Amazon Q Developer 的一大价值在于，各个域的专家通过自然语言交互就能构建准确、生产质量的模型，即使他们不具备生成式 AI 开发方面的专业知识。任何团队都能够更快地创并缩短上市时间，同时减轻了对技术专家的依赖，或者说，原本储备的技术专家可以专注于更复杂的技术挑战。现在，Amazon Q Developer 的智能体功能有了更多的扩展，包括：1）增代码库中的档 (/doc)，2）支持代码审查以检测和解决代码质量问题 (/review)，3）在 IDE 或 GitLab Duo with Amazon Q（预览版）上自动生成单元测试、提高整个软件开发生命周期的测试覆盖率（/test）的功能。版 Amazon Q Developer 化了用于 .NET、大型机和 VMware 等工作负载的转换功能。亚马逊云科技还宣布在 Amazon Q Developer 中推出了帮助调查和修复运营问题的功能预览版。Amazon Q Developer 正在改变传统的开发工作流程，让开发环境中集成各种生成式 AI 功能。这种无缝集成有助于人们保持专注，同时加速除代码之外的各种开发任务，从而提高生产力。Amazon Q Developer 还把智能体带入到了 GitLab，将其转变为支持 AI 驱动的 DevSecOps 统一开发体验，能利用 AI 智能体来协助复杂的多步骤任务，并提供增的代码审查和单元测试功能。亚马逊云科技表示，通过 GitLab 快速操作与 Amazon Q Developer 的交互非常简单：直接在问题描述、一般评论或合并请求评论中输入 /q，开发者即可呼叫 AI 能力来帮助处理日常任务和复杂的工作流程。从一系列能力中，我们可以看到，亚马逊云科技对于 AI 智能体能力的应用有别于微软、Anthropic 等提出的方案，前者更多基于自身的微服务，更加面向具体的工作目标。可以说，亚马逊云科技长久以来基于真实工程任务的经验塑造了其生成式 AI 工具的可用性。这种面向生产的技术能够帮助开发者们更快地部署能力、简化工作流程、管理状态，并在专门的智能体之间动态分配任务。这些 AI 能力想必会很快获得大规模应用，毕竟在生产环境中，实用性说了算。一个窗口搞定所有开发下一代 Amazon Sagemaker 拿捏了生成式 AI 技术的确抬高了技术系统处理复杂任务的能力，但与此同时带来的系统复杂度提升，也成为了一座难以跨越的大山。对于各家所有云服务和数据台提供商来说，这个问题更加值得深入思考——因为它们的客户分布于千行百业，需求各不相同。在这一次有关于生成式 AI 的发布中，亚马逊云科技化零为整，将所有的数据管理、AI 开发、分析能力打包装进了下一代 Amazon SageMaker。Amazon SageMaker 诞生至今已有数年，最初是它只是一项用于开发和部署机器学习模型的托管服务。但在随后的几年里，这项服务一直在沿着 AI 技术的演化稳步进行现代化改造。如果说前几年亚马逊云科技始终专注于大幅扩展 Amazon SageMaker 的功能，那么今年，「精简」是的目标。它是所数据、分析、和 AI 需求的中心，包含全发布的 SageMaker Unified Studio 以及 SageMaker Lakehouse，集成数据目录与治理，支持数据源的无缝对接，将数据分析、数据治理以及 AI/AL 整合于一体。全发布的 Amazon SageMaker Unified Studio 就像是一个「全家桶」，既有积累多年的机器学习开发功能，又加入了之前分散的数据管理和应用程序开发服务，几乎涵盖了数据探索、准备和集成、大数据处理、快速 SQL 分析、机器学习 (ML) 模型开发和训练以及生成式 AI 应用程序开发所需的所有组件。基于版本的 Amazon SageMaker HyperPod，用户只需几分钟即可开始训练和微调这些基础模型并获得最先进的性能，包括 Llama 3.1 405B。当然，Amazon SageMaker Unified Studio 也内置了 Amazon Q Developer，用来提供辅助。必要的时候，开发者可以直接使用自然语言提问，比如「我应该使用哪些数据来更好地了解产品销售情况？」或「生成 SQL 以按产品类别计算总收入」。除了 Amazon SageMaker Unified Studio 之外，亚马逊云科技还推出了 Amazon SageMaker Catalog 和 Amazon SageMaker Lakehouse。前者允许管理员使用具有精细控制的单一权限模型定义和实施 Amazon SageMaker 中 AI 应用程序、模型、工具和数据的访问策略，后者提供了从 Amazon SageMaker 和其他工具到存储在 AWS 数据湖、数据仓库和企业应用程序中的数据的连接。这种转变的决心来源于亚马逊云科技对客户需求变化的洞察。生成式 AI 技术的爆发直接改变了数据团队和开发团队的合作方式，逐渐走向无缝协作的境界，目前的显著挑战在于数据孤立且分散在各个系统中，他们必须构建和维护复杂的数据管道，而且由于访问控制不一致，团队难以有效地访问和使用数据。这也是为什么亚马逊云科技在迭代时，选择将数据、分析和 AI 集成到同一个界面中的原因。通常来说，生成式 AI 开发中混合的模型类型和数据类型越多，就越能丰富分析输出、丰富业务工作流程。而 Amazon SageMaker Unified Studio 在集成上迈出的这一步，减少了用户用于管理多方面数据和多方面分析的工具和台数量，带来了技术系统复杂性的大大降低。数据存储、数据库的「加减法」为用户减负做到极致在部署和调用生成式 AI 的过程中，开发人员和企业用户会遇到很多难题，尤其在数据层面，要全方位考虑数据存储、数据库建设与迁移等不断演化的事实以及随之而来，对技术和功能的更高要求。正如 Werner Vogels 在会上所言，「软件系统必须要具备轻松适应未来变化的能力」。面对数据层面日月异的变化，亚马逊云科技从一开始便要在基础架构的可演化性层面下足功夫。针对数据存储，亚马逊云科技早在 2006 年就推出 Amazon S3（Simple Storage Service）云服务，成为其高度可扩展、持久、安全且低成本的多类型数据存储基础设施。此后，Amazon S3 在功能演化的同时注重做减法。推出的 Amazon S3 Tables 功能支持 Apache Iceberg 格式的云存储，相较通用 S3 存储桶提供了 3 倍的查询性能、10 倍的每秒事务数（TPS），并能自动管理表维护任务。如今 Amazon S3 微服务数量已经达到了 300+ 个，通过微服务架构将整个应用拆解为多个、功能明确的子服务，与 S3 的交互被大幅简化，相应的数据存储在的 S3 存储桶中，有助于数据隔绝管理，还能轻松扩展存储容量、确保高可用性和数据持久性。可以看到，Amazon S3 的演化历程呼应了 Werner Vogels 所说的将复杂性分解成小的构建模块、组织成单元形式并在复杂系统中缩小影响范围等经验，既精简了流程，也降低了用户的使用门槛。不仅如此，亚马逊云科技还进一步更 Amazon S3 的一项默认行为，自动验证用户数据是否通过网络从应用程序正确传输到 S3 存储桶中。并且 S3 可以在数据到达服务器时计算并校验数据完整性，主动监控数据的冗余性，减少并发故障的出现。数据库是每个应用程序的基础构建块，客户要依靠它们来搞定自身最关键的工作负载。为了更高效支持用户在 Amazon EC2（Elastic Compute Cloud）上运行数据库，亚马逊云科技推出 Amazon Aurora DSQL（分布式 SQL 数据库）、Amazon DynamoDB NoSQL 全局表、Amazon MemoryDB 多区域功能，进一步保障需要跨多区域运行的最苛刻工作负载。与其他流行的分布式 SQL 数据库相比，Amazon Aurora DSQL 能帮助用户构建具有最高可用性、一致性、兼容 PostgreSQL 且读写速度提升 4 倍的应用程序，进而实现进阶版的系统分解、低耦合 / 高内聚、定义明确的 API 以及细粒度控制、扩展和定制化安全。Amazon DynamoDB 全局表支持多区域一致性，确保用户的应用程序始终在全局表的任何区域读取最数据，消除了跨多个区域管理一致性的繁重工作，并且无需更改任何应用程序代码。Amazon MemoryDB 多区域功能则可以进一步帮助用户构建 99.999% 高可用性、全球分布的应用程序，并实现微秒级读取和个位数毫秒级跨区域延迟。最后，亚马逊云科技在 Amazon S3 件传输和数据库迁移服务两个方面也竭力为用户减负。其中通过 Transfer Family Web 应用程序，用户可以创建一个完全托管的 Web 应用程序，轻松地列出、上传、下载、复制和删除特定 Amazon S3 中的数据。DMS（Database Migration Service）的 Schema Conversion 现在可以使用生成式 AI 来自动执行耗时的数据库架构转换，自动化率达到 90%，无疑会大大减少手动工作量。可以预见，亚马逊云科技通过持续功能上的加法、用户部署上的减法，让人们得到了在数据存储和数据库层面的最优选择，质优、价低、上手易，赢得更多青睐也是理所当然。越简单，越大如今，生成式 AI 已经进入到了比拼落地能力的关键阶段，对于众多应用开发者来说，关注点不仅仅是模型不，更关注好不好用、用不用得起。相关基础设施和配套服务的完善程度很大程度上将决定用户的选择。这几天的 re:Invent 大会，无时无刻不在释放这样一种信号：亚马逊云科技不仅要在大模型的能力上对标甚至超越 OpenAI、谷歌、Anthropic，更要践行用户为上的理念。「为用户创造价值」说来简单，但拆解开来，将是一场漫长的变：不断将产品和服务的复杂性降到最低，通过功能创、AI 自动化流程来简化一切客户体验。一旦我们习惯了如此简单、大的技术系统，就很难再想象没有它的日子。2024 年行将结束的当口，终于有一家公司把生成式 AI 与生产力切实结合到了一起。不得不说，亚马逊云科技为生成式 AI 的落地，吹响了加速的号角。©THE END转载请联系本公众号获得授权投稿或寻求报道：liyazhou@jiqizhixin.com