如何构建生成式AI与架构创新的未来 看亚马逊云科技施展魔力
进入到2024年,生成式AI技术以肉眼可见的速度发展着,我们看到文生文、文生图到文生视频、音频等技术不断地强化。麦肯锡此前估算,生成式AI每年对全球经济的贡献至多达7.9万亿美元。
作为全球云计算行业的领导者,亚马逊云科技在不久前落幕的2024中国峰会上,发布了诸多与生成式AI相关的重大战略、方案和合作计划。越来越多的企业在业务中使用生成式AI。
在生成式AI时代,技术架构演进如何安全稳定地进行,亚马逊云科技给我们带来了一些全新的思考。
基础组件能力决定架构设计
众所周知,生成式AI底层由云计算支撑,云计算的最基础组件是计算、存储和网络,其中又以计算作为最核心的组件。从Amazon Nitro到SRD、SIDR、UltraCluster、Nitro Enclaves、存储、自研芯片Amazon Graviton,亚马逊云科技不断创新赢得了客户的认可。
随着AI技术不断发展,对于亚马逊云科技来说,在帮助任何规模的公司从世界任何地方启动和扩展自己的业务之后,同样也在思考如何更好地拥抱生成式AI时代。为此,亚马逊云科技大中华区产品总经理陈晓建表示:“亚马逊云科技已经推出生成式AI三层技术栈。”
其中,底层是以GPU和自研芯片为代表的基础设施,用于基础模型的训练以及在生产环境中运行推理。亚马逊云科技提供了英伟达NVIDIA GPU,StabilityAI使用4000张A100 GPU训练Stable Diffusion。通过分布式训练技术,这些大规模模型的训练时间得以大幅缩短。
亚马逊云科技的自研芯片,如Amazon Trainium和Amazon Inferentia,进一步降低了生成式AI的训练和推理成本。陈晓建介绍道,基于Amazon Trainium的Trn1 EC2实例和基于Amazon Inferentia芯片的Inf2 EC2实例,与类似的基于英伟达GPU的Amazon EC2实例相比,训练成本降低高达50%(Trn1),推理成本降低高达40%(Inf2)。
亚马逊云科技大中华区解决方案架构总经理代闻介绍道:“在过去五年中,亚马逊云科技已经推出了四代Amazon Graviton处理器。在全球范围内,亚马逊云科技提供了超过150种基于Amazon Graviton的Amazon EC2实例,构建的Amazon Graviton处理器数量超过200万个,并且拥有超过50000名客户。这些客户包括使用基于Amazon Graviton实例的EC2前100名客户,他们通过使用这些实例为他们的应用程序提供了最佳的性价比。”
中间层是以Amazon Bedrock为代表的,提供可以访问所需基础模型,以及构建和扩展生成式AI应用程序的工具。Amazon Bedrock通过单一API访问多种高性能基础模型,并提供模型评估、模型定制和知识库功能。
陈晓建指出,生成式AI的真正价值在于其多样性和灵活性,客户可以根据不同的业务需求选择合适的模型。
Amazon Bedrock支持模型选择、模型定制、应用集成和负责任AI四大差异化价值。通过Amazon Bedrock,客户可以轻松访问和评估最新的基础模型,快速构建和部署生成式AI应用。例如,Claude 3模型、Llama 3模型和Cohere的Command R模型都可以在Amazon Bedrock上使用,满足不同应用场景的需求。
顶层则是以开箱即用的企业级生成式AI助手Amazon Q为代表,可以让用户任何专业知识即可快速上手生成式AI。
Amazon Q无须专业知识即可快速上手,帮助企业加速软件开发、改进业务流程。陈晓建强调,这些工具和解决方案旨在让每一个现代化企业都能够利用生成式AI的力量,推动业务创新和转型。
随着生成式AI三层技术栈的推出,代表的是亚马逊云科技面对这样一个新时代的到来,针对生成式AI领域所作出的创新;亚马逊云科技希望通过这些变化,帮助各行各业更好地拥抱生成式AI时代。
架构不断演进不变的三个需求
代闻指出,生成式AI时代,技术架构的核心在于灵活应对变革,同时保持技术原则的稳定性。
一直以来,亚马逊云科技都在计算、网络、存储和安全方面进行创新。Nitro虚拟化平台的推出,使亚马逊云科技能够将计算资源几乎100%地提供给客户,同时增强了虚拟化的安全性。
Nitro Enclaves提供了一个隔离的敏感数据处理环境,确保客户数据的安全和隐私。
在网络方面,亚马逊云科技开发了新的网络传输协议SRD和数据中心路由协议SIDR,大幅提升了网络性能和数据传输效率。
UltraCluster支持的GPU实例数量可达两万台,为大模型训练提供了强大的支持。
另外,在存储方面,Nitro平台支持单个虚拟机的最大IOPS可达400K,存储带宽可达100Gbps,显著提升了存储性能。
亚马逊云科技还通过自研芯片Graviton,不断提升计算性能和能效,为客户提供最佳性价比的计算实例。
在架构体系创新方面,亚马逊云科技非常注重韧性、弹性和效率的提升。亚马逊云科技的Amazon IAM是高可靠访问控制服务的典范。Amazon IAM将控制平面和数据平面分离,使得每个区域的身份验证和授权可以独立运行,即使控制平面失效,区域内的服务依然可以正常运作。通过单元架构(Cell-based Architecture),Amazon IAM实现了全球高可靠架构,每秒处理超过十亿次调用,成为高韧性安全的基石。
在多元技术融合方面,亚马逊云科技专门构建了各种数据服务,包括关系型数据库、非关系型数据库、数据仓库,以及各种批示/流式的数据采集和分析服务。同时,亚马逊云科技通过Zero-ETL,可以帮助客户将Amazon Aurora,Amazon Dynamo DB等关系型和非关系型实时数据自动同步到Amazon Redshift数据仓库进行分析等。
代闻表示:“作为架构师、工程师,或者任何一个有技术信仰的构建者,你的每一行代码,你的每一种选择,你的每一个决定,都是写给未来的信。”
由此可见,技术架构演进过程里面不变的三个主题需求:基础组件能力,架构体系创新,多元技术融合。我们应该看清变化的技术和不变的需求,积极推进架构演进,连接未来的想象。
写在最后
当下,我们正处在一个变革的时代,而这也将成为构建者的绝佳时机。我们看到,亚马逊云科技所提供的丰富工具、多元产品、完备解决方案以及强大的合作伙伴,这些都为我们的创新之路奠定了坚实的基础,这些创新将拥有改变行业格局的力量,推动行业向着更高、更强的方向发展,为行业的进步注入源源不断的动力。
过去十年,云计算为创新和创业提供了前所未有的便利,未来十年,生成式AI让我们有机会一起重塑各行各业。
- 微博认证登录
- QQ账号登录
- 微信账号登录
企业俱乐部
Copyright (C) 1997-2020 Chinabyte.com, All Rights Reserved