使用 Amazon SageMaker 模型注册中心管理生成 AI 应用中的基础模型

关键要点

生成 AI 的基础模型 (FMs) 在各行各业中逐渐获得了重视，其多样性和解决多种应用场景的潜力，让越来越多的企业愿意采用这些模型。然而，将这些模型在企业及其生命周期中进行有效管理，往往面临复杂性挑战。特别是在将基础模型适配到不同领域和数据时，合理构建并运行这些流水线尤为重要。

Amazon SageMaker 是一项全托管的服务，旨在构建、训练和部署机器学习ML模型，近年来为定制和部署支持生成 AI 应用的基础模型而广受欢迎。SageMaker 提供丰富的功能以构建自动化工作流，实现大规模的模型部署。其中， 模型注册中心 作为关键组件，帮助用户目录化和管理模型版本，并促进协作和治理。当模型训练并评估其性能后，可以将其存储在模型注册中心进行管理。

随着 Amazon SageMaker 对模型注册中心的功能更新，客户可以轻松地对基础模型进行版本化和目录化。通过 SageMaker，客户可以训练或微调基础模型，包括 Amazon SageMaker JumpStart 和 Amazon Bedrock 模型，并在模型注册中心内管理这些模型。随着客户在各类应用场景中扩大生成 AI 的使用，模型的数量可能迅速增加。为此，SageMaker 模型注册中心可作为模型的库存，帮助跟踪模型、版本及相关元数据。

在本文中，我们将探索模型注册中心的新功能，这些功能简化了基础模型的管理：现在可以注册未压缩的模型工件，并在无用户干预的情况下传递最终用户许可协议 (EULA) 接受标志。

概述

模型注册中心在传统模型注册时表现良好，但在处理基础模型时，由于其庞大的体积以及用户干预的需求，面临着一些挑战。借助模型注册中心的新功能，注册微调后的基础模型变得更加简单，从而可以实际部署使用。

一个典型的模型开发生命周期是一个迭代过程，我们需要多次进行实验以达到预期的模型性能。一旦模型经过训练，就可以注册到模型注册中心并进行版本目录化。模型可以按组组织，版本之间也可以比较其质量指标，并对模型的可部署状态进行标记。

一旦模型经过手动批准，持续集成和持续部署CI/CD管道便可触发，将这些模型部署到生产环境中。此外，模型注册中心可以作为企业批准使用模型的库，不同团队可以从中部署获批的模型并围绕其构建应用。

以下是一个示例工作流流程，以及相关的步骤：

图 1：基础模型的模型注册中心工作流

为了更好地支持生成 AI 应用，模型注册中心发布了两个新功能：ModelDataSource 和源模型 URI。以下部分将详细探讨这些功能及其使用方法。

ModelDataSource 加速部署并提供 EULA 依赖模型的访问

此前，在模型注册中心注册模型时，模型工件必须与推理代码一起以压缩格式存储。这对生成 AI 应用带来了挑战，因为基础模型往往体积庞大，参数量可达数十亿。当将基础模型作为压缩模型存储时，导致 SageMaker 端点启动时间增加，因为在运行时解压这些模型所需的时间非常长。现在，modeldatasource 参数可以接受未压缩模型工件在 Amazon Simple Storage Service (Amazon S3) 中的位置，这简化了注册过程。这也消除了端点需要解压模型权重的需求，从而降低了端点启动时的延迟。

此外，公共 JumpStart 模型 和某些来自独立服务提供商例如 LLAMA2的基础模型，则要求在使用之前接受其 EULA。因此，当微调来自 SageMaker JumpStart 的公共模型时，它们无法存储在模型注册中心，因为用户需要接受许可协议。模型注册中心添加了一项新功能：在 modeldatasource 参数中支持 EULA 接受标志，允许此类模型的注册。现在，客户可以为更广泛的基础模型在模型注册中心中进行目录化、版本化，并关联训练指标等元数据。

以下是如何注册存储在 Amazon S3 中的未压缩模型的示例代码：

pythonmodeldatasource = { S3DataSource { S3Uri s3//bucket/model/prefix/ S3DataType S3Prefix CompressionType None ModelAccessConfig { AcceptEula true } }}model = Model( sagemakersession=sagemakersession imageuri=IMAGEURI modeldata=modeldatasource)modelregister()注册需要 EULA 的模型：

pythonfrom sagemakerjumpstartmodel import JumpStartModelmodelid = metatextgenerationllama27bmymodel = JumpStartModel(modelid=modelid)registeredmodel = mymodelregister(accepteula=True)predictor = registeredmodeldeploy()

源模型 URI 简化注册并支持专有模型

模型注册中心现在支持对某些已识别模型 ID 的推理规范文件进行自动填充，包括一些 AWS Marketplace 模型、托管模型或在模型注册中心中版本化的模型包。由于源模型 URI 的支持可以进行自动填充，您可以注册来自 AI21 Labs、Cohere 和 LightOn 等提供商的 专有 JumpStart 模型，而无需提供推理规范文件，从而允许您的组织在模型注册中心使用更广泛的基础模型。

之前，要注册一个经过训练的模型到 SageMaker 模型注册中心，您必须提供部署所需的完整推理规范，包括 Amazon Elastic Container Registry (Amazon ECR) 图像和训练好的模型文件。随着 sourceuri 支持的推出，SageMaker 让用户在注册时只需提供模型的源 URI，这个自由格式的字段可以存储模型 ID 或指向专有 JumpStart 和 Bedrock 模型 ID、S3 位置和 MLflow 模型 ID的地址。用户可以在注册时不必提供部署到 SageMaker 托管所需的详细信息，随后可在需要时添加工件。在注册后，要部署模型，您可以打包模型推理规范并相应地更新模型注册中心。

例如，您可以使用模型 Amazon 资源名称ARN源 URI 注册模型：

pythonmodelarn = lt要注册的模型的 ARNgtregisteredmodelpackage = modelregister( modelpackagegroupname=modelgroupname sourceuri=modelarn)

之后，您可以用推理规范更新注册的模型，使其可以在 SageMaker 上部署：

pythonmodelpackage = sagemakersessionsagemakerclientcreatemodelpackage( ModelPackageGroupName=modelgroupname SourceUri=sourceuri)mp = ModelPackage( role=getexecutionrole(sagemakersession) modelpackagearn=modelpackage[ModelPackageArn] sagemakersession=sagemakersession)mpupdateinferencespecification(imageuris=[ecrimageuri])

注册一个 Amazon JumpStart 专有 FMs 模型：

pythonfrom sagemakerjumpstartmodel import JumpStartModelmodelid = ai21contextualanswersmymodel = JumpStartModel(modelid=modelid)modelpackage = mymodelregister()

结论

随着组织在各个业务领域不断采用生成 AI，拥有强大的模型管理和版本控制变得至关重要。通过模型注册中心，您可以实现版本控制、跟踪、协作、生命周期管理和 FMs 的治理。

在本文中，我们探讨了模型注册中心如何更有效地支持生成 AI 模型管理贯穿模型生命周期，帮助您更好地掌控和采用生成 AI，以实现转型成果。

欲了解有关模型注册中心的更多信息，请参见 使用模型注册中心注册和部署模型。要开始使用，请访问 SageMaker 控制台。

作者介绍

Chaitra Mathur 是 AWS 的首席解决方案架构师，负责为客户提供有关在 AWS 上构建稳健、可扩展和安全解决方案的建议。她对数据和 ML 有浓厚兴趣，协助客户有效利用 AWS 的 AI/ML 和生成 AI 服务，满足其 ML 需求。她在职业生涯中在多个会议上分享了自己的专业知识，并撰写了多篇关于 ML 的博客文章。

Kait Healy 是 AWS 的解决方案架构师 II，擅长与初创企业和企业汽车客户合作，拥有构建大规模 AI/ML 解决方案以驱动关键业务成果的经验。

Saumitra Vikaram 是 AWS 的高级软件工程师，专注于 AI/ML 技术、ML 模型管理、ML 治理和 MLOps，以提高整体组织效率和生产力。

Siamak Nariman 是 AWS 的高级产品经理，专注于 AI/ML 技术、ML 模型管理和 ML 治理，以提高整体组织效率和生产力。他在自动化流程和部署各种技术方面具备丰富经验。

Selva Kumar 是 AWS 的软件工程师，专注于 SageMaker 存储库服务。在他的角色中，他专门管理和优化支持机器学习模型和数据集版本控制的工具和功能，确保无缝体验以存储、访问和管理其 ML 资产，并将这些能力与其他 SageMaker 服务整合以简化机器学习生命周期。

标签 Amazon SageMaker 生成 AI

如果你错过了：管理云成本、提升财务表现，以及如何开始云财务管理 云财务管理

云成本管理与财务绩效提升指南关键要点在当今的云计算环境中，有效管理云成本对于实现业务目标至关重要。本文为您提供了三大AWS资源，帮助您理解和优化IT花费，同时推动企业财务表现的提升。AWS云计算为您提...

衡量您转型的成功 云企业战略博客

成功衡量您的转型之道关键要点在这篇文章中，我们探讨如何衡量云端及数字转型的成功。强调连结云端计划与企业核心战略目标的重要性。提出多种衡量成本降低、IT交付、商业灵活性及风险减少的方法。如何判断您在云端...