Visier数据科学团队通过迁移到Amazon SageMaker将模型输出提高10倍

由Kinman Lam和Ike Bennion于2024年10月3日撰写于 Amazon Machine Learning，Amazon SageMaker，客户解决方案 永久链接 评论 分享

这篇文章由Visier的Ike Bennion共同撰写。

关键要点

Visier的使命植根于一个信念：人是每个组织最有价值的资产，优化他们的潜力需要对员工动态有细致的理解。

Paycor是许多世界顶级企业人员分析公司中的一个例子，它信任并使用Visier平台来处理大量数据，以生成有价值的分析和可实施的预测洞见。

Visier的预测分析帮助了像Providence Healthcare这样的组织留住关键员工，估计节省了 6百万，通过采用一种基于Visier的退出风险预测框架，识别并预防员工流失。

值得信赖的来源如 Sapient Insights Group、Gartner、G2、Trust Radius 和RedThread Research 已认可Visier的创新性、出色的用户体验以及供应商和客户满意度。目前，超过50000个组织在75个国家使用Visier平台，以推动业务战略并取得更好的业务成果。

打破技术栈障碍，解锁增长潜力

Visier的分析和预测能力使其人员分析解决方案变得如此有价值。没有数据科学或分析经验的用户也能生成严谨的数据驱动预测，以回答例如重要职位的填补时间或关键员工的辞职风险等重大问题。

对于Visier而言，继续创新其分析和预测能力是高层管理的重中之重，因为这正是用户喜爱其产品的基石之一。

但是，Visier面临的挑战是，它的数据科学技术栈限制了他们的创新速度。实验和实施新的分析和预测能力既昂贵又耗时，因为：

借助SageMaker简化模型管理和部署

Amazon SageMaker 是一个托管的机器学习平台，为数据科学家和数据工程师提供熟悉的概念和工具，以构建、训练、部署、治理 和管理所需基础设施，以实现高度可用和可扩展的模型推理端点。Amazon SageMaker推理推荐器是一个示例工具，可以帮助数据科学家和数据工程师更加自主，不那么依赖外部团队，提供适当规模推理实例的指导。

现有数据科学技术栈是Visier应用平台众多服务之一。利用SageMaker平台，Visier构建了一个基于API的微服务架构，使分析和预测服务和应用平台独立分开。这使数据科学团队拥有所需的自主权，独立部署更改，并更频繁地发布新更新。

结果

Visier在将分析和预测服务迁移至SageMaker后，首个看到的改善是数据科学团队能花更多时间在创新上，例如建立预测模型验证管道，而不必花时间在部署细节和供应商工具集成上。

预测模型验证

下图显示了预测模型验证管道。

利用SageMaker，Visier建立了一个预测模型验证管道：

验证管道使团队能够交付一系列改进，从而在整个客户基础上将预测性能提高了30。

以规模训练客户特定预测模型

Visier为企业客户开发和管理成千上万的客户特定预测模型。数据科学团队的第二个工作流程改进是开发一种高度可扩展的方法，生成所有客户特定预测模型。这使得团队能够在相同资源下交付十倍于以往的模型。

如上图所示，团队开发了一个模型训练管道，在该管道中，模型更改在一个中央预测代码库中进行。这个代码库分别为每个Visier客户执行训练一个特定于客户的模型序列在不同时间点，这些模型敏感于每个客户及其数据的特殊配置。Visier利用这种模式以可扩展的方式将在单个模型设计上的创新推向其客户基础中的成千上万的定制模型。为了确保大型模型的最新训练效率，SageMaker提供支持并行的SageMaker模型并行库和分布式的SageMaker分布式数据并行库的库。要了解这些库的有效性，请查看使用Amazon SageMaker模型并行和数据并行库进行分布式训练和高效缩放。

利用前文提到的模型验证工作量，预测模型的更改可以在短短三小时内得到验证。

处理非结构化数据

迭代改进、可扩展的部署和数据科学技术的整合是一个良好的开始，但当Visier采用SageMaker时，目标是实现以前的技术栈根本无法触及的创新。

Visier独特的优势在于能够从整个客户基础的员工行为中学习。通过将大量客户相关数据集安全存储在 Amazon简易存储服务Amazon S3 中，并使用 Amazon Athena 直接使用SQL查询数据，这些繁琐的数据工程任务如将数据拉入环境和数据库基础设施成本被消除。Visier利用这些AWS服务合并相关数据集，并直接将数据输入SageMaker，最终创建和发布了一个新的预测产品社区预测。Visier的社区预测使较小的组织能够基于整个社区的数据生成预测，而不仅仅是自己的数据。这使得一个有100名员工的组织可以访问本应只属于拥有成千上万员工的大型企业的预测。

有关如何管理和处理您自己的非结构化数据的信息，请参见 使用AWS AI/ML和分析服务进行非结构化数据管理和治理。

在Amazon SageMaker中使用Visier数据

在Visier实现了内部变革性成功后，他们希望确保其最终客户也能利用Amazon SageMaker平台开发自己的人工智能和机器学习AI/ML模型。

Visier撰写了一份完整教程，介绍如何在Amazon SageMaker中使用Visier数据，并在其GitHub仓库中构建了一个Python连接器。这个Python连接器允许客户将Visier数据直通到自己的AI/ML项目，以更好地理解员工对财务、运营、客户和合作伙伴的影响。这些结果通常会返回到Visier平台，以分发这些洞见并推动衍生分析，以进一步改善员工生命周期的结果。

结论

Visier在Amazon SageMaker上的成功展示了这个托管机器学习平台的强大和灵活性。通过利用SageMaker的能力，Visier将其模型输出提高了10倍，加速了创新周期，并解锁了处理非结构化数据等新机会，为其社区预测产品。

如果您想简化机器学习工作流程，扩展模型部署并从数据中获得洞见，请探索SageMaker及其内置功能如 Amazon SageMaker管道的可能性。

今天就开始， 创建AWS账户，访问 Amazon SageMaker控制台，并与您的AWS账户团队联系，设置 基于体验的加速 参与，释放数据的全部潜力，并构建自定义生成AI和机器学习模型，以推动今日的可行洞见和业务影响。

关于作者

Kinman Lam 是AWS的解决方案架构师，负责西加拿大一些最大的ISV / DNB公司的健康与发展，同时也是AWS加拿大生成AI vTeam的成员，帮助越来越多的加拿大公司成功推出先进的生成AI用例。

Ike Bennion 是Visier的平台及平台营销副总裁，在人、工作与技术的交集领域中是一位公认的思想领袖。凭借在实施、产品开发、产品策略和市场推动方面的丰富历史，他在市场情报、商业战略和创新技术包括AI和区块链方面具有专业知识。Ike热衷于利用数据推动公平且智能的决策。工作之余，他热爱狗、嘻哈音乐和举重。

Azure 可能因 Apache Airflow 漏洞而受到威胁 媒体

微软Azure Data Factory中的Apache Airflow安全漏洞关键要点微软Azure Data Factory中的Apache Airflow受到三项低严重性漏洞影响。包括Kuber...

介绍 AWS Lambda 函数的高级日志控制 计算博客

AWS Lambda 函数的高级日志控制介绍作者：David Boyne，于 2023 年 11 月 16 日发布于 Amazon CloudWatch AWS Lambda 无服务器架构重点摘要AW...