MLops博客

最佳ML模型寄存工具

6分钟
8月2日2023

A级模型寄存器中心存储器使用版本控制机器学习模型.简单跟踪模型同时移动 训练、制作、监控和部署存储所有主信息,例如:

  • 元数据
  • 线程化
  • 模型版本
  • 注解
  • 并训练作业

模型寄存器由多队成员共享 工作同机学习项目模型治理大队大有优势治理数据告诉他们

  • 哪个数据集用于培训
  • 训练并发布模型
  • 模型预测性能
  • 最后,当模型部署制作

并读

ML模型治理、验证和线程最佳工具

通常,团队工作时,不同团队成员往往尝试不同事物,只有少数事物最终确定并推向版本控制工具模型寄存器帮助解决了这个问题,因为每个团队成员都可尝试自己的模型版本,而他们将记录项目行程中所有实验.

文章将讨论模型注册工具和评价标准并查看不同的模型注册工具比较,例如:

  1. 奈普奈
  2. ML流
  3. sagemakerAWS系统
  4. Verta.a
  5. 和彗星

开始吧

选择模型寄存工具评价标准

模型寄存器是重要部分MLOps平台/工具.市场中有大量工具可满足ML工作流需求插图显示这些工具按其专业分类

各种模型注册工具
模型注册工具分类源码

右下角产品聚焦部署监控脱机左下角聚焦培训跟踪.顶端目标覆盖ML生命周期的方方面面,中端目标则以倾斜方式执行多或全频谱

更精确地视觉化,让我们看一看另一幅图像:

更精确分类模型寄存工具
更精确 模型注册工具分类源码

从上图中可以推断工具像库贝波以及其他云提供方最均衡并均衡覆盖ML管道开发的每一阶段专用工具类海王星多边轴最接近轴线,即主要聚焦模型训练

注:前文提到的这些工具评价标准对这些工具当时(2021年11月)的特征具有主观性其中许多工具在过去一年中大大超出其专业范畴,所以用点盐来讨论吧。

然而,有一些常青因素对确定注册工具的有效性是不可或缺的。从我自己的经验来看,其中一些是:

安装和集成

选择正确的模型寄存工具往往受安装方式和它提供何种集成作用的影响组织通常根据开发环境选择工具例举 :

  • if组织使用AWS系统开发部署全局 Sagemaker讲得通 因为互容问题不存在
  • 但如果组织不使用AWS,那么工具像Neptune或NeptuMLFLOL可使用模型寄存器
  • 通常被视为端对端工具像Sagemaker一样,对互操作性概念和用户可用其他工具补充事实越来越开放

整合可能成为企业主要忧虑 致力于当前选择 技术栈组织使用连续集成工具时,似可选用易于混入的模版注册工具

易自动化

模型注册工具的另一要求是开发团队使用该工具的易易易程度

  • 某些工具需要你编码 所有东西存储模型版本
  • 有些工具需要少编码,而你只需要拖放不同组件使用
  • 还有一些完全基于AutomL概念的工具,不要求您写存储模型版本代码

自动ML工具定制弹性较小,而低代码工具最终提供定制和自动化选项,代码优先工具仅提供写代码设施可选择基于您的需要的工具

更新模型概述和模型阶段跟踪

模型注册工具的全部用意是简便概述开发团队所尝试的所有模型版本选择工具时,必须记住工具必须提供每个版本在每个阶段的模型概述跟踪模型超出开发范围用于维护并增强中转生产机器学习模型生命周期包括:

  • 训练
  • 阵列
  • 并制作

必须用模型注册工具跟踪

管理模型依赖能力

模型注册工具必须与ML模型需要的所有依存性兼容机器学习库、 Python版本和数据依赖权限检验处理需要特殊ML库和注册工具不支持的用例时,该工具对您没有多大意义。

提供团队协作的灵活性

可评价你和你的团队 是否可以合作注册模型模型寄存器允许与团队使用ML模型时,可选择工具

因此,您可按评估标准选择最佳模型注册工具

模型寄存工具比较

模型寄存工具有不同特征并执行各种独有操作下图比较

功能性
奈普奈
亚马逊Sagemaker
MLFLOL
彗星
Verta.AI

数据集版

版本模型文件

有限

版本模型解释

有限

有限

模型线程

有限

有限

主级切换标签

模型比较

有限

模型搜索

有限

有限

有限

模型打包

有限

定价

免费个人和研究人员,支付团队

用法标价

免费

免费个人和研究人员,支付团队

开源支付版可用

模型寄存工具

数个模型注册工具遍历业界

开工5凯时app

kb88凯时开户平台海王星元存储实验跟踪和模型寄存注册模型是工具的两个关键功能之一

泛指海王星允许日志、比较、显示、查询并整理所有元数据相关ML实验和模型只需几行代码集成您的代码,API灵活化,UI方便用户,但也准备高量登录元数据

www.musclechai.com仪表板模型元数据
海王星仪表板显示注册模型元数据列表源码

Neptune模型注册中的一些特征包括:

二叉ML流

开源平台管理ML模型生命周期mLFlow帮助你跟踪MLOps生命周期提供模型编译、模型线程、注解和从开发向部署功能过渡

MLFlow仪表板
MLFlow仪表板源码

ML流模型注册中的一些特征如下:

  • 提供时序模型线程,即ML流实验并运行时生成模型
  • 提供不同预定义模型阶段,如归档化编译编程化编程化编程化编程化编程化编程化编程化编程化编程化编程化编程化编程化编程化编程化
  • ML流允许你注解顶级模型并使用标记逐个编译
  • 网站提供 webhoks,以便自动触发基于注册事件的行动
  • 并备有模型事件邮件通知

学习更多

检查细节untune.ai和MLFlor比较.

3级亚马逊Sagemaker

开发者使用亚马逊SageMaker完全控制ML开发生命周期可编程制作模型、关联元数据并管理SageMaker注册器版本和批准状态

第一,创建模型版本并具体说明相关组并用推理管道注册模型变量和容器规范并使用AWS PythonSDK创建新模型版并使用AWS从模型寄存器中部署模型可部署训练有素机器学习模型实时干扰和低延时到SageMaker端点可使用亚马逊SageMaker模型监视特征监测部署模型

亚马逊SageMaker仪表板
亚马逊SageMaker仪表板源码

亚马逊Sagemaker模型注册中的一些特征如下:

  • 可创建模型组解决特定的ML问题允许查看所有模型版本 关联模型组
  • WS PythonSDK或AmazonSagemaker Studio使用,你可以查看模型具体版本的细节
  • 也可以关联元数据,例如培训度量并用模型并整体版
  • 模型寄存器内可批准或拒绝模型版,如果获批,CI/CD部署可轻而易举地从中实现

4级彗星

开发者可用彗星平台管理机器学习实验系统允许使用 PythonSDK实验版本、注册并部署模型

彗星跟踪模型版本和实验历史可查看所有模型版本的详细信息并使用模型复制优化可高效维护ML工作流

彗星仪表板
彗星仪表板源码

丰富特征彗星有各种功能运行和跟踪ML模型实验,包括:

  • 彗星允许很容易检查评价/测试运行历史
  • 很容易比较使用彗星模型寄存器的不同实验
  • 允许访问代码、依赖度、超参数和度量单UI
  • 中心内建报告和可视化特征与团队成员及利益攸关方通信
  • 允许配置 webhoks并整合Cypt模型寄存器

可能有用

检查细节neptune.a和Comet比较.

5级Verta.a

可使用VertaAI工具管理并操作单片空间模型提供交互式UI注册ML模型并发布元数据、人工制品和文档管理端对端实验时,你可将模型连接到实验跟踪器中菲律宾凯时国际官网开户VertaAI项目版本控制解决方案

并允许跟踪对数据、代码、环境 和模型配置的修改随审计日志无障碍性,你也可以随时检查模型的可靠性和兼容性也可以创建与您的项目相适应的独特审批序列并加入所选购票系统

VertaAI仪表板
VertaAI仪表板源码

VertaAI模型寄存库的一些主要特征如下:

  • 允许端对端信息跟踪,例如模型ID、描述、标签、文档、模型版本、发布阶段、人工品、模型元数据等,帮助选择最佳模型
  • 工作容器工具像Kubernetes嵌入器并不可与gitOps詹金斯帮助自动跟踪模型版本
  • 提供访问详细审核日志以达标
  • 环境像Git令它直觉化
  • 可搭建粒状访问控制编辑、编译员和协作者

摘要

阅读文章后,我希望你现在知道注册工具模型和选择注册工具模型时必须寻找的不同标准提供实用视角时,我们还讨论了一些广受欢迎的模型注册工具,并在若干方面相互比较。文章封装几键外送

  • 模型寄存器执行模型编译并发布制作
  • 选择模型寄存工具前,必须按要求评价每一模型
  • 模型登记册评价标准从监控和管理不同ML模型阶段和版本的能力到易于使用和定价不等。
  • 可参考不同模型注册工具高亮特征,以更好地了解工具与使用案例相容性

记住这些点,我希望您的模型注册工具搜索容易得多

引用

  1. https://www.phdata.io/blog/what-is-a-model-registry/
  2. //www.musclechai.com/blog/best-alternatives-to-mlflow-model-registry
  3. https://www.datarevenue.com/en-blog/why-is-a-model-registry-valuable

文章有用吗

感谢回馈