Elevatus如何使用海王星检查一分钟实验结果

叶尔瓦图斯人才管理平台覆盖前招聘、录用和入职周期通过创新部创建智能系统,通过降低招聘过程复杂性无缝满足客户需求

Elevatus有几种产品,但案例研究聚焦视频评估产品使申请者能够单向面试申请

训练大模型时易观察性可追踪性

团队开始开发产品预模

训练第一批模型时没有可观察性层每当同事请求证据时,我不得不重新分析数据并重实施工作流这样做不正确。”Elevatus首席创新官YanalKashou表示

他们意识到需要成熟可观察层作为培训前先导程序,然后开始大规模培训工作并让利害相关方参与审核AI系统

团队开始寻找模型跟踪解决方案 并有几条标准Yanal说,“我想跟踪模型性能,回溯时间并说模型XYZ, 特别是从历史角度上讲。”

除此以外,还广泛使用PyTorrch闪电并Optuna软件供所有测试使用, 解决方案需要 连接这些工具

选择海王星 并融入全工作流

Elevatus团队使用Kubernetes云基础设施并运行YAML列表文件配置海王星配置硬编码入文件程序执行训练脚本后监测所有功能和操作过程团队表示海王星到位后 他们可以更好地评价模型 优化计算使用 快速遍历实验

海王星和Optuna都位定后 万事自然发生假设我们想改变点什么海王星完全融入工作流需要约15分钟做不同的事情 并迭代完全不同层次提到Yanal

没有海王星 球队无法清晰了解方向在那里他们看到可观察层值帮助学生理解应找何方,应去哪儿,应如何配置训练

团队一准备就绪,便推送训练模型到谷歌云存储专用文件夹中使用命名结构,与海王星实验相匹配(这部分计划采用)。海王星模型版功能快速)

团队中任何人都可以做同样的事情,因为Neptune给他们这个共享集中视图.当他们告诉我训练有问题时 需要帮助处理窃听器 或我们不知道为什么会出事 即时回退即查看海王星

大模型操作关键点是什么 团队可以缩放实验监控组件 数据集大小增长到兆字节带海王星,我们从小到大观察测试的能力没有变化成功训练方块数据

可定制用户界面可视化培训

Elevatus团队使用Neptu评估多重工具

Yanal表示,MLFLA但它并没给我我想要的可观察性仪表板我们不得不从头开始构建一切部署并不容易管理我喜欢它框架对许多使用案例大有裨益,

并检查TensorBoard,但遇到数项问题可惜TensorBoard最擅长笔记本环境,而团队通常使用脚本而不是笔记本执行训练任务除此以外,它缺乏海王星提供的灵活性和易用性

Yanal表示,“在TensorBoard默认下,有许多参数我不想监控。我想设计我自己的度量跟踪, 和这是海王星 开始游戏。

海王星可以搭建定制视图并仪表板精确监控他们想要的度量

比较工具

逐特性比较ML流、TensorBoard和Neptune

Yanal表示他视Neptune为SQL基础系统,

• 生成图表
• 性能高级解析
• 深入调查
• 建立彻底训练历史
• 并无缝定制仪表板以适应手头项目的具体需求

以这种灵活性,Elevatus团队取得显著更好的结果

平均MSE~0.043和平均MAE~0.16测试178(四种预测方式,包括文字音调、眼运动和面部表达式)预测单片个人特征60秒视频音频精度(和精度)推理随视频长度增加

原因是监听层可用归根结底,我们可以去研究, 查看每一个参数, 并做详细比较以知道哪个试验表现得更好.'-Yanal表示

---

感谢YanalKashou和Elevatus团队与我们合作创建案例研究