数据科学平台cnvrg.io携手NetApp用深度学习改变MLOps数据集缓存 存储技术技术文章

今天小编要和大家分享的是存储技术相关信息，接下来我将从数据科学平台cnvrg.io携手NetApp用深度学习改变MLOps数据集缓存，[转]2016年不可错过的21个深度学习视频,教程和课程这几个方面来介绍。

存储技术相关技术文章数据科学平台cnvrg.io携手NetApp用深度学习改变MLOps数据集缓存

中国存储网消息，近日，数据科学平台cnvrg.io简化了模型管理并将MLOps引入行业，它宣布与NetApp公司。建立合作关系，这是第一个利用cnvrg.io数据集缓存工具的工具，该工具集可立即从缓存中提取数据集的功能对于任何ML工作。

Cnvrg Netapp合作伙伴

该公司提供的是第一个使用数据集缓存进行端到端ML开发的ML平台。

缓存使数据集可以在几秒钟内即可使用，而无需花费数小时，并且缓存的数据集可以由连接到缓存数据的同一计算集群中的多个团队授权和使用。公司的客户已在生产级别使用数据集缓存。

拥有数百个数据集提供模型的情况并不少见。

但是，这些数据集可能远离训练模型的计算，例如在公共云或数据湖中。

Cnvrg.io和Netapp的方案

借助NetApp和公司的数据集缓存功能，用户可以缓存所需的数据集（和/或它们的版本），并确保它们位于附加在进行训练的GPU计算群集或CPU群集的ONTAP AI存储中。缓存所需的数据集后，不同的团队成员可以多次使用它们。

该公司的数据集缓存功能可由ONTAP AI存储服务器的任何cnvrg.io用户使用。连接到组织后，数据科学家可以将其数据集的提交缓存在该网络文件系统（NFS）上。缓存提交后，用户可以将其附加到作业中以立即获得对数据的高吞吐量访问，并且该作业将不需要在启动时克隆数据集。

数据集缓存功能具有以下业务优势：

提高生产力 –可以立即使用数据集，而无需花费数小时。

改进的共享和协作 –缓存的数据集可以由连接到缓存数据的同一计算集群中的多个团队授权和使用。

降低成本 –模型正在从缓存中提取数据集，从而减少了每次下载的费用。

运营混合云 –数据集缓存提供了本地高性能镜像存储。