cnvrg.io，數(shù)據(jù)科學(xué)平臺(tái)簡化模型管理和引進(jìn)先進(jìn)MLOps行業(yè)，宣布與NetApp的合作伙伴關(guān)系，首先要充分利用cnvrg.io數(shù)據(jù)集緩存工具，一組獨(dú)特的功能立即從緩存中提取數(shù)據(jù)集以進(jìn)行任何機(jī)器學(xué)習(xí)作業(yè)。cnvrg.io是第一個(gè)使用數(shù)據(jù)集緩存進(jìn)行端到端機(jī)器學(xué)習(xí)開發(fā)的ML平臺(tái)。緩存使數(shù)據(jù)集可以在幾秒鐘而不是幾小時(shí)內(nèi)就可以使用，并且緩存的數(shù)據(jù)集可以由連接到緩存數(shù)據(jù)的同一計(jì)算集群中的多個(gè)團(tuán)隊(duì)授權(quán)和使用。cnvrg.io客戶已經(jīng)在生產(chǎn)級(jí)別使用了數(shù)據(jù)集緩存。

擁有數(shù)百個(gè)數(shù)據(jù)集提供模型的情況并不少見。但是，這些數(shù)據(jù)集可能遠(yuǎn)離訓(xùn)練模型的計(jì)算，例如在公共云或數(shù)據(jù)湖中。借助NetApp和cnvrg.io的數(shù)據(jù)集緩存功能，用戶可以緩存所需的數(shù)據(jù)集(和/或其版本)，并確保它們位于連接到正在執(zhí)行計(jì)算的GPU計(jì)算群集或CPU群集的ONTAP®AI存儲(chǔ)中。訓(xùn)練。緩存所需的數(shù)據(jù)集后，不同的團(tuán)隊(duì)成員可以多次使用它們。

cnvrg.io數(shù)據(jù)集緩存功能可由具有ONTAP AI存儲(chǔ)服務(wù)器的任何cnvrg.io用戶使用。連接到組織后，數(shù)據(jù)科學(xué)家可以將其數(shù)據(jù)集的提交緩存在該網(wǎng)絡(luò)文件系統(tǒng)(NFS)上。緩存提交后，用戶可以將其附加到作業(yè)中以立即獲得對(duì)數(shù)據(jù)的高吞吐量訪問，并且該作業(yè)無需在啟動(dòng)時(shí)克隆數(shù)據(jù)集。cnvrg.io的數(shù)據(jù)集緩存功能具有以下業(yè)務(wù)優(yōu)勢(shì)：

提高生產(chǎn)率–數(shù)據(jù)集可以在幾秒鐘內(nèi)使用，而不是幾小時(shí)即可使用。

改進(jìn)的共享和協(xié)作–緩存的數(shù)據(jù)集可以由連接到緩存數(shù)據(jù)的同一計(jì)算集群中的多個(gè)團(tuán)隊(duì)授權(quán)和使用。

降低成本–模型正在從緩存中提取數(shù)據(jù)集，從而減少了每次下載的費(fèi)用。

運(yùn)營混合云–數(shù)據(jù)集緩存提供了本地高性能鏡像存儲(chǔ)。

多云數(shù)據(jù)集移動(dòng)性–使用本地緩存作為數(shù)據(jù)的控制點(diǎn)。

NetApp AI和數(shù)據(jù)工程高級(jí)技術(shù)總監(jiān)Santosh Rao說：“深度學(xué)習(xí)工作負(fù)載是獨(dú)特的，因?yàn)樗鼈冃枰L問可能來自不同數(shù)據(jù)源和分散位置的大型數(shù)據(jù)集中的隨機(jī)數(shù)據(jù)樣本 。” “此外，深度學(xué)習(xí)需要接近GPU Compute集群的高性能數(shù)據(jù)，這需要結(jié)合高性能閃存存儲(chǔ)系統(tǒng)，邊緣，核心和云連接器以進(jìn)行分散的數(shù)據(jù)位置訪問，并支持NFS廣泛使用的數(shù)據(jù)源格式或統(tǒng)一數(shù)據(jù)平臺(tái)上的其他文件系統(tǒng)。NetApp與cnvrg.io形成了首個(gè)同類合作伙伴關(guān)系，旨在通過采用深度學(xué)習(xí)來改變其業(yè)務(wù)的方式向全球客戶提供這些功能。”

“我們與NetApp的合作關(guān)系為數(shù)據(jù)團(tuán)隊(duì)提高了生產(chǎn)力和效率。” cnvrg.io首席執(zhí)行官兼聯(lián)合創(chuàng)始人Yochay Ettun說。“我們很高興推出用于機(jī)器學(xué)習(xí)的數(shù)據(jù)集緩存，為NetApp用戶和cnvrg.io用戶提供高級(jí)數(shù)據(jù)管理和數(shù)據(jù)版本控制工具，使數(shù)據(jù)團(tuán)隊(duì)能夠?qū)Ｗ⒂跀?shù)據(jù)科學(xué)，從而更快，更輕松地訪問其數(shù)據(jù)集。超過技術(shù)復(fù)雜性。”

標(biāo)簽： NetApp cnvrgio MLOps數(shù)據(jù)集緩存