Weka通過與Valohai的深度學(xué)習(xí)管道管理解決方案集成來進一步推廣Weka AI
WekaIO(Weka)高興地宣布與Weka創(chuàng)新網(wǎng)絡(luò)(WIN)合作伙伴Valohai的深度學(xué)習(xí)管道管理解決方案集成。該公告鞏固了Weka的承諾,即授權(quán)數(shù)據(jù)科學(xué)家和首席數(shù)據(jù)官管理數(shù)據(jù)科學(xué)管道并確定其優(yōu)先級。Valohai的工具在Amazon Virtual Private Cloud(Amazon VPC)中受支持,并在AWS Marketplace中可用。
“新的工作負載推動了對現(xiàn)代基礎(chǔ)架構(gòu)的需求,而最近推出的Weka AI為Accelerated DataOps提供了一種變革性的解決方案框架,” Weka的AI和戰(zhàn)略聯(lián)盟負責人Shailesh Manjrekar說。“我們與Valohai的合作伙伴關(guān)系以及與深度學(xué)習(xí)管道管理工具的集成,擴展了Weka AI的功能,可提供可解釋性AI(XAI)。對于具有社會影響的用例(包括自動駕駛,醫(yī)療保健和基因組學(xué)),這是一個關(guān)鍵因素。”
與技術(shù)聯(lián)盟合作伙伴(如Valohai)的解決方案集成,增強了Weka AI的功能。在Weka文件系統(tǒng)(WekaFS)的支持下,Weka AI現(xiàn)在提供了生產(chǎn)就緒型解決方案,可以在其中運行整個AI數(shù)據(jù)管道工作流程,從數(shù)據(jù)提取到批處理特征提取,訓(xùn)練,超參數(shù)優(yōu)化,最后到推理和版本控制。相同的存儲平臺,無論是本地還是AWS。由于WekaFS提供出色的混合工作負載性能以及數(shù)據(jù)管理和治理功能,因此才有可能。
Valohai首席執(zhí)行官Eero Laaksonen表示:“機器學(xué)習(xí)(ML)使企業(yè)具有競爭優(yōu)勢,但是雖然ML很難,但現(xiàn)實世界中的ML卻要困難得多。” “現(xiàn)實世界中的ML系統(tǒng)具有95%的使能代碼,而只有5%的實際ML代碼可創(chuàng)造業(yè)務(wù)價值,因此,問題就變成了如何確保將精力集中在5%上。借助Valohai,企業(yè)可以專注于數(shù)據(jù)科學(xué),因為它可以處理其他所有事務(wù)。就像指向您的代碼和數(shù)據(jù)并單擊“運行”一樣簡單。DLMS解決方案與Weka強大的按對象對齊功能之間的無縫集成為DataOps提供了快速,零設(shè)置的基礎(chǔ)架構(gòu)。這進一步幫助企業(yè)更快地建立模型10倍,彌補35%的云成本損失,并通過自動ML編排,數(shù)據(jù)管理和數(shù)據(jù)移動性釋放其DataOps團隊。
Weka AI與Valohai DLMS一起啟用了混合工作流,數(shù)據(jù)科學(xué)家可以在本地或AWS上使用Jupyter Notebook或Valohai GUI在Kubernetes編排的環(huán)境中進行數(shù)據(jù)轉(zhuǎn)換,模型訓(xùn)練,超參數(shù)優(yōu)化和推理。 Valohai DLMS與WekaFS無縫集成,它將i3.n Amazon Elastic Compute Cloud(Amazon EC2)實例和非易失性內(nèi)存Express(NVMe)閃存用于性能層,并通過Amazon Simple Storage Service(Amazon S3)存儲桶將文件名稱空間擴展到容量層。Valohai DLMS在運行實驗時還會獲取文件名稱空間快照,并將其存儲以進行數(shù)據(jù)版本控制。然后可以隨時將這些版本補水以重現(xiàn)實驗,并提供所需的解釋性和透明度。Weka AI通過管道的端到端加密提供安全性和治理,還提供與領(lǐng)先的密鑰管理解決方案(例如HashiCorp Vault)的集成。
Manjrekar補充說:“與Valohai一起部署在AWS上的Weka AI,是我們在加速基因組學(xué),金融科技和AI / ML / DL數(shù)據(jù)管道方面取得成功的基礎(chǔ)。客戶可以在AWS上使用Weka來獲得出色的性能,因為我們可以為16xi3en集群展示100GB /秒的吞吐量和500萬個4KB IOPS,所有這些都具有不到250微秒的延遲。”
標簽: WekaAI