超級(jí)計(jì)算機(jī)幫助研究人員研究復(fù)雜現(xiàn)象的原因和影響——通常是按照這個(gè)順序。然而，科學(xué)家有時(shí)需要根據(jù)可觀察的結(jié)果來(lái)推斷科學(xué)現(xiàn)象的起源。眾所周知，這些所謂的逆問(wèn)題很難解決，尤其是當(dāng)必須分析的數(shù)據(jù)量超過(guò)了傳統(tǒng)的機(jī)器學(xué)習(xí)工具時(shí)。

為了更好地理解逆問(wèn)題，來(lái)自美國(guó)能源部 (DOE) 橡樹(shù)嶺國(guó)家實(shí)驗(yàn)室 (ORNL)、NVIDIA 和 Uber Technologies 的團(tuán)隊(duì)在一個(gè)廣泛使用的名為 Horovod 的通信庫(kù)中開(kāi)發(fā)并展示了兩種新技術(shù)。

該平臺(tái)由 Uber 開(kāi)發(fā)，訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)(DNN)，使用算法模仿和利用人腦的決策能力進(jìn)行科學(xué)應(yīng)用。由于 Horovod 依靠單個(gè)協(xié)調(diào)器向許多不同的工作人員(即本例中的 GPU)提供指令以完成此過(guò)程，因此大規(guī)模深度學(xué)習(xí)應(yīng)用程序在訓(xùn)練期間經(jīng)常會(huì)遇到明顯的減速。

研究人員的方法從傳統(tǒng)的協(xié)調(diào)員 - 工作人員流程中刪除了重復(fù)步驟，以提高速度并超越現(xiàn)有方法，從而使他們能夠發(fā)現(xiàn)材料成像領(lǐng)域中古老逆問(wèn)題的第一個(gè)近似解決方案。他們的研究結(jié)果發(fā)表在第 19 屆 USENIX 網(wǎng)絡(luò)系統(tǒng)設(shè)計(jì)與實(shí)施研討會(huì)論文集上。

“據(jù)我們所知，這是卷積神經(jīng)網(wǎng)絡(luò)分布式訓(xùn)練中每秒最多的浮點(diǎn)運(yùn)算，”ORNL Scale 組分析和 AI 方法的計(jì)算科學(xué)家 Junqi Yin 說(shuō)。“我們計(jì)劃使用生成的代碼 STEMDL 來(lái)對(duì)未來(lái)幾代超級(jí)計(jì)算機(jī)進(jìn)行基準(zhǔn)測(cè)試。”

一起更強(qiáng)大

為了減少協(xié)調(diào)員與工作人員之間的通信，這通常涉及多次重復(fù)相同的請(qǐng)求，該團(tuán)隊(duì)引入了一個(gè)響應(yīng)緩存，該緩存存儲(chǔ)來(lái)自 Horovod 中每個(gè)請(qǐng)求的元數(shù)據(jù)?？茖W(xué)家們的第一個(gè)新策略是這種緩存方法，它允許 Horovod 立即識(shí)別并自動(dòng)計(jì)算熟悉的請(qǐng)求，而不會(huì)延遲 DNN 訓(xùn)練。

他們的第二項(xiàng)新技術(shù)涉及對(duì)多個(gè) DNN 模型的數(shù)學(xué)運(yùn)算進(jìn)行分組，通過(guò)利用每個(gè)模型計(jì)算中的相似性，簡(jiǎn)化任務(wù)并提高縮放效率(每個(gè)訓(xùn)練步驟處理的圖像總數(shù)) 。這個(gè)過(guò)程也導(dǎo)致了電力使用的顯著改善。

通過(guò)戰(zhàn)略性地對(duì)這些模型進(jìn)行分組，該團(tuán)隊(duì)的目標(biāo)是最終在多個(gè) GPU 上訓(xùn)練一個(gè)模型，并達(dá)到與每個(gè) GPU 訓(xùn)練一個(gè)模型相同的效率。

NVIDIA 的開(kāi)發(fā)技術(shù)工程師 Josh Romero 將新策略整合到 Horovod 中，使用戶能夠在任何規(guī)模的高性能計(jì)算機(jī)上更有效地訓(xùn)練 DNN。

羅梅羅說(shuō)：“所有工人必須就操作順序以及在任何給定時(shí)間分發(fā)的信息達(dá)成一致。” “我們找到了改善這一物流流程的方法。”

這兩種方法單獨(dú)提高了 Horovod 的性能，但將它們結(jié)合起來(lái)幾乎使擴(kuò)展效率翻了一番，該團(tuán)隊(duì)通過(guò)在 IBM AC922 Summit 系統(tǒng)的所有 27,600 個(gè) GPU 上運(yùn)行 STEMDL 代碼來(lái)衡量這一點(diǎn)。美國(guó)最快的超級(jí)計(jì)算機(jī) Summit 位于 ORNL 的橡樹(shù)嶺領(lǐng)導(dǎo)計(jì)算設(shè)施，這是美國(guó)能源部科學(xué)辦公室用戶設(shè)施。

“這些能力使我們能夠訓(xùn)練分布在整個(gè)峰會(huì)上的單個(gè)神經(jīng)網(wǎng)絡(luò)，其擴(kuò)展效率和計(jì)算性能比以前在大規(guī)模上可能實(shí)現(xiàn)的要高得多，”ORNL 前計(jì)算科學(xué)家兼首席研究員 Nouamane Laanait 說(shuō)。該團(tuán)隊(duì)的峰會(huì)分配，這是通過(guò)創(chuàng)新和新穎的計(jì)算對(duì)理論和實(shí)驗(yàn)的影響計(jì)劃授予的。

STEMDL 等卷積神經(jīng)網(wǎng)絡(luò)是圖像分析的理想 DNN。該團(tuán)隊(duì)專(zhuān)門(mén)設(shè)計(jì)了這個(gè)應(yīng)用程序來(lái)解決長(zhǎng)期存在的材料成像逆問(wèn)題，該問(wèn)題需要對(duì)掃描透射電子顯微鏡數(shù)據(jù)進(jìn)行精確分析。

“使用神經(jīng)網(wǎng)絡(luò)模型的一個(gè)優(yōu)點(diǎn)是，你可以將許多難以在數(shù)學(xué)方法中編碼的因素結(jié)合起來(lái)，以解決逆問(wèn)題，”Laanait 說(shuō)。“通過(guò)在數(shù)據(jù)集上訓(xùn)練這些模型，你可以教它們忽略噪音和其他缺陷。”

包羅萬(wàn)象的架構(gòu)

Summit 的獨(dú)特組件使這項(xiàng)研究成為可能。例如，在超級(jí)計(jì)算機(jī)的 GPU 之間分配 DNN 訓(xùn)練揭示了傳統(tǒng) Horovod 計(jì)算中存在的性能瓶頸。這些障礙在整個(gè)訓(xùn)練過(guò)程中累積起來(lái)，然后才變得明顯，因?yàn)樗鼈冮_(kāi)始阻礙計(jì)算時(shí)間，這使得它們很難或不可能在較小的系統(tǒng)上看到。

“在一小時(shí)內(nèi)，您就知道解決方案的精確度，這使您可以比在較小的系統(tǒng)上更快地調(diào)整原型，這可能需要數(shù)天或數(shù)周才能確定模型的精確程度或?qū)?wèn)題映射到模型的程度， ”拉奈特說(shuō)。

此外，Summit 具有高帶寬通信路徑，可以將數(shù)據(jù)從一個(gè)地方移動(dòng)到另一個(gè)地方，其本地存儲(chǔ)系統(tǒng)(稱為突發(fā)緩沖區(qū))具有足夠的內(nèi)存，允許研究人員在每個(gè)節(jié)點(diǎn)上模擬和存儲(chǔ)超過(guò) 1 TB 的數(shù)據(jù)。最后，NVIDIA 張量核心(適用于深度學(xué)習(xí)應(yīng)用程序的專(zhuān)用處理單元)加快了團(tuán)隊(duì)的代碼速度，并幫助他們達(dá)到了比傳統(tǒng)處理器更高的性能水平。

該團(tuán)隊(duì)的研究結(jié)果可以應(yīng)用于現(xiàn)有的深度學(xué)習(xí)應(yīng)用程序和以前未解決的逆問(wèn)題，以回答基礎(chǔ)科學(xué)問(wèn)題。展望未來(lái)，研究人員希望使用更少的計(jì)算能力重新創(chuàng)建他們的結(jié)果，并根據(jù)實(shí)驗(yàn)設(shè)施生成的不斷增加的數(shù)據(jù)量訓(xùn)練更大的模型。

“將更大的數(shù)據(jù)集和模型與更多的計(jì)算能力相結(jié)合通常會(huì)提高 DNN 的有效性，”Laanait 說(shuō)。“我們不知道這些改進(jìn)的上限是多少，所以找出答案的唯一方法是繼續(xù)試驗(yàn)。”

　　免責(zé)聲明：本文由用戶上傳，與本網(wǎng)站立場(chǎng)無(wú)關(guān)。財(cái)經(jīng)信息僅供讀者參考，并不構(gòu)成投資建議。投資者據(jù)此操作，風(fēng)險(xiǎn)自擔(dān)。 如有侵權(quán)請(qǐng)聯(lián)系刪除！