賴斯大學(xué)的科學(xué)家已獲得國家科學(xué)基金會(huì)的資助，以開發(fā)分布式編程方法來分析流數(shù)據(jù)。計(jì)算機(jī)科學(xué)家 Ang Chen 和 吳晶(Eugene Ng) 將使用為期3年的120萬美元贈(zèng)款，以利用存儲(chǔ)和向客戶存儲(chǔ)數(shù)據(jù)的各種組件中的可編程元素。

該項(xiàng)目的首席研究員Chen表示，這意味著位于最終用戶和數(shù)據(jù)服務(wù)器之間的交換機(jī)，路由器和其他組件可以在管理和分析大數(shù)據(jù)方面發(fā)揮更加積極的作用 。它可以使數(shù)據(jù)網(wǎng)絡(luò)更快，更高效，這將為金融服務(wù)，社交網(wǎng)絡(luò)，“物聯(lián)網(wǎng)”和許多其他應(yīng)用帶來福音。

研究人員說，數(shù)據(jù)網(wǎng)絡(luò)中可編程元件的范圍已經(jīng)擴(kuò)大，不僅包括服務(wù)器，還包括接口組件，現(xiàn)場可編程門陣列，專用集成電路和網(wǎng)絡(luò)拓?fù)洹?ldquo;今天，所有處理都在服務(wù)器上完成，沿路徑?jīng)]有任何處理或計(jì)算。我們將嘗試改變這種狀況。”計(jì)算機(jī)科學(xué)，電氣與計(jì)算機(jī)工程學(xué)教授Ng表示。

“我們的愿景是優(yōu)化所有這些組件，以在每種應(yīng)用的設(shè)計(jì)空間中達(dá)到最佳平衡，”計(jì)算機(jī)科學(xué)和電氣與計(jì)算機(jī)工程副教授Chen于2017年加入Rice表示。“我們希望有一種可以在不同種類的協(xié)議上工作的方法。”

Ng表示，流數(shù)據(jù)的常見示例還包括欺詐檢測，監(jiān)視器和溫度以及其他環(huán)境傳感器，這些傳感器不斷生成數(shù)據(jù)并將其高速發(fā)送到來自世界各地的服務(wù)器。他說：“我們面臨的挑戰(zhàn)是開發(fā)一個(gè)可擴(kuò)展的平臺，使程序員能夠利用我們提出的技術(shù)從數(shù)據(jù)中獲得實(shí)時(shí)洞察力。”

Ng說，一種可能的策略是在數(shù)據(jù)到達(dá)服務(wù)器之前進(jìn)行智能處理并減少數(shù)據(jù)。這可以通過對路徑上的組件進(jìn)行編程以處理盡可能多的計(jì)算來實(shí)現(xiàn)。“這可以允許服務(wù)器群集提取更多數(shù)據(jù)，因?yàn)槟恢皇菫榱艘苿?dòng)數(shù)據(jù)而移動(dòng)數(shù)據(jù)。您正在處理它，并且可能會(huì)生成部分問題的答案。

Ng說：“我可以肯定地說，使用這種新興硬件進(jìn)行大數(shù)據(jù)處理具有巨大的潛力，而關(guān)鍵詞是'新興'。” “它是新的，因此很少有人考慮過它可以做什么。”

研究人員還計(jì)劃研究數(shù)據(jù)如何通過網(wǎng)絡(luò)流動(dòng)，以便他們可以動(dòng)態(tài)優(yōu)化數(shù)據(jù)。“有時(shí)候重要的是您首先要執(zhí)行哪些操作，” Chen說。“這不僅與網(wǎng)絡(luò)中編程功能的位置有關(guān)，還與網(wǎng)絡(luò)本身的組織有關(guān)。

他說：“因此，我們正在研究基礎(chǔ)物理網(wǎng)絡(luò)如何適應(yīng)自身并改變網(wǎng)絡(luò)流量以優(yōu)化延遲。”

標(biāo)簽： 數(shù)據(jù)網(wǎng)絡(luò)