眾所周知，機(jī)器學(xué)習(xí)數(shù)據(jù)集有很多錯誤，包括標(biāo)簽錯誤的圖像。但是，目前還沒有太多研究可以系統(tǒng)地量化錯誤的嚴(yán)重程度。此外，先前的工作集中在ML數(shù)據(jù)集的訓(xùn)練數(shù)據(jù)中的錯誤。但是測試集是我們用來測試機(jī)器學(xué)習(xí)狀態(tài)的基準(zhǔn)，并且沒有研究關(guān)注過ML測試集的系統(tǒng)錯誤-我們依賴這些測試集來了解ML模型的工作情況。

在一項新論文中，由麻省理工學(xué)院計算機(jī)科學(xué)和人工智能實驗室(CSAIL)的研究人員領(lǐng)導(dǎo)的團(tuán)隊研究了被引用超過100,000次的10個主要數(shù)據(jù)集，其中包括ImageNet和Amazon的評論數(shù)據(jù)集。

研究人員發(fā)現(xiàn)，所有數(shù)據(jù)集的平均錯誤率為3.4%，其中ImageNet的錯誤率為6%，ImageNet可以說是Google和Facebook之類開發(fā)的流行圖像識別系統(tǒng)中使用最廣泛的數(shù)據(jù)集。

即使是開創(chuàng)性的MNIST數(shù)字?jǐn)?shù)據(jù)集，在過去20年中一直是光學(xué)數(shù)字識別的基礎(chǔ)，并且已經(jīng)在成千上萬的同行評審ML出版物中進(jìn)行了基準(zhǔn)測試，在測試集中也包含15個(人類驗證的)標(biāo)簽錯誤。 。

團(tuán)隊還創(chuàng)建了 一個演示，使用戶可以細(xì)讀不同的數(shù)據(jù)集以對發(fā)生的不同類型的錯誤進(jìn)行采樣，包括：

貼錯標(biāo)簽的圖片，例如一種狗被另一只狗弄糊涂或嬰兒被乳頭弄糊涂了。

帶有錯誤標(biāo)簽的文本情感，例如亞馬遜產(chǎn)品評論實際上是正面的時，被描述為負(fù)面。

YouTube視頻的音頻標(biāo)簽錯誤，例如Ariana Grande高音被歸類為哨子。

合著者Curtis Northcutt說，他們的發(fā)現(xiàn)令人驚訝的是，取決于不相關(guān)數(shù)據(jù)(“噪聲”)的普遍程度，較弱的模型(例如ResNet-18)通常比較復(fù)雜的模型(例如ResNet-50)具有更低的錯誤率。如果他們的真實數(shù)據(jù)集的標(biāo)簽錯誤率為10%，Northcutt建議ML從業(yè)人員考慮使用簡單模型。

該團(tuán)隊的結(jié)果建立在麻省理工學(xué)院為創(chuàng)建“自信學(xué)習(xí)”而進(jìn)行的大量工作的基礎(chǔ)上，“自信學(xué)習(xí)”是機(jī)器學(xué)習(xí)的一個子領(lǐng)域，該領(lǐng)域研究數(shù)據(jù)集以發(fā)現(xiàn)和量化標(biāo)簽噪聲。通過該項目，可以使用可靠的學(xué)習(xí)算法來在人工驗證之前從算法上識別所有標(biāo)簽錯誤。

該團(tuán)隊還使其他研究人員可以使用cleanlab(開源python包)輕松復(fù)制其結(jié)果并在自己的數(shù)據(jù)集中查找標(biāo)簽錯誤。

　　免責(zé)聲明：本文由用戶上傳，與本網(wǎng)站立場無關(guān)。財經(jīng)信息僅供讀者參考，并不構(gòu)成投資建議。投資者據(jù)此操作，風(fēng)險自擔(dān)。 如有侵權(quán)請聯(lián)系刪除！