由多倫多大學(xué)研究員 Parham Aarabi 領(lǐng)導(dǎo)的一項(xiàng)新計(jì)劃旨在衡量人工智能系統(tǒng)中存在的偏見，作為解決這些偏見的第一步。AI 系統(tǒng)通常會(huì)反映數(shù)據(jù)集中存在的偏差——或者，有時(shí)，AI 的建模會(huì)引入新的偏差。

“每個(gè)人工智能系統(tǒng)都有某種偏見，”應(yīng)用科學(xué)與工程學(xué)院電氣和計(jì)算機(jī)工程系 Edward S. Rogers Sr. 通信/計(jì)算機(jī)工程副教授 Aarabi 說。“作為一個(gè)在 AI 系統(tǒng)和算法領(lǐng)域工作了 20 多年的人，我這么說。”

Aarabi 是多倫多大學(xué)HALT AI 小組的學(xué)術(shù)和行業(yè)專家之一 ，該小組使用不同的輸入集測(cè)試其他組織的 AI 系統(tǒng)。HALT AI 創(chuàng)建一個(gè)多樣性報(bào)告——包括關(guān)鍵指標(biāo)的多樣性圖表——顯示弱點(diǎn)并提出改進(jìn)建議。

“我們發(fā)現(xiàn)大多數(shù) AI 團(tuán)隊(duì)不會(huì)對(duì)其系統(tǒng)進(jìn)行實(shí)際的定量驗(yàn)證，”Aarabi 說。“例如，我們可以說，'看，你的應(yīng)用程序在以英語為母語的人身上成功率為 80%，但對(duì)于母語不是英語的人來說只有 40%。'”

HALT 于 5 月作為一項(xiàng)免費(fèi)服務(wù)推出。該小組對(duì)許多流行的人工智能系統(tǒng)進(jìn)行了研究，其中包括蘋果、谷歌和微軟的一些系統(tǒng)。HALT 的統(tǒng)計(jì)報(bào)告提供了各種不同維度的反饋，例如性別、年齡和種族。

“在我們自己的測(cè)試中，我們發(fā)現(xiàn)微軟的年齡估計(jì) AI 在某些年齡段表現(xiàn)不佳，”Aarabi 說。“Apple 和 Google 的語音轉(zhuǎn)文本系統(tǒng)也是如此：如果你有某種方言、一種口音，它們的效果可能會(huì)很差。但是直到您測(cè)試時(shí)，您才知道哪種方言。類似的應(yīng)用程序以不同的方式失敗——這很有趣，并且可能表明用于每個(gè)應(yīng)用程序的訓(xùn)練數(shù)據(jù)的類型和局限性。”

HALT 在今年年初開始，當(dāng)時(shí)電氣和計(jì)算機(jī)工程部門內(nèi)外的人工智能研究人員開始分享他們對(duì)人工智能系統(tǒng)偏見的擔(dān)憂。到 5 月，該小組從私營(yíng)和學(xué)術(shù)部門引進(jìn)了多元化的外部專家。

“要真正理解和衡量偏見，不能只是來自多倫多大學(xué)的幾個(gè)人，”Aarabi 說。“HALT 是一個(gè)廣泛的個(gè)人群體，包括財(cái)富 500 強(qiáng)公司的多元化負(fù)責(zé)人以及倫敦大學(xué)學(xué)院和斯坦福大學(xué)等其他學(xué)術(shù)機(jī)構(gòu)的人工智能多元化專家。”

隨著人工智能系統(tǒng)部署在不斷擴(kuò)大的應(yīng)用范圍內(nèi)，人工智能中的偏見成為一個(gè)更加關(guān)鍵的問題。雖然人工智能系統(tǒng)性能仍然是一個(gè)優(yōu)先事項(xiàng)，但越來越多的開發(fā)人員也在檢查他們的工作是否存在固有偏見。

“大多數(shù)情況下，都存在訓(xùn)練集問題，”Aarabi 說。“開發(fā)人員根本沒有足夠的所有代表性人口群體的訓(xùn)練數(shù)據(jù)。”

如果多樣化的訓(xùn)練數(shù)據(jù)不能提高 AI 的性能，那么模型本身可能存在缺陷，需要重新編程。

電氣和計(jì)算機(jī)工程系教授兼系主任迪帕·昆杜爾 (Deepa Kundur) 表示，HALT AI 正在幫助創(chuàng)建更公平的 AI 系統(tǒng)。

“我們對(duì)多樣性的推動(dòng)始于我們所在部門的內(nèi)部，但也擴(kuò)展到整個(gè)電氣和計(jì)算機(jī)工程社區(qū)——包括研究人員為社會(huì)創(chuàng)新的工具，”她說。“HALT AI 正在幫助確保公平和公平的 AI 向前發(fā)展。”

“現(xiàn)在是研究人員和從業(yè)人員考慮這個(gè)問題的合適時(shí)機(jī)，”Aarabi 補(bǔ)充道。“他們需要擺脫高層次的抽象，并明確偏見是如何表現(xiàn)出來的。我認(rèn)為我們可以對(duì)此有所了解。”

標(biāo)簽： 人工智能系統(tǒng)