大數據中的偏見(jiàn)：如何發(fā)現它并減輕其影響

數據管道的不同部分都會(huì )產(chǎn)生偏見(jiàn)。人們非常關(guān)注在分析過(guò)程中可能出現的偏見(jiàn)，但其實(shí)偏見(jiàn)可能出現在數據管道的更早期階段。

俄亥俄州立大學(xué)柯萬(wàn)種族研究所高級研究員Kelly Capatosto表示，偏見(jiàn)有可能早在收集數據前就進(jìn)入數據生命周期。

她說(shuō)：“如果有人基于調查結果來(lái)確定程序、模型或算法的運行方式，那么設計師的先入為主的觀(guān)念可能最終會(huì )融入到該過(guò)程中?！?/p>

現在對大型數據集及其所包含的偏見(jiàn)的審查越來(lái)越多。在目標市場(chǎng)營(yíng)銷(xiāo)等領(lǐng)域中故意偏見(jiàn)可能會(huì )有所優(yōu)勢，因為數據偏見(jiàn)可以提供更直接的見(jiàn)解，但大數據偏見(jiàn)會(huì )很快成為企業(yè)面臨的問(wèn)題。

下面是發(fā)現偏見(jiàn)和減輕其影響的方法：

在哪里找到它

Enterprise Strategy Group（ESG）的高級分析師Mike Leone說(shuō)：“偏見(jiàn)出現在數據生命周期的早期?！?/p>

即使在數據收集過(guò)程中，也可能會(huì )無(wú)意中包含偏見(jiàn)。正如Capatosto所說(shuō)，某些偏見(jiàn)可能會(huì )根深蒂固于用于收集數據的調查中，但是由于訪(fǎng)問(wèn)障礙，偏見(jiàn)也可能出現數據收集過(guò)程。最近的美國人口普查就是一個(gè)例子。

Capatosto說(shuō)：“語(yǔ)言、貧困、獲取技術(shù)等方面存在障礙，這使得很難將這種信息有意義地整合到任何給定過(guò)程中?！?/p>

另一件事是混雜。Capatosto說(shuō)，算法偏差最突出的問(wèn)題之一是將身份與一定程度的風(fēng)險混為一談。

Capatosto說(shuō)：“在醫療保健方面，這非常重要，它具有聯(lián)系人追蹤功能，以及如何利用大數據和其他措施來(lái)建立圍繞健康問(wèn)題的公共設施和基礎設施?！?/p>

她引用了最近的一項研究，該研究發(fā)現某些社區據稱(chēng)具有更普遍的醫療保健需求，但是滿(mǎn)足這些需求的參數是花在醫療保健上的錢(qián)。其他研究發(fā)現，費用是有偏見(jiàn)的參數，因為有時(shí)費用本身首先是獲取醫療保健的障礙。

雖然移除大數據中的惡意意圖偏見(jiàn)很重要，但有時(shí)有必要包含偏見(jiàn)。

Gartner公司副總裁Svetlana Sicular說(shuō)：“如果數據量很大，你可能只想知道某個(gè)特定人群?！?/p>

Leone認為，故意偏見(jiàn)在某種程度上意味著(zhù)分析重點(diǎn)。當涉及個(gè)性化或瞄準特定目標人群時(shí)，有偏見(jiàn)的數據集可以幫助實(shí)現這些目標。

他說(shuō)：“偏見(jiàn)可為每位客戶(hù)提供真正定制的體驗?！?/p>

但是，使用目標數據集來(lái)定制受眾的體驗，并不會(huì )引起大數據偏差的大問(wèn)題。更大的問(wèn)題是無(wú)意識的偏見(jiàn)。

Sicular說(shuō)：“無(wú)意的偏見(jiàn)可以源自不同的目的，包括惡意目的，例如使數據中毒或攻擊模型?！?/p>

Sicular表示，大數據無(wú)意偏見(jiàn)的示例是2019年Apple Card推出。在發(fā)行之后不久，該算法被發(fā)現為女性設置較低的信用額度。盡管蘋(píng)果和高盛（Goldman Sachs）聲稱(chēng)這種歧視是無(wú)意的，但這樣的事情可能構成最大的問(wèn)題，即大數據中出現無(wú)意的偏見(jiàn)。

Sicular說(shuō)：“很多技術(shù)，很多平臺都試圖獲得可解釋性，解釋算法內部發(fā)生了什么?！?/p>

在整個(gè)數據管道中，建立這種可解釋性可以減輕無(wú)意識的偏見(jiàn)。Capatosto說(shuō)，這需要首先了解和熟悉大數據偏見(jiàn)的概念。這里的關(guān)鍵是建立透明度和強大的數據治理流程，以消除數據集中的偏差。

她說(shuō)：“首先，要確保問(wèn)責制不僅僅是事后的想法?！?/p>

多元化團隊

Leone說(shuō)，多元化的數據團隊可以確定何時(shí)需要故意偏見(jiàn)。Sicular說(shuō)，一個(gè)由具有不同背景的人組成的團隊將根據他們的不同經(jīng)驗提出疑問(wèn)，這些經(jīng)驗可能會(huì )改變方法。

她說(shuō)：“一個(gè)人可能不會(huì )考慮某些事情?！?/p>

但是，如何聘用多元化的團隊很重要。目標不僅是擁有一支多元化的團隊來(lái)校準數據。 Capatosto說(shuō)，從設計到部署的整個(gè)過(guò)程中，這些不同的觀(guān)點(diǎn)都是必要的。

她補充說(shuō)，數據團隊的多樣性可以幫助減少大數據中的偏見(jiàn)。她說(shuō)：“我認為，意見(jiàn)、觀(guān)點(diǎn)和優(yōu)勢點(diǎn)的多樣性將始終有助于盡早發(fā)現這些問(wèn)題?！?/p>