建立標(biāo)準(zhǔn)發(fā)現(xiàn)和管控人工智能存在的偏差_第1頁(yè)
建立標(biāo)準(zhǔn)發(fā)現(xiàn)和管控人工智能存在的偏差_第2頁(yè)
建立標(biāo)準(zhǔn)發(fā)現(xiàn)和管控人工智能存在的偏差_第3頁(yè)
建立標(biāo)準(zhǔn)發(fā)現(xiàn)和管控人工智能存在的偏差_第4頁(yè)
建立標(biāo)準(zhǔn)發(fā)現(xiàn)和管控人工智能存在的偏差_第5頁(yè)
已閱讀5頁(yè),還剩20頁(yè)未讀 繼續(xù)免費(fèi)閱讀

下載本文檔

版權(quán)說(shuō)明:本文檔由用戶(hù)提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請(qǐng)進(jìn)行舉報(bào)或認(rèn)領(lǐng)

文檔簡(jiǎn)介

1、 HYPERLINK / 建立標(biāo)準(zhǔn),發(fā)現(xiàn)和管控人工智能存在的偏差 HYPERLINK / 【譯者按】2022 年 3 月,美國(guó)國(guó)家標(biāo)準(zhǔn)與技術(shù)研究所(NIST)發(fā)布建立標(biāo)準(zhǔn),發(fā)現(xiàn)和管控人工智能存在的偏差報(bào)告。報(bào)告認(rèn)為,人工智能中的偏差問(wèn)題會(huì)對(duì)個(gè)人、組織和社會(huì)產(chǎn)生一系列負(fù)面影響,需要采取社會(huì)技術(shù)的系統(tǒng)方法加以應(yīng)對(duì)。報(bào)告介紹了人工智能偏差的概念,分析了由此產(chǎn)生的各類(lèi)危害與挑戰(zhàn),并建議從數(shù)據(jù)集、測(cè)試評(píng)估驗(yàn)證環(huán)節(jié)、人為因素三個(gè)關(guān)鍵維度制定初步的人工智能治理社會(huì)技術(shù)框架,進(jìn)而提出了相應(yīng)的操作指南。賽迪智庫(kù)信息化與軟件產(chǎn)業(yè)研究所對(duì)報(bào)告進(jìn)行了編譯,期望對(duì)我國(guó)有關(guān)部門(mén)有所幫助。 HYPERLINK / 【關(guān)鍵詞

2、】人工智能偏差 標(biāo)準(zhǔn) 治理隨著人工智能(AI)系統(tǒng)更多參與跨行業(yè)及關(guān)鍵領(lǐng)域應(yīng)用,其技術(shù)流程中普遍存在的偏差問(wèn)題可能會(huì)造成有害影響,這給社會(huì)公平及 AI 系統(tǒng)的公眾信任埋下了隱患。然而,當(dāng)前社會(huì)對(duì)于人工智能偏差的認(rèn)知尚不充分,應(yīng)對(duì)人工智能偏差有害影響的嘗試仍然集中在計(jì)算性因素上,比如數(shù)據(jù)集的代表性和機(jī)器學(xué)習(xí)算法的公平性。這類(lèi)補(bǔ)救措施對(duì)于減少偏差至關(guān)重要,但還遠(yuǎn)遠(yuǎn)不夠。人為因素、系統(tǒng)性的制度因素以及社會(huì)因素也是人工智能偏差的重要來(lái)源,但目前卻未被重視。要成功應(yīng)對(duì)人工智能偏差的挑戰(zhàn),就需要考慮所有形式的偏差。為此,本文介紹了人工智能偏差的概念及分類(lèi),討論了偏差產(chǎn)生的原因及帶來(lái)的挑戰(zhàn),并從數(shù)據(jù)集、測(cè)試

3、評(píng)估驗(yàn)證環(huán)節(jié)和人為因素三個(gè)方面為制定詳盡的社會(huì)技術(shù)指導(dǎo)路線提供了初步指南。一、人工智能偏差:背景和術(shù)語(yǔ)(一)人工智能偏差相關(guān)概念1、人工智能偏差的定義統(tǒng)計(jì)性定義:在技術(shù)系統(tǒng)中,偏差通常都被理解為一種統(tǒng)計(jì)現(xiàn)象。與隨機(jī)誤差不同,偏差是一種通過(guò)對(duì)統(tǒng)計(jì)結(jié)果進(jìn)行系統(tǒng)性扭曲從而破壞其代表性的效應(yīng)。國(guó)際標(biāo)準(zhǔn)化組織(ISO)將偏差更廣泛地定義為:“參考值偏離事實(shí)的程度”。因此,當(dāng) AI 系統(tǒng)表現(xiàn)出系統(tǒng)性的失準(zhǔn)行為時(shí),就可被認(rèn)定存在偏差。這種統(tǒng)計(jì)性視角并未充分涵蓋或揭示 AI 系統(tǒng)中存在偏差所造成的全部風(fēng)險(xiǎn)。法律性定義:對(duì)人工智能偏差的討論不能脫離美國(guó)法律體系中針對(duì)偏差的處理辦法,以及偏差與解決歧視和公平性的法

4、律法規(guī)之間的關(guān)系。目前,對(duì)于不允許的歧視性偏差,法院一般會(huì)采取差別對(duì)待或差異性影響兩種方式進(jìn)行定義。監(jiān)管機(jī)構(gòu)與法院尚沒(méi)有統(tǒng)一的辦法來(lái)衡量所有不允許的偏差。認(rèn)知和社會(huì)背景:人工智能系統(tǒng)設(shè)計(jì)和開(kāi)發(fā)的團(tuán)隊(duì)將他們的認(rèn)知偏差帶入流程,致使偏差普遍存在于各項(xiàng)假設(shè)中。若系統(tǒng)性偏差存在于制度層面,則會(huì)影響到機(jī)構(gòu)或團(tuán)隊(duì)的結(jié)構(gòu)和決策流程的掌控者,帶來(lái)人工智能生命周期中的個(gè)人和群體啟發(fā)性偏差與認(rèn)知/感知偏差。同時(shí),終端用戶(hù)、下游決策者和政策制定者做出的決策也會(huì)受到這些偏差的影響。由于影響人類(lèi)決策的偏差通常是隱性且無(wú)意識(shí)的,因此無(wú)法輕易地通過(guò)人為控制或意識(shí)糾正進(jìn)行限制。2、人工智能偏差的類(lèi)別圖 1:人工智能偏差的類(lèi)別

5、系統(tǒng)性偏差:系統(tǒng)性偏差也被稱(chēng)為制度性偏差或歷史性偏差,源自特定機(jī)構(gòu)的程序或做法,其運(yùn)作方式致使某些社會(huì)群體處于優(yōu)勢(shì)地位或受到青睞,而其他社會(huì)群體則處于劣勢(shì)地位或受到貶抑,如制度性種族主義和性別歧視。這些偏差來(lái)源于人工智能使用的數(shù)據(jù)集,乃至貫穿人工智能生命周期,存在于更廣泛的社會(huì)制度規(guī)范和流程中。統(tǒng)計(jì)性和計(jì)算性偏差:統(tǒng)計(jì)性和計(jì)算性偏差源自樣本不能代表總體所導(dǎo)致的誤差。這些偏差由系統(tǒng)性錯(cuò)誤而非隨機(jī)性錯(cuò)誤所導(dǎo)致,而且在沒(méi)有偏見(jiàn)、偏袒或歧視意圖的情況下也可能發(fā)生。這些偏差存在于開(kāi)發(fā)人工智能應(yīng)用所使用的數(shù)據(jù)集和算法過(guò)程中,當(dāng)算法針對(duì)某一類(lèi)型的數(shù)據(jù)進(jìn)行訓(xùn)練且無(wú)法進(jìn)行外延時(shí),偏差就會(huì)產(chǎn)生。人為偏差:人為偏差

6、反映的是人類(lèi)思維中的系統(tǒng)性誤差,這些誤差源于啟發(fā)性原理數(shù)量有限以及基于簡(jiǎn)單判斷進(jìn)行數(shù)據(jù)預(yù)測(cè)。人為偏差往往是隱性的,而且很可能與個(gè)人或群體如何感知信息以進(jìn)行決策或填補(bǔ)缺失或未知信息有關(guān),僅僅提高對(duì)偏差的認(rèn)識(shí)并不能確保對(duì)它的限制。這類(lèi)偏差無(wú)處不在,貫穿人工智能生命周期中的機(jī)構(gòu)、群體和個(gè)人決策過(guò)程,乃至人工智能應(yīng)用部署后的使用過(guò)程。(二)人工智能偏差的危害一方面,當(dāng)利用人工智能提供決策支持時(shí),若沒(méi)有人工操作員對(duì)其進(jìn)行相關(guān)約束,機(jī)器學(xué)習(xí)模型常常會(huì)由于“認(rèn)知不確定性”和“偶然不確定性”等影響而造成糟糕表現(xiàn)。而且目前用來(lái)捕捉這些模型的有害影響及其他后果的方法既不精準(zhǔn)也不全面。另一方面,機(jī)器學(xué)習(xí)系統(tǒng)能否依照

7、人類(lèi)社會(huì)的價(jià)值觀進(jìn)行學(xué)習(xí)和操作仍是一個(gè)亟待研究和關(guān)注的領(lǐng)域。系統(tǒng)性偏差和隱性偏差可能通過(guò)訓(xùn)練時(shí)使用的數(shù)據(jù),以及支撐人工智能委托、開(kāi)發(fā)、部署和使用方式的制度安排與做法而帶入。同時(shí),統(tǒng)計(jì)/算法偏差以及人為偏差存在于工程與建模過(guò)程本身,而無(wú)法正確驗(yàn)證模型性能使這些偏差在部署過(guò)程中暴露無(wú)遺。這些偏差與個(gè)人的認(rèn)知偏差相沖突,若不加以應(yīng)對(duì),可能會(huì)形成一個(gè)復(fù)雜而有害的混合體,對(duì)個(gè)人和社會(huì)造成遠(yuǎn)超傳統(tǒng)歧視性做法的負(fù)面影響。(三)應(yīng)對(duì)人工智能偏差危害的新視角:社會(huì)技術(shù)視角傳統(tǒng)堆疊技術(shù)解決方案并不能充分反映人工智能系統(tǒng)的社會(huì)影響,僅從計(jì)算角度試圖解決偏差存在局限性。因此,要將人工智能擴(kuò)展到公共生活的方方面面,需要

8、將人們的視角從純技術(shù)角度拓展為實(shí)質(zhì)上的社會(huì)技術(shù)視角,站在更宏大的社會(huì)制度層面來(lái)思考人工智能。通過(guò)社會(huì)技術(shù)視角來(lái)重新構(gòu)建與人工智能相關(guān)的各項(xiàng)因素,具體包括三個(gè)維度:數(shù)據(jù)集;測(cè)試評(píng)估、確認(rèn)及驗(yàn)證(TEVV) HYPERLINK l _bookmark0 1;參與式設(shè)計(jì)及“人在回路”等人為因素。以上幾個(gè)維度可以更全面地理解人工智能的影響和貫穿其生命周期的種種關(guān)鍵決策,并實(shí)現(xiàn)偏差的動(dòng)態(tài)評(píng)估、了解影響偏差大小的條件及偏差間相互作用的機(jī)制。同時(shí),實(shí)現(xiàn)個(gè)人、群體和社會(huì)需求的兼顧,還需要廣泛的學(xué)科和各相關(guān)方充分參與。(四)更新后的人工智能生命周期為了使人工智能相關(guān)技術(shù)人員將人工智能生命周期過(guò)程與人工智能偏差類(lèi)

9、別聯(lián)系起來(lái),有效促進(jìn)對(duì)偏差的發(fā)現(xiàn)和管控,本文給出了一個(gè)四階段人工智能生命周期(圖 2)。圖 2:人工智能開(kāi)發(fā)生命周期設(shè)計(jì)啟動(dòng)前階段:該階段主要是進(jìn)行規(guī)劃、問(wèn)題說(shuō)明、背景研究和數(shù)據(jù)識(shí)別。此階段核心在于確定有話(huà)語(yǔ)權(quán)或控制權(quán)的個(gè)人1 人工智能開(kāi)發(fā)生命周期中的部分環(huán)節(jié)?;驁F(tuán)隊(duì)來(lái)進(jìn)行相關(guān)問(wèn)題的決策。這些早期決策及其決策者可以反映出機(jī)構(gòu)環(huán)境中的系統(tǒng)性偏差。此外,系統(tǒng)性偏差也反映在設(shè)計(jì)啟動(dòng)前所選擇的數(shù)據(jù)集上。所有這些偏差都會(huì)以復(fù)雜的形式影響后期階段和決策,并導(dǎo)致結(jié)果的偏差。設(shè)計(jì)和開(kāi)發(fā)階段:該階段通常從分析要求和可用數(shù)據(jù)開(kāi)始,并以此為基礎(chǔ)進(jìn)行模型設(shè)計(jì)或選擇。在設(shè)計(jì)過(guò)程中,應(yīng)當(dāng)通過(guò)兼容性分析找出潛在的偏差來(lái)源,

10、并評(píng)估和調(diào)整偏差應(yīng)對(duì)措施。在開(kāi)發(fā)過(guò)程中,機(jī)構(gòu)應(yīng)定期評(píng)估偏差,發(fā)現(xiàn)流程的完整性及應(yīng)對(duì)措施的有效性。最后,在開(kāi)發(fā)階段結(jié)束、正式部署之前,有必要對(duì)偏差應(yīng)對(duì)措施進(jìn)行全面評(píng)估,以確保系統(tǒng)保持在預(yù)先設(shè)定的范圍。在模型正式發(fā)布和部署前,其總體模型規(guī)格必須包括已被確定的偏差來(lái)源、已實(shí)施的應(yīng)對(duì)技術(shù)以及相關(guān)的性能評(píng)估。部署階段:該階段是 AI 系統(tǒng)發(fā)布和使用階段。技術(shù)團(tuán)隊(duì)?wèi)?yīng)當(dāng)實(shí)施持續(xù)監(jiān)控,并制定詳細(xì)的策略和程序來(lái)處置系統(tǒng)的結(jié)果和行為??赡苄枰獙?duì)系統(tǒng)進(jìn)行重新訓(xùn)練以糾正其副作用,甚至關(guān)停系統(tǒng),以確保其應(yīng)用不會(huì)造成非預(yù)期的影響或危害。測(cè)試和評(píng)估階段:該階段貫穿整個(gè)人工智能開(kāi)發(fā)生命周期。此階段鼓勵(lì)所有機(jī)構(gòu)對(duì)一切可能受到偏

11、差影響的 AI 系統(tǒng)組件及功能進(jìn)行持續(xù)測(cè)試和評(píng)估,以確保評(píng)估的平衡性與全面性。如果得到的結(jié)果不符合預(yù)期,則應(yīng)將其反饋到模型的設(shè)計(jì)啟動(dòng)前階段,對(duì)模型設(shè)計(jì)的任何擬議變更均應(yīng)與新的數(shù)據(jù)和要求一起接受評(píng)估,然后開(kāi)始新一輪的設(shè)計(jì)和開(kāi)發(fā),確保此前發(fā)現(xiàn)的所有問(wèn)題均得到解決。二、減輕人工智能偏差面臨的挑戰(zhàn)與建議(一)人工智能偏差中的數(shù)據(jù)集1、數(shù)據(jù)集方面存在的挑戰(zhàn)人工智能的設(shè)計(jì)和開(kāi)發(fā)高度依賴(lài)大規(guī)模數(shù)據(jù)集,這種需求可能會(huì)引導(dǎo)研究人員、開(kāi)發(fā)人員和從業(yè)人員更在乎數(shù)據(jù)集的可用性或可得性,而無(wú)論其合適與否。結(jié)果是,當(dāng)現(xiàn)成的、卻不能完全代表目標(biāo)總體樣本的數(shù)據(jù)集被反復(fù)用作訓(xùn)練數(shù)據(jù)時(shí),系統(tǒng)性偏差也可能會(huì)表現(xiàn)為可得性偏差 HYP

12、ERLINK l _bookmark1 2。同時(shí),即使數(shù)據(jù)集有代表性,也仍可能表現(xiàn)出歷史性偏差和系統(tǒng)性偏差。由于受保護(hù)屬性的隱藏信息可以通過(guò)代理或潛在變量推導(dǎo)出來(lái),揭露出個(gè)人和群體的非必要信息,因此基于這些變量的模型仍然會(huì)對(duì)個(gè)人或某一類(lèi)人造成負(fù)面影響,可能會(huì)造成歧視。當(dāng)終端用戶(hù)與 AI 系統(tǒng)發(fā)生交互時(shí),這些不當(dāng)或不完善的早期設(shè)計(jì)與開(kāi)發(fā)決策使得該過(guò)程容易受到額外的統(tǒng)計(jì)性偏差或人為偏差的影響。例如,算法模型可能僅建立在最活躍用戶(hù)的數(shù)據(jù)之上,其創(chuàng)建的后續(xù)系統(tǒng)活動(dòng)可能也并不反映目標(biāo)或真實(shí)用戶(hù)群2 指人們往往根據(jù)認(rèn)知上的易得性來(lái)判斷事件的可能性,而忽視對(duì)其他信息的關(guān)注進(jìn)行深度發(fā)掘,從而造成判斷的偏差。體

13、。此外,反饋環(huán)路可能會(huì)將誤差進(jìn)一步放大,使得隨后的訓(xùn)練數(shù)據(jù)全部來(lái)自于最活躍用戶(hù),進(jìn)而將造成潛在的有害影響。2、數(shù)據(jù)集方面的改進(jìn)建議應(yīng)對(duì)統(tǒng)計(jì)性偏差:應(yīng)對(duì)人工智能偏差的一個(gè)主要趨勢(shì)是關(guān)注建模過(guò)程中所使用數(shù)據(jù)集的全面統(tǒng)計(jì)特征。對(duì)于算法模型來(lái)說(shuō),常見(jiàn)的算法技術(shù)都假設(shè)變量是單峰的。然而,數(shù)據(jù)卻往往是異構(gòu)和多峰的。因此,無(wú)論模型是用于基準(zhǔn)測(cè)試、預(yù)測(cè)還是分類(lèi),必須記錄和交流人工智能結(jié)果的適用性存在的局限。此外,在數(shù)據(jù)集的遷移使用時(shí)還需特別注意數(shù)據(jù)集分布中的潛在差異,并關(guān)注其對(duì)模型的不公平性與誤差產(chǎn)生的影響。應(yīng)用社會(huì)技術(shù)方法:人工智能建模需要結(jié)合地區(qū)具體地理特征,因此,需要對(duì)機(jī)器學(xué)習(xí)應(yīng)用中數(shù)據(jù)集的使用加以調(diào)整

14、,以適應(yīng)其部署環(huán)境中的所有社會(huì)技術(shù)因素。在設(shè)計(jì)階段,社會(huì)技術(shù)分析帶來(lái)了對(duì)某一現(xiàn)象的動(dòng)態(tài)或特征性社會(huì)異變的深刻理解。這有助于更好地制定出問(wèn)題分析框架,并對(duì)數(shù)據(jù)集合適與否做出評(píng)估。開(kāi)發(fā)階段的社會(huì)技術(shù)視角有助于選擇數(shù)據(jù)源和屬性,并明確將影響評(píng)估作為算法準(zhǔn)確性的補(bǔ)充。關(guān)注人為因素與數(shù)據(jù)集的相互作用:構(gòu)建人工智能應(yīng)用基礎(chǔ)模型時(shí),設(shè)計(jì)和開(kāi)發(fā)團(tuán)隊(duì)關(guān)于使用哪些數(shù)據(jù)集的決定和假設(shè)會(huì)加劇數(shù)據(jù)集中存在的系統(tǒng)性、制度性偏差。同時(shí),在數(shù)據(jù)選擇、管理、準(zhǔn)備和分析過(guò)程中,人為偏差也會(huì)造成一定影響。例如,注釋訓(xùn)練數(shù)據(jù)的人員可能會(huì)帶入其自身的認(rèn)知偏差;相關(guān)人員清洗數(shù)據(jù)源與變量時(shí)也會(huì)按照自己的理念行事;數(shù)據(jù)分析決策在邊緣化總體樣

15、本中存在收集偏差。以上人工智能偏差和公平性的問(wèn)題需要解決。此外,需記錄人為偏差的潛在來(lái)源,以提升人工智能模型描述的透明度和可解讀性。(二)對(duì)人工智能偏差進(jìn)行測(cè)試評(píng)估、確認(rèn)及驗(yàn)證時(shí)的注意事項(xiàng)1、TEVV(測(cè)試評(píng)估、確認(rèn)及驗(yàn)證)方面存在的挑戰(zhàn)機(jī)器學(xué)習(xí)過(guò)程中的預(yù)測(cè)不確定性:機(jī)器學(xué)習(xí)存在兩種類(lèi)型的預(yù)測(cè)不確定性:“認(rèn)知不確定性”和“偶然不確定性”?!罢J(rèn)知不確定性”常在參數(shù)計(jì)算中出現(xiàn)。由于數(shù)學(xué)問(wèn)題上的解值具有非唯一性,當(dāng)真實(shí)數(shù)據(jù)與訓(xùn)練數(shù)據(jù)的分布不匹配時(shí),可能會(huì)影響已部署的深度學(xué)習(xí)系統(tǒng)的行為,導(dǎo)致有害偏差?!芭既徊淮_定性”代表數(shù)據(jù)中固有的不確定性,是預(yù)測(cè)不確定性中不可再分的部分。例如,訓(xùn)練數(shù)據(jù)集的標(biāo)簽分配過(guò)

16、程中的不確定性。大型語(yǔ)言模型的發(fā)展帶來(lái)挑戰(zhàn):大型語(yǔ)言模型在深度學(xué)習(xí)中的重要性不斷增加,但其在“認(rèn)知不確定性”和“偶然不確定性”方面造成了重大挑戰(zhàn)。依賴(lài)大量未經(jīng)整理的網(wǎng)絡(luò)數(shù)據(jù)會(huì)增加偶然不確定性。模型設(shè)計(jì)與數(shù)據(jù)處理流程的偏差問(wèn)題:為了讓 AI 系統(tǒng)確認(rèn)建模的側(cè)重點(diǎn),技術(shù)人員在對(duì)數(shù)據(jù)進(jìn)行分類(lèi)和排序時(shí)往往會(huì)將背景信息扁平化處理,并對(duì)不可觀察現(xiàn)象進(jìn)行量化處理,這一操作可能會(huì)導(dǎo)致有害偏差。同時(shí),軟件設(shè)計(jì)師和數(shù)據(jù)科學(xué)家對(duì)系統(tǒng)性能進(jìn)行優(yōu)化的過(guò)程,也可能會(huì)在無(wú)意中成為人工智能系統(tǒng)偏差的來(lái)源。此外,在模型選擇過(guò)程中忽略背景信息也可能會(huì)導(dǎo)致子群體的結(jié)果有偏差。相應(yīng)地,使用群體匯總數(shù)據(jù)預(yù)測(cè)個(gè)人行為的系統(tǒng)可能會(huì)導(dǎo)致結(jié)果

17、出現(xiàn)偏差。這些無(wú)意中對(duì)某些因素加權(quán)后得出的算法結(jié)果,可能會(huì)加劇和固化社會(huì)的不平等。算法復(fù)雜性的偏差問(wèn)題:出于成本與實(shí)現(xiàn)難度的考慮,技術(shù)人員所使用的通常都是參數(shù)較少的簡(jiǎn)單模型。然而,這類(lèi)模型對(duì)訓(xùn)練數(shù)據(jù)的限制性假設(shè)通常不兼容有細(xì)微差別的統(tǒng)計(jì)資料,可能會(huì)加劇統(tǒng)計(jì)性偏差。復(fù)雜模型通常用于文本圖像等非線性、多模態(tài)數(shù)據(jù),這種模型捕捉的潛在的系統(tǒng)性偏差可能難以識(shí)別和預(yù)測(cè)。系統(tǒng)驗(yàn)證的有效性問(wèn)題:在系統(tǒng)驗(yàn)證環(huán)節(jié)可能會(huì)出現(xiàn)許多困難和缺陷。系統(tǒng)測(cè)試往往缺少真實(shí)數(shù)據(jù)、或者噪聲標(biāo)簽及其他注釋因素,這導(dǎo)致人們很難知道什么是準(zhǔn)確的。同時(shí),代理變量的使用再度加劇了這一困難。在最佳條件進(jìn)行系統(tǒng)測(cè)試,是另一項(xiàng)極具挑戰(zhàn)性的設(shè)計(jì)缺陷

18、。同時(shí),系統(tǒng)性能指標(biāo)難以概括,也可能導(dǎo)致非預(yù)期使用的問(wèn)題。驗(yàn)證和部署環(huán)節(jié)的偏差問(wèn)題:驗(yàn)證意味著確保系統(tǒng)不會(huì)以非預(yù)期的方式使用。當(dāng)人工智能模型以開(kāi)發(fā)人員不希望的方式使用時(shí),就會(huì)產(chǎn)生部署偏差。當(dāng)部署的系統(tǒng)存在缺陷或疏漏時(shí),這類(lèi)系統(tǒng)會(huì)損害用戶(hù)利益,并可能違背現(xiàn)行的法律框架,加劇公眾對(duì)人工智能技術(shù)的不信任。人工智能系統(tǒng)的“黑箱”問(wèn)題:人工智能在黑箱可解釋性、再現(xiàn)性問(wèn)題和試錯(cuò)流程方面表面上看似科學(xué),實(shí)際上難以遵循假設(shè)可檢驗(yàn)、實(shí)驗(yàn)可解釋、模型可證偽的科學(xué)方法。除此之外,高水準(zhǔn)的機(jī)器學(xué)習(xí)庫(kù)和低成本的云計(jì)算使人工智能的開(kāi)發(fā)正變得越來(lái)越普遍。然而,人工智能本身在很大程度上仍不透明,深度神經(jīng)網(wǎng)絡(luò)和貝葉斯推理需要高

19、等數(shù)學(xué)才能理解。圖 3:偏差是如何造成危害的2、TEVV(測(cè)試評(píng)估、確認(rèn)及驗(yàn)證)方面的改進(jìn)建議減少算法偏差:在機(jī)器學(xué)習(xí)中,若缺少算法應(yīng)用于具體任務(wù)的背景信息,給模型或算法指定偏差本身是沒(méi)有意義的。例如,在自然語(yǔ)言處理的背景中,仇恨言論檢測(cè)模型使用方言標(biāo)記作為毒性預(yù)測(cè)因子,這可能導(dǎo)致對(duì)少數(shù)民族群體的偏差。根據(jù)在特定任務(wù)背景下減少算法偏差的不同方法,目前的除偏方法可歸為以下三類(lèi):預(yù)處理、處理、后處理三類(lèi)。它們分別通過(guò)數(shù)據(jù)轉(zhuǎn)換、算法修改、黑箱模型推導(dǎo)的方式,減少訓(xùn)練過(guò)程中的偏差問(wèn)題。完善公平性指標(biāo):目前的研究表明,公平性簡(jiǎn)化成一個(gè)簡(jiǎn)明的數(shù)學(xué)定義是困難的,同時(shí)觀察性的公平性指標(biāo)尚有待發(fā)展。公平性是動(dòng)態(tài)

20、的、社會(huì)性的、特定于應(yīng)用和環(huán)境的,而不僅是一個(gè)抽象或普遍的統(tǒng)計(jì)問(wèn)題。因此,必須采用社會(huì)技術(shù)方法實(shí)現(xiàn)公平,以便為不同的環(huán)境提供現(xiàn)實(shí)的公平性定義,并為機(jī)器學(xué)習(xí)模型的開(kāi)發(fā)和評(píng)估提供特定任務(wù)的數(shù)據(jù)集。(三)人工智能偏差中的人為因素1、人為因素方面存在的挑戰(zhàn)設(shè)計(jì)與開(kāi)發(fā)環(huán)節(jié)的實(shí)驗(yàn)環(huán)境與現(xiàn)實(shí)存在差距:AI 系統(tǒng)的設(shè)計(jì)和開(kāi)發(fā)是為了在特定的現(xiàn)實(shí)世界環(huán)境中使用,但往往在理想化的場(chǎng)景中進(jìn)行測(cè)試。一經(jīng)部署,最初的意圖、理念或影響評(píng)估都可能發(fā)生偏移。不同的部署環(huán)境意味著需要考慮一系列新的風(fēng)險(xiǎn)。在決定構(gòu)建 AI 系統(tǒng)之前,需先與可能受到這些技術(shù)部署影響的廣大相關(guān)方群體進(jìn)行接觸,這一點(diǎn)至關(guān)重要。“人在回路”系統(tǒng)產(chǎn)生相關(guān)干擾

21、:大多數(shù)算法決策系統(tǒng)都屬于社會(huì)技術(shù)系統(tǒng)。從機(jī)器學(xué)習(xí)過(guò)程所使用的數(shù)據(jù)集和構(gòu)建人員所做的決策,到與提供見(jiàn)解和監(jiān)督保障系統(tǒng)運(yùn)轉(zhuǎn)人員的交互,這些過(guò)程都與人類(lèi)社會(huì)行為密不可分。通常認(rèn)為將人類(lèi)置于 AI 系統(tǒng)的“回路”中能夠杜絕不良事件的發(fā)生,但當(dāng)前對(duì)于人工智能中 “人在回路”的作用和責(zé)任的看法尚不明確,對(duì)這類(lèi)系統(tǒng)性能的預(yù)期也往往基于未經(jīng)檢驗(yàn)的假設(shè)。對(duì)于專(zhuān)家推動(dòng)型機(jī)器學(xué)習(xí),專(zhuān)家可能會(huì)與機(jī)器學(xué)習(xí)模型進(jìn)行交互,但較少參與系統(tǒng)本身的設(shè)計(jì)或開(kāi)發(fā)。例如,在醫(yī)學(xué)領(lǐng)域的 AI 系統(tǒng)中,醫(yī)學(xué)方面的專(zhuān)家不一定熟悉機(jī)器學(xué)習(xí)、數(shù)據(jù)科學(xué)、計(jì)算機(jī)科學(xué)或其他傳統(tǒng)上與人工智能設(shè)計(jì)或開(kāi)發(fā)相關(guān)的領(lǐng)域。同時(shí),行業(yè)專(zhuān)家傾向于借助 AI 系統(tǒng)來(lái)

22、分擔(dān)自身主觀判斷的壓力,從而實(shí)現(xiàn)假定的自動(dòng)化客觀性,可能在無(wú)意中做出不準(zhǔn)確和有害的決定。相應(yīng)地,人工智能開(kāi)發(fā)者群體可能會(huì)下意識(shí)地認(rèn)為專(zhuān)家的方法已經(jīng)得到了比實(shí)際情況更好的驗(yàn)證。這些隱性的個(gè)人和群體行為可能會(huì)創(chuàng)造條件,間接鼓勵(lì)特別是高風(fēng)險(xiǎn)環(huán)境下對(duì)不完善技術(shù)的使用。因此,在沒(méi)有評(píng)估和管理以上風(fēng)險(xiǎn)的情況下,專(zhuān)家推動(dòng)型機(jī)器學(xué)習(xí)和“人在回路”的做法無(wú)法作為對(duì) AI 系統(tǒng)及其結(jié)果實(shí)現(xiàn)有效監(jiān)督的手段。2、人為因素方面的改進(jìn)建議引入影響評(píng)估過(guò)程:一種名為算法影響評(píng)估的方法旨在確保以合乎倫理和負(fù)責(zé)任的方式進(jìn)行人工智能技術(shù)開(kāi)發(fā)。其中,發(fā)現(xiàn)和應(yīng)對(duì)潛在的偏差是評(píng)估過(guò)程中的重要步驟。算法影響評(píng)估提供了一個(gè)高級(jí)結(jié)構(gòu),使機(jī)構(gòu)

23、能夠框定每種算法或每次部署的風(fēng)險(xiǎn),同時(shí)考慮到每個(gè)用例的具體情況。同時(shí),參與影響評(píng)估還可以作為一種強(qiáng)制機(jī)制,迫使有關(guān)機(jī)構(gòu)主動(dòng)闡明一切風(fēng)險(xiǎn),然后在發(fā)生任何危害時(shí)生成相應(yīng)的緩解措施文件。此外,影響評(píng)估應(yīng)是一個(gè)長(zhǎng)期、迭代的任務(wù),必須以合理的節(jié)奏反復(fù)進(jìn)行影響評(píng)估。推動(dòng)相關(guān)方廣泛參與:讓終端用戶(hù)、從業(yè)人員、行業(yè)專(zhuān)家,以及法律和社會(huì)科學(xué)界的跨學(xué)科專(zhuān)業(yè)人士等各種利益相關(guān)者參與進(jìn)來(lái),使得相關(guān)方可以利用自身不同的經(jīng)驗(yàn),拓寬 AI 系統(tǒng)工程師和設(shè)計(jì)師的視野,更全面地對(duì) AI 技術(shù)應(yīng)用的社會(huì)影響加以評(píng)估。同時(shí),這種參與也需要審慎的規(guī)劃和指導(dǎo),以便與時(shí)俱進(jìn),改進(jìn)實(shí)踐。提高團(tuán)隊(duì)多樣性、公平性與包容性:確保參與訓(xùn)練、測(cè)試和

24、部署系統(tǒng)的人員具備多元化的經(jīng)驗(yàn)、專(zhuān)業(yè)知識(shí)和背景是一項(xiàng)關(guān)鍵的風(fēng)險(xiǎn)緩解措施,可幫助機(jī)構(gòu)管控人工智能潛在的危害。為了將多樣性、公平性和包容性的好處擴(kuò)大到 AI 系統(tǒng)的用戶(hù)和開(kāi)發(fā)人員,應(yīng)吸納反映不同背景、觀點(diǎn)和專(zhuān)業(yè)知識(shí)的個(gè)人進(jìn)來(lái),并幫助機(jī)構(gòu)更好理解系統(tǒng)的用戶(hù)影響機(jī)制、系統(tǒng)對(duì)不同用戶(hù)的利弊影響等問(wèn)題。運(yùn)用生命周期法推進(jìn)實(shí)踐改進(jìn):通過(guò)采用生命周期方法,可以確定一些重要節(jié)點(diǎn),開(kāi)發(fā)完善的指導(dǎo)、保證和治理流程,并協(xié)助業(yè)務(wù)部門(mén)、數(shù)據(jù)和社會(huì)科學(xué)家對(duì)流程進(jìn)行整合,以減少偏差。例如,在開(kāi)發(fā)算法決策系統(tǒng)時(shí)列舉制度性假設(shè),并將這些假設(shè)與受影響的群體的預(yù)期進(jìn)行對(duì)應(yīng)?!坝行幕魬?zhàn)”的做法旨在營(yíng)造一種環(huán)境,使技術(shù)開(kāi)發(fā)人員能夠主

25、動(dòng)挑戰(zhàn)和質(zhì)疑建模和工程中的步驟,從而幫助根除統(tǒng)計(jì)性偏差和人類(lèi)決策中固有的偏差。探索人機(jī)交互配置:為抵消已知的人類(lèi)主觀性和人為偏差,而將 AI 系統(tǒng)布置在高風(fēng)險(xiǎn)環(huán)境中這一做法仍然存在相當(dāng)多的問(wèn)題。必須有一種顧及到廣泛的社會(huì)技術(shù)因素的“人在回路”方法,將人為因素、心理學(xué)、組織行為以及人機(jī)交互等領(lǐng)域與技術(shù)群體之間架起溝通橋梁。因此,應(yīng)制定關(guān)于如何實(shí)施“人在回路”流程的正式指導(dǎo),以避免放大或加劇可能在復(fù)雜環(huán)境下妨害結(jié)果的人為偏差、系統(tǒng)性偏差和計(jì)算性偏差。此外還需確定系統(tǒng)配置及其組件的必要標(biāo)準(zhǔn),從而產(chǎn)生準(zhǔn)確和值得信賴(lài)的結(jié)果。提高系統(tǒng)和程序透明度:AI 系統(tǒng)需要更多的可解釋性和可解讀性。數(shù)據(jù)表和模型卡等工

26、具的激增可以幫助填補(bǔ)這一缺口。同時(shí),對(duì)于偏差與透明度相互交織的問(wèn)題,透明度工具對(duì)于解決非預(yù)期使用的問(wèn)題帶來(lái)幫助,但同時(shí)需要注意人類(lèi)對(duì)人工智能模型結(jié)果的解讀方式存在明顯的個(gè)體差異,如專(zhuān)家與系統(tǒng)設(shè)計(jì)人員的問(wèn)題關(guān)注角度不同。因此,協(xié)調(diào)指導(dǎo)是必要的,以確保透明度工具能為使用這些系統(tǒng)的專(zhuān)業(yè)人員提供有效支持,而不是間接放大偏差。堅(jiān)持以人為本的人工智能設(shè)計(jì):以人為本的系統(tǒng)技術(shù)設(shè)計(jì)開(kāi)發(fā)方法關(guān)注用戶(hù)及其需求,全程以用戶(hù)為核心,涉及硬件設(shè)計(jì)和軟件設(shè)計(jì)等技術(shù)的所有方面,通過(guò)持續(xù)迭代不斷改善整個(gè)系統(tǒng)的用戶(hù)體驗(yàn)。以人為本的設(shè)計(jì)會(huì)更深入地關(guān)注公平性、偏差、價(jià)值觀和倫理等重要的社會(huì)因素,本身也可作為其他開(kāi)發(fā)生命周期的一部分

27、,包括瀑布式、螺旋型和敏捷模式。根據(jù)國(guó)際標(biāo)準(zhǔn)化組織(ISO)9241-210:2019 標(biāo)準(zhǔn)中的定義(圖 4),以人為本的設(shè)計(jì)包括:對(duì)用戶(hù)、任務(wù)和使用環(huán)境的明確理解,用戶(hù)全程參與設(shè)計(jì)和開(kāi)發(fā)過(guò)程,通過(guò)以人為本的評(píng)估來(lái)推動(dòng)和完善設(shè)計(jì),對(duì)原型進(jìn)行設(shè)計(jì)、測(cè)試和修改的迭代過(guò)程,優(yōu)化整體用戶(hù)體驗(yàn),具備多學(xué)科技術(shù)和觀點(diǎn)的設(shè)計(jì)團(tuán)隊(duì)?;谝陨蠘?biāo)準(zhǔn),用于開(kāi)發(fā) AI 系統(tǒng)的以人為本的設(shè)計(jì)方法越來(lái)越多地涵蓋以下內(nèi)容(圖 5):定義使用環(huán)境,包括操作環(huán)境、用戶(hù)特征、任務(wù)和社會(huì)環(huán)境;確定用戶(hù)和組織要求,包括業(yè)務(wù)要求、用戶(hù)要求和技術(shù)要求;開(kāi)發(fā)設(shè)計(jì)解決方案,包括系統(tǒng)設(shè)計(jì)、用戶(hù)界面和訓(xùn)練材料;進(jìn)行評(píng)估,包括可用性和一致性測(cè)試。

28、 其中,使用環(huán)境對(duì) AI 系統(tǒng)是關(guān)鍵的社會(huì)技術(shù)考慮。在任何項(xiàng)目的前期,都必須考慮人工智能系統(tǒng)所使用的社會(huì)技術(shù)的動(dòng)態(tài)和條件,以確保系統(tǒng)的設(shè)計(jì)能夠滿(mǎn)足用戶(hù)需求、機(jī)構(gòu)目標(biāo),以及更大的社會(huì)需求。使用環(huán)境不僅包括用戶(hù)自身的使用環(huán)境,還涉及更廣泛的背景狀況,如開(kāi)發(fā)人工智能系統(tǒng)的機(jī)構(gòu)環(huán)境、即將使用該系統(tǒng)的操作環(huán)境、以及即將實(shí)施該系統(tǒng)的更大的社會(huì)環(huán)境。社會(huì)技術(shù)方法可以同時(shí)考慮技術(shù)層面和部署這些系統(tǒng)的復(fù)雜社會(huì)環(huán)境,提高關(guān)鍵的公眾理解和能動(dòng)性。圖 4:以人為本的設(shè)計(jì)流程【國(guó)際標(biāo)準(zhǔn)化組織 ISO 9241-210:2019】圖 5:以人為本的AI 系統(tǒng)設(shè)計(jì)流程(四)人工智能偏差的治理指南1、部署監(jiān)測(cè)系統(tǒng),預(yù)測(cè)潛在風(fēng)

29、險(xiǎn)部署額外的系統(tǒng)來(lái)監(jiān)測(cè)潛在的偏差問(wèn)題,可以幫助控制 AI系統(tǒng)部署后表現(xiàn)與預(yù)測(cè)情況不同的風(fēng)險(xiǎn),以便在檢測(cè)到潛在問(wèn)題時(shí),及時(shí)提醒相關(guān)人員。2、嵌入追訴渠道,優(yōu)化事故補(bǔ)救反饋渠道的可用性允許系統(tǒng)終端用戶(hù)標(biāo)記不正確或潛在有害的結(jié)果,并尋求對(duì)錯(cuò)誤或危害的追訴。在人工智能系統(tǒng)中嵌入此類(lèi)流程和技術(shù),使得用戶(hù)可以對(duì)錯(cuò)誤的決定(甚至建議)提出申訴,同時(shí)也使技術(shù)開(kāi)發(fā)團(tuán)隊(duì)能夠在潛在事故的起始點(diǎn)對(duì)其進(jìn)行補(bǔ)救。3、完善政策與程序,加強(qiáng)風(fēng)險(xiǎn)管控在 AI 系統(tǒng)的背景下,確保書(shū)面政策和程序能應(yīng)對(duì)人工智能模型生命周期所有階段的關(guān)鍵角色、職責(zé)和流程,對(duì)于管控和檢測(cè) AI 系統(tǒng)性能的潛在整體問(wèn)題至關(guān)重要。政策和程序可以實(shí)現(xiàn)一致的開(kāi)

30、發(fā)和測(cè)試,有助于確保 AI 系統(tǒng)的結(jié)果是可復(fù)現(xiàn)的,使得相關(guān)風(fēng)險(xiǎn)可以得到一致的映射、衡量和管控。專(zhuān)欄 1如果在不同系統(tǒng)中使用了不可調(diào)和差異化指標(biāo),有關(guān)政策應(yīng)定義與 AI 系統(tǒng)相關(guān)的關(guān)鍵術(shù)語(yǔ)、概念及其預(yù)期影響范圍解決敏感或其他潛在風(fēng)險(xiǎn)數(shù)據(jù)的使用問(wèn)題;詳細(xì)說(shuō)明實(shí)驗(yàn)設(shè)計(jì)、數(shù)據(jù)質(zhì)量和模型訓(xùn)練的標(biāo)準(zhǔn);概述應(yīng)當(dāng)如何映射和衡量偏差風(fēng)險(xiǎn),及其依據(jù)標(biāo)準(zhǔn);詳細(xì)說(shuō)明模型測(cè)試和驗(yàn)證的過(guò)程;詳細(xì)說(shuō)明法律或風(fēng)險(xiǎn)職能部門(mén)的審查流程;規(guī)定持續(xù)審計(jì)和審查的周期和深度;概述變更管控的要求;詳細(xì)說(shuō)明與此類(lèi)系統(tǒng)的事故響應(yīng)相關(guān)的所有計(jì)劃,以防在:;部署期間出現(xiàn)任何重大風(fēng)險(xiǎn)。4、建立標(biāo)準(zhǔn)文檔,規(guī)范決策過(guò)程清晰的文檔規(guī)范有助于系統(tǒng)地執(zhí)行政策

31、和程序,將機(jī)構(gòu)的偏差管理流程在每個(gè)階段的實(shí)施和記錄方式標(biāo)準(zhǔn)化,并有助于確保問(wèn)責(zé)制。模型文件應(yīng)包含對(duì)系統(tǒng)機(jī)制的可解釋性描述,使監(jiān)督人員能夠就系統(tǒng)可能加劇偏差的問(wèn)題做出明智的、基于風(fēng)險(xiǎn)的決策。文檔還可作為重要信息的單一存儲(chǔ)庫(kù),不僅支持對(duì) AI 系統(tǒng)和相關(guān)業(yè)務(wù)流程的內(nèi)部監(jiān)督,還可增強(qiáng)系統(tǒng)維護(hù),并作為任何必要的糾正或調(diào)試活動(dòng)的寶貴資源。5、完善問(wèn)責(zé)機(jī)制,明確權(quán)責(zé)劃分基本的問(wèn)責(zé)機(jī)制即指定某個(gè)具體的團(tuán)隊(duì)或個(gè)人(比如首席模型風(fēng)險(xiǎn)官)來(lái)負(fù)責(zé) AI 系統(tǒng)中的偏差管控。要求個(gè)人或團(tuán)隊(duì)為風(fēng)險(xiǎn)及相關(guān)危害承擔(dān)責(zé)任,可以直接激勵(lì)他們?nèi)ス芸仫L(fēng)險(xiǎn)。問(wèn)責(zé)制需要對(duì) AI 系統(tǒng)本身的作用進(jìn)行明確評(píng)估。例如,決策支持系統(tǒng)一般不負(fù)責(zé)進(jìn)行直接決策,因此風(fēng)險(xiǎn)較小,但反而容易被用戶(hù)過(guò)度依賴(lài)或被誤用、濫用。在這種情況下,AI 系統(tǒng)就會(huì)造成與直接參與決策并無(wú)二致的危害。此外,模型或算法審計(jì)可用于評(píng)估和記錄這些重要的問(wèn)責(zé)制考慮因素。6、推廣風(fēng)控文化,探索管控框架為了使人工智能治理有效,應(yīng)將治理嵌入到機(jī)構(gòu)的整體文化當(dāng)中。風(fēng)險(xiǎn)管

溫馨提示

  • 1. 本站所有資源如無(wú)特殊說(shuō)明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請(qǐng)下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請(qǐng)聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶(hù)所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁(yè)內(nèi)容里面會(huì)有圖紙預(yù)覽,若沒(méi)有圖紙預(yù)覽就沒(méi)有圖紙。
  • 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
  • 5. 人人文庫(kù)網(wǎng)僅提供信息存儲(chǔ)空間,僅對(duì)用戶(hù)上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對(duì)用戶(hù)上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對(duì)任何下載內(nèi)容負(fù)責(zé)。
  • 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請(qǐng)與我們聯(lián)系,我們立即糾正。
  • 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶(hù)因使用這些下載資源對(duì)自己和他人造成任何形式的傷害或損失。

評(píng)論

0/150

提交評(píng)論