1、 HYPERLINK / 建立標(biāo)準(zhǔn)，發(fā)現(xiàn)和管控人工智能存在的偏差 HYPERLINK / 【譯者按】2022 年 3 月，美國(guó)國(guó)家標(biāo)準(zhǔn)與技術(shù)研究所（NIST）發(fā)布建立標(biāo)準(zhǔn)，發(fā)現(xiàn)和管控人工智能存在的偏差報(bào)告。報(bào)告認(rèn)為，人工智能中的偏差問(wèn)題會(huì)對(duì)個(gè)人、組織和社會(huì)產(chǎn)生一系列負(fù)面影響，需要采取社會(huì)技術(shù)的系統(tǒng)方法加以應(yīng)對(duì)。報(bào)告介紹了人工智能偏差的概念，分析了由此產(chǎn)生的各類(lèi)危害與挑戰(zhàn)，并建議從數(shù)據(jù)集、測(cè)試評(píng)估驗(yàn)證環(huán)節(jié)、人為因素三個(gè)關(guān)鍵維度制定初步的人工智能治理社會(huì)技術(shù)框架，進(jìn)而提出了相應(yīng)的操作指南。賽迪智庫(kù)信息化與軟件產(chǎn)業(yè)研究所對(duì)報(bào)告進(jìn)行了編譯，期望對(duì)我國(guó)有關(guān)部門(mén)有所幫助。 HYPERLINK / 【關(guān)鍵詞

2、】人工智能偏差 標(biāo)準(zhǔn) 治理隨著人工智能（AI）系統(tǒng)更多參與跨行業(yè)及關(guān)鍵領(lǐng)域應(yīng)用，其技術(shù)流程中普遍存在的偏差問(wèn)題可能會(huì)造成有害影響，這給社會(huì)公平及 AI 系統(tǒng)的公眾信任埋下了隱患。然而，當(dāng)前社會(huì)對(duì)于人工智能偏差的認(rèn)知尚不充分，應(yīng)對(duì)人工智能偏差有害影響的嘗試仍然集中在計(jì)算性因素上，比如數(shù)據(jù)集的代表性和機(jī)器學(xué)習(xí)算法的公平性。這類(lèi)補(bǔ)救措施對(duì)于減少偏差至關(guān)重要，但還遠(yuǎn)遠(yuǎn)不夠。人為因素、系統(tǒng)性的制度因素以及社會(huì)因素也是人工智能偏差的重要來(lái)源，但目前卻未被重視。要成功應(yīng)對(duì)人工智能偏差的挑戰(zhàn)，就需要考慮所有形式的偏差。為此，本文介紹了人工智能偏差的概念及分類(lèi)，討論了偏差產(chǎn)生的原因及帶來(lái)的挑戰(zhàn)，并從數(shù)據(jù)集、測(cè)試

3、評(píng)估驗(yàn)證環(huán)節(jié)和人為因素三個(gè)方面為制定詳盡的社會(huì)技術(shù)指導(dǎo)路線提供了初步指南。一、人工智能偏差:背景和術(shù)語(yǔ)（一）人工智能偏差相關(guān)概念1、人工智能偏差的定義統(tǒng)計(jì)性定義：在技術(shù)系統(tǒng)中，偏差通常都被理解為一種統(tǒng)計(jì)現(xiàn)象。與隨機(jī)誤差不同，偏差是一種通過(guò)對(duì)統(tǒng)計(jì)結(jié)果進(jìn)行系統(tǒng)性扭曲從而破壞其代表性的效應(yīng)。國(guó)際標(biāo)準(zhǔn)化組織（ISO）將偏差更廣泛地定義為：“參考值偏離事實(shí)的程度”。因此，當(dāng) AI 系統(tǒng)表現(xiàn)出系統(tǒng)性的失準(zhǔn)行為時(shí)，就可被認(rèn)定存在偏差。這種統(tǒng)計(jì)性視角并未充分涵蓋或揭示 AI 系統(tǒng)中存在偏差所造成的全部風(fēng)險(xiǎn)。法律性定義：對(duì)人工智能偏差的討論不能脫離美國(guó)法律體系中針對(duì)偏差的處理辦法，以及偏差與解決歧視和公平性的法

4、律法規(guī)之間的關(guān)系。目前，對(duì)于不允許的歧視性偏差，法院一般會(huì)采取差別對(duì)待或差異性影響兩種方式進(jìn)行定義。監(jiān)管機(jī)構(gòu)與法院尚沒(méi)有統(tǒng)一的辦法來(lái)衡量所有不允許的偏差。認(rèn)知和社會(huì)背景：人工智能系統(tǒng)設(shè)計(jì)和開(kāi)發(fā)的團(tuán)隊(duì)將他們的認(rèn)知偏差帶入流程，致使偏差普遍存在于各項(xiàng)假設(shè)中。若系統(tǒng)性偏差存在于制度層面，則會(huì)影響到機(jī)構(gòu)或團(tuán)隊(duì)的結(jié)構(gòu)和決策流程的掌控者，帶來(lái)人工智能生命周期中的個(gè)人和群體啟發(fā)性偏差與認(rèn)知/感知偏差。同時(shí)，終端用戶(hù)、下游決策者和政策制定者做出的決策也會(huì)受到這些偏差的影響。由于影響人類(lèi)決策的偏差通常是隱性且無(wú)意識(shí)的，因此無(wú)法輕易地通過(guò)人為控制或意識(shí)糾正進(jìn)行限制。2、人工智能偏差的類(lèi)別圖 1：人工智能偏差的類(lèi)別

5、系統(tǒng)性偏差：系統(tǒng)性偏差也被稱(chēng)為制度性偏差或歷史性偏差，源自特定機(jī)構(gòu)的程序或做法，其運(yùn)作方式致使某些社會(huì)群體處于優(yōu)勢(shì)地位或受到青睞，而其他社會(huì)群體則處于劣勢(shì)地位或受到貶抑，如制度性種族主義和性別歧視。這些偏差來(lái)源于人工智能使用的數(shù)據(jù)集，乃至貫穿人工智能生命周期，存在于更廣泛的社會(huì)制度規(guī)范和流程中。統(tǒng)計(jì)性和計(jì)算性偏差：統(tǒng)計(jì)性和計(jì)算性偏差源自樣本不能代表總體所導(dǎo)致的誤差。這些偏差由系統(tǒng)性錯(cuò)誤而非隨機(jī)性錯(cuò)誤所導(dǎo)致，而且在沒(méi)有偏見(jiàn)、偏袒或歧視意圖的情況下也可能發(fā)生。這些偏差存在于開(kāi)發(fā)人工智能應(yīng)用所使用的數(shù)據(jù)集和算法過(guò)程中，當(dāng)算法針對(duì)某一類(lèi)型的數(shù)據(jù)進(jìn)行訓(xùn)練且無(wú)法進(jìn)行外延時(shí)，偏差就會(huì)產(chǎn)生。人為偏差：人為偏差

6、反映的是人類(lèi)思維中的系統(tǒng)性誤差，這些誤差源于啟發(fā)性原理數(shù)量有限以及基于簡(jiǎn)單判斷進(jìn)行數(shù)據(jù)預(yù)測(cè)。人為偏差往往是隱性的，而且很可能與個(gè)人或群體如何感知信息以進(jìn)行決策或填補(bǔ)缺失或未知信息有關(guān)，僅僅提高對(duì)偏差的認(rèn)識(shí)并不能確保對(duì)它的限制。這類(lèi)偏差無(wú)處不在，貫穿人工智能生命周期中的機(jī)構(gòu)、群體和個(gè)人決策過(guò)程，乃至人工智能應(yīng)用部署后的使用過(guò)程。（二）人工智能偏差的危害一方面，當(dāng)利用人工智能提供決策支持時(shí)，若沒(méi)有人工操作員對(duì)其進(jìn)行相關(guān)約束，機(jī)器學(xué)習(xí)模型常常會(huì)由于“認(rèn)知不確定性”和“偶然不確定性”等影響而造成糟糕表現(xiàn)。而且目前用來(lái)捕捉這些模型的有害影響及其他后果的方法既不精準(zhǔn)也不全面。另一方面，機(jī)器學(xué)習(xí)系統(tǒng)能否依照

7、人類(lèi)社會(huì)的價(jià)值觀進(jìn)行學(xué)習(xí)和操作仍是一個(gè)亟待研究和關(guān)注的領(lǐng)域。系統(tǒng)性偏差和隱性偏差可能通過(guò)訓(xùn)練時(shí)使用的數(shù)據(jù)，以及支撐人工智能委托、開(kāi)發(fā)、部署和使用方式的制度安排與做法而帶入。同時(shí)，統(tǒng)計(jì)/算法偏差以及人為偏差存在于工程與建模過(guò)程本身，而無(wú)法正確驗(yàn)證模型性能使這些偏差在部署過(guò)程中暴露無(wú)遺。這些偏差與個(gè)人的認(rèn)知偏差相沖突，若不加以應(yīng)對(duì)，可能會(huì)形成一個(gè)復(fù)雜而有害的混合體，對(duì)個(gè)人和社會(huì)造成遠(yuǎn)超傳統(tǒng)歧視性做法的負(fù)面影響。（三）應(yīng)對(duì)人工智能偏差危害的新視角：社會(huì)技術(shù)視角傳統(tǒng)堆疊技術(shù)解決方案并不能充分反映人工智能系統(tǒng)的社會(huì)影響，僅從計(jì)算角度試圖解決偏差存在局限性。因此，要將人工智能擴(kuò)展到公共生活的方方面面，需要

8、將人們的視角從純技術(shù)角度拓展為實(shí)質(zhì)上的社會(huì)技術(shù)視角，站在更宏大的社會(huì)制度層面來(lái)思考人工智能。通過(guò)社會(huì)技術(shù)視角來(lái)重新構(gòu)建與人工智能相關(guān)的各項(xiàng)因素，具體包括三個(gè)維度：數(shù)據(jù)集；測(cè)試評(píng)估、確認(rèn)及驗(yàn)證（TEVV） HYPERLINK l _bookmark0 1；參與式設(shè)計(jì)及“人在回路”等人為因素。以上幾個(gè)維度可以更全面地理解人工智能的影響和貫穿其生命周期的種種關(guān)鍵決策，并實(shí)現(xiàn)偏差的動(dòng)態(tài)評(píng)估、了解影響偏差大小的條件及偏差間相互作用的機(jī)制。同時(shí)，實(shí)現(xiàn)個(gè)人、群體和社會(huì)需求的兼顧，還需要廣泛的學(xué)科和各相關(guān)方充分參與。（四）更新后的人工智能生命周期為了使人工智能相關(guān)技術(shù)人員將人工智能生命周期過(guò)程與人工智能偏差類(lèi)

9、別聯(lián)系起來(lái)，有效促進(jìn)對(duì)偏差的發(fā)現(xiàn)和管控，本文給出了一個(gè)四階段人工智能生命周期（圖 2）。圖 2：人工智能開(kāi)發(fā)生命周期設(shè)計(jì)啟動(dòng)前階段：該階段主要是進(jìn)行規(guī)劃、問(wèn)題說(shuō)明、背景研究和數(shù)據(jù)識(shí)別。此階段核心在于確定有話(huà)語(yǔ)權(quán)或控制權(quán)的個(gè)人1 人工智能開(kāi)發(fā)生命周期中的部分環(huán)節(jié)?；驁F(tuán)隊(duì)來(lái)進(jìn)行相關(guān)問(wèn)題的決策。這些早期決策及其決策者可以反映出機(jī)構(gòu)環(huán)境中的系統(tǒng)性偏差。此外，系統(tǒng)性偏差也反映在設(shè)計(jì)啟動(dòng)前所選擇的數(shù)據(jù)集上。所有這些偏差都會(huì)以復(fù)雜的形式影響后期階段和決策，并導(dǎo)致結(jié)果的偏差。設(shè)計(jì)和開(kāi)發(fā)階段：該階段通常從分析要求和可用數(shù)據(jù)開(kāi)始，并以此為基礎(chǔ)進(jìn)行模型設(shè)計(jì)或選擇。在設(shè)計(jì)過(guò)程中，應(yīng)當(dāng)通過(guò)兼容性分析找出潛在的偏差來(lái)源，

10、并評(píng)估和調(diào)整偏差應(yīng)對(duì)措施。在開(kāi)發(fā)過(guò)程中，機(jī)構(gòu)應(yīng)定期評(píng)估偏差，發(fā)現(xiàn)流程的完整性及應(yīng)對(duì)措施的有效性。最后，在開(kāi)發(fā)階段結(jié)束、正式部署之前，有必要對(duì)偏差應(yīng)對(duì)措施進(jìn)行全面評(píng)估，以確保系統(tǒng)保持在預(yù)先設(shè)定的范圍。在模型正式發(fā)布和部署前，其總體模型規(guī)格必須包括已被確定的偏差來(lái)源、已實(shí)施的應(yīng)對(duì)技術(shù)以及相關(guān)的性能評(píng)估。部署階段：該階段是 AI 系統(tǒng)發(fā)布和使用階段。技術(shù)團(tuán)隊(duì)?wèi)?yīng)當(dāng)實(shí)施持續(xù)監(jiān)控，并制定詳細(xì)的策略和程序來(lái)處置系統(tǒng)的結(jié)果和行為?？赡苄枰獙?duì)系統(tǒng)進(jìn)行重新訓(xùn)練以糾正其副作用，甚至關(guān)停系統(tǒng)，以確保其應(yīng)用不會(huì)造成非預(yù)期的影響或危害。測(cè)試和評(píng)估階段：該階段貫穿整個(gè)人工智能開(kāi)發(fā)生命周期。此階段鼓勵(lì)所有機(jī)構(gòu)對(duì)一切可能受到偏

11、差影響的 AI 系統(tǒng)組件及功能進(jìn)行持續(xù)測(cè)試和評(píng)估，以確保評(píng)估的平衡性與全面性。如果得到的結(jié)果不符合預(yù)期，則應(yīng)將其反饋到模型的設(shè)計(jì)啟動(dòng)前階段，對(duì)模型設(shè)計(jì)的任何擬議變更均應(yīng)與新的數(shù)據(jù)和要求一起接受評(píng)估，然后開(kāi)始新一輪的設(shè)計(jì)和開(kāi)發(fā)，確保此前發(fā)現(xiàn)的所有問(wèn)題均得到解決。二、減輕人工智能偏差面臨的挑戰(zhàn)與建議（一）人工智能偏差中的數(shù)據(jù)集1、數(shù)據(jù)集方面存在的挑戰(zhàn)人工智能的設(shè)計(jì)和開(kāi)發(fā)高度依賴(lài)大規(guī)模數(shù)據(jù)集，這種需求可能會(huì)引導(dǎo)研究人員、開(kāi)發(fā)人員和從業(yè)人員更在乎數(shù)據(jù)集的可用性或可得性，而無(wú)論其合適與否。結(jié)果是，當(dāng)現(xiàn)成的、卻不能完全代表目標(biāo)總體樣本的數(shù)據(jù)集被反復(fù)用作訓(xùn)練數(shù)據(jù)時(shí)，系統(tǒng)性偏差也可能會(huì)表現(xiàn)為可得性偏差 HYP

12、ERLINK l _bookmark1 2。同時(shí)，即使數(shù)據(jù)集有代表性，也仍可能表現(xiàn)出歷史性偏差和系統(tǒng)性偏差。由于受保護(hù)屬性的隱藏信息可以通過(guò)代理或潛在變量推導(dǎo)出來(lái)，揭露出個(gè)人和群體的非必要信息，因此基于這些變量的模型仍然會(huì)對(duì)個(gè)人或某一類(lèi)人造成負(fù)面影響，可能會(huì)造成歧視。當(dāng)終端用戶(hù)與 AI 系統(tǒng)發(fā)生交互時(shí)，這些不當(dāng)或不完善的早期設(shè)計(jì)與開(kāi)發(fā)決策使得該過(guò)程容易受到額外的統(tǒng)計(jì)性偏差或人為偏差的影響。例如，算法模型可能僅建立在最活躍用戶(hù)的數(shù)據(jù)之上，其創(chuàng)建的后續(xù)系統(tǒng)活動(dòng)可能也并不反映目標(biāo)或真實(shí)用戶(hù)群2 指人們往往根據(jù)認(rèn)知上的易得性來(lái)判斷事件的可能性，而忽視對(duì)其他信息的關(guān)注進(jìn)行深度發(fā)掘，從而造成判斷的偏差。體

13、。此外，反饋環(huán)路可能會(huì)將誤差進(jìn)一步放大，使得隨后的訓(xùn)練數(shù)據(jù)全部來(lái)自于最活躍用戶(hù)，進(jìn)而將造成潛在的有害影響。2、數(shù)據(jù)集方面的改進(jìn)建議應(yīng)對(duì)統(tǒng)計(jì)性偏差：應(yīng)對(duì)人工智能偏差的一個(gè)主要趨勢(shì)是關(guān)注建模過(guò)程中所使用數(shù)據(jù)集的全面統(tǒng)計(jì)特征。對(duì)于算法模型來(lái)說(shuō)，常見(jiàn)的算法技術(shù)都假設(shè)變量是單峰的。然而，數(shù)據(jù)卻往往是異構(gòu)和多峰的。因此，無(wú)論模型是用于基準(zhǔn)測(cè)試、預(yù)測(cè)還是分類(lèi)，必須記錄和交流人工智能結(jié)果的適用性存在的局限。此外，在數(shù)據(jù)集的遷移使用時(shí)還需特別注意數(shù)據(jù)集分布中的潛在差異，并關(guān)注其對(duì)模型的不公平性與誤差產(chǎn)生的影響。應(yīng)用社會(huì)技術(shù)方法：人工智能建模需要結(jié)合地區(qū)具體地理特征，因此，需要對(duì)機(jī)器學(xué)習(xí)應(yīng)用中數(shù)據(jù)集的使用加以調(diào)整

14、，以適應(yīng)其部署環(huán)境中的所有社會(huì)技術(shù)因素。在設(shè)計(jì)階段，社會(huì)技術(shù)分析帶來(lái)了對(duì)某一現(xiàn)象的動(dòng)態(tài)或特征性社會(huì)異變的深刻理解。這有助于更好地制定出問(wèn)題分析框架，并對(duì)數(shù)據(jù)集合適與否做出評(píng)估。開(kāi)發(fā)階段的社會(huì)技術(shù)視角有助于選擇數(shù)據(jù)源和屬性，并明確將影響評(píng)估作為算法準(zhǔn)確性的補(bǔ)充。關(guān)注人為因素與數(shù)據(jù)集的相互作用：構(gòu)建人工智能應(yīng)用基礎(chǔ)模型時(shí)，設(shè)計(jì)和開(kāi)發(fā)團(tuán)隊(duì)關(guān)于使用哪些數(shù)據(jù)集的決定和假設(shè)會(huì)加劇數(shù)據(jù)集中存在的系統(tǒng)性、制度性偏差。同時(shí)，在數(shù)據(jù)選擇、管理、準(zhǔn)備和分析過(guò)程中，人為偏差也會(huì)造成一定影響。例如，注釋訓(xùn)練數(shù)據(jù)的人員可能會(huì)帶入其自身的認(rèn)知偏差；相關(guān)人員清洗數(shù)據(jù)源與變量時(shí)也會(huì)按照自己的理念行事；數(shù)據(jù)分析決策在邊緣化總體樣

15、本中存在收集偏差。以上人工智能偏差和公平性的問(wèn)題需要解決。此外，需記錄人為偏差的潛在來(lái)源，以提升人工智能模型描述的透明度和可解讀性。（二）對(duì)人工智能偏差進(jìn)行測(cè)試評(píng)估、確認(rèn)及驗(yàn)證時(shí)的注意事項(xiàng)1、TEVV（測(cè)試評(píng)估、確認(rèn)及驗(yàn)證）方面存在的挑戰(zhàn)機(jī)器學(xué)習(xí)過(guò)程中的預(yù)測(cè)不確定性：機(jī)器學(xué)習(xí)存在兩種類(lèi)型的預(yù)測(cè)不確定性：“認(rèn)知不確定性”和“偶然不確定性”?！罢J(rèn)知不確定性”常在參數(shù)計(jì)算中出現(xiàn)。由于數(shù)學(xué)問(wèn)題上的解值具有非唯一性，當(dāng)真實(shí)數(shù)據(jù)與訓(xùn)練數(shù)據(jù)的分布不匹配時(shí)，可能會(huì)影響已部署的深度學(xué)習(xí)系統(tǒng)的行為，導(dǎo)致有害偏差?！芭既徊淮_定性”代表數(shù)據(jù)中固有的不確定性，是預(yù)測(cè)不確定性中不可再分的部分。例如，訓(xùn)練數(shù)據(jù)集的標(biāo)簽分配過(guò)

16、程中的不確定性。大型語(yǔ)言模型的發(fā)展帶來(lái)挑戰(zhàn)：大型語(yǔ)言模型在深度學(xué)習(xí)中的重要性不斷增加，但其在“認(rèn)知不確定性”和“偶然不確定性”方面造成了重大挑戰(zhàn)。依賴(lài)大量未經(jīng)整理的網(wǎng)絡(luò)數(shù)據(jù)會(huì)增加偶然不確定性。模型設(shè)計(jì)與數(shù)據(jù)處理流程的偏差問(wèn)題：為了讓 AI 系統(tǒng)確認(rèn)建模的側(cè)重點(diǎn)，技術(shù)人員在對(duì)數(shù)據(jù)進(jìn)行分類(lèi)和排序時(shí)往往會(huì)將背景信息扁平化處理，并對(duì)不可觀察現(xiàn)象進(jìn)行量化處理，這一操作可能會(huì)導(dǎo)致有害偏差。同時(shí)，軟件設(shè)計(jì)師和數(shù)據(jù)科學(xué)家對(duì)系統(tǒng)性能進(jìn)行優(yōu)化的過(guò)程，也可能會(huì)在無(wú)意中成為人工智能系統(tǒng)偏差的來(lái)源。此外，在模型選擇過(guò)程中忽略背景信息也可能會(huì)導(dǎo)致子群體的結(jié)果有偏差。相應(yīng)地，使用群體匯總數(shù)據(jù)預(yù)測(cè)個(gè)人行為的系統(tǒng)可能會(huì)導(dǎo)致結(jié)果

17、出現(xiàn)偏差。這些無(wú)意中對(duì)某些因素加權(quán)后得出的算法結(jié)果，可能會(huì)加劇和固化社會(huì)的不平等。算法復(fù)雜性的偏差問(wèn)題：出于成本與實(shí)現(xiàn)難度的考慮，技術(shù)人員所使用的通常都是參數(shù)較少的簡(jiǎn)單模型。然而，這類(lèi)模型對(duì)訓(xùn)練數(shù)據(jù)的限制性假設(shè)通常不兼容有細(xì)微差別的統(tǒng)計(jì)資料，可能會(huì)加劇統(tǒng)計(jì)性偏差。復(fù)雜模型通常用于文本圖像等非線性、多模態(tài)數(shù)據(jù)，這種模型捕捉的潛在的系統(tǒng)性偏差可能難以識(shí)別和預(yù)測(cè)。系統(tǒng)驗(yàn)證的有效性問(wèn)題：在系統(tǒng)驗(yàn)證環(huán)節(jié)可能會(huì)出現(xiàn)許多困難和缺陷。系統(tǒng)測(cè)試往往缺少真實(shí)數(shù)據(jù)、或者噪聲標(biāo)簽及其他注釋因素，這導(dǎo)致人們很難知道什么是準(zhǔn)確的。同時(shí)，代理變量的使用再度加劇了這一困難。在最佳條件進(jìn)行系統(tǒng)測(cè)試，是另一項(xiàng)極具挑戰(zhàn)性的設(shè)計(jì)缺陷

18、。同時(shí)，系統(tǒng)性能指標(biāo)難以概括，也可能導(dǎo)致非預(yù)期使用的問(wèn)題。驗(yàn)證和部署環(huán)節(jié)的偏差問(wèn)題：驗(yàn)證意味著確保系統(tǒng)不會(huì)以非預(yù)期的方式使用。當(dāng)人工智能模型以開(kāi)發(fā)人員不希望的方式使用時(shí)，就會(huì)產(chǎn)生部署偏差。當(dāng)部署的系統(tǒng)存在缺陷或疏漏時(shí)，這類(lèi)系統(tǒng)會(huì)損害用戶(hù)利益，并可能違背現(xiàn)行的法律框架，加劇公眾對(duì)人工智能技術(shù)的不信任。人工智能系統(tǒng)的“黑箱”問(wèn)題：人工智能在黑箱可解釋性、再現(xiàn)性問(wèn)題和試錯(cuò)流程方面表面上看似科學(xué)，實(shí)際上難以遵循假設(shè)可檢驗(yàn)、實(shí)驗(yàn)可解釋、模型可證偽的科學(xué)方法。除此之外，高水準(zhǔn)的機(jī)器學(xué)習(xí)庫(kù)和低成本的云計(jì)算使人工智能的開(kāi)發(fā)正變得越來(lái)越普遍。然而，人工智能本身在很大程度上仍不透明，深度神經(jīng)網(wǎng)絡(luò)和貝葉斯推理需要高

19、等數(shù)學(xué)才能理解。圖 3：偏差是如何造成危害的2、TEVV（測(cè)試評(píng)估、確認(rèn)及驗(yàn)證）方面的改進(jìn)建議減少算法偏差：在機(jī)器學(xué)習(xí)中，若缺少算法應(yīng)用于具體任務(wù)的背景信息，給模型或算法指定偏差本身是沒(méi)有意義的。例如，在自然語(yǔ)言處理的背景中，仇恨言論檢測(cè)模型使用方言標(biāo)記作為毒性預(yù)測(cè)因子，這可能導(dǎo)致對(duì)少數(shù)民族群體的偏差。根據(jù)在特定任務(wù)背景下減少算法偏差的不同方法，目前的除偏方法可歸為以下三類(lèi)：預(yù)處理、處理、后處理三類(lèi)。它們分別通過(guò)數(shù)據(jù)轉(zhuǎn)換、算法修改、黑箱模型推導(dǎo)的方式，減少訓(xùn)練過(guò)程中的偏差問(wèn)題。完善公平性指標(biāo)：目前的研究表明，公平性簡(jiǎn)化成一個(gè)簡(jiǎn)明的數(shù)學(xué)定義是困難的，同時(shí)觀察性的公平性指標(biāo)尚有待發(fā)展。公平性是動(dòng)態(tài)

20、的、社會(huì)性的、特定于應(yīng)用和環(huán)境的，而不僅是一個(gè)抽象或普遍的統(tǒng)計(jì)問(wèn)題。因此，必須采用社會(huì)技術(shù)方法實(shí)現(xiàn)公平，以便為不同的環(huán)境提供現(xiàn)實(shí)的公平性定義，并為機(jī)器學(xué)習(xí)模型的開(kāi)發(fā)和評(píng)估提供特定任務(wù)的數(shù)據(jù)集。（三）人工智能偏差中的人為因素1、人為因素方面存在的挑戰(zhàn)設(shè)計(jì)與開(kāi)發(fā)環(huán)節(jié)的實(shí)驗(yàn)環(huán)境與現(xiàn)實(shí)存在差距：AI 系統(tǒng)的設(shè)計(jì)和開(kāi)發(fā)是為了在特定的現(xiàn)實(shí)世界環(huán)境中使用，但往往在理想化的場(chǎng)景中進(jìn)行測(cè)試。一經(jīng)部署，最初的意圖、理念或影響評(píng)估都可能發(fā)生偏移。不同的部署環(huán)境意味著需要考慮一系列新的風(fēng)險(xiǎn)。在決定構(gòu)建 AI 系統(tǒng)之前，需先與可能受到這些技術(shù)部署影響的廣大相關(guān)方群體進(jìn)行接觸，這一點(diǎn)至關(guān)重要。“人在回路”系統(tǒng)產(chǎn)生相關(guān)干擾

21、：大多數(shù)算法決策系統(tǒng)都屬于社會(huì)技術(shù)系統(tǒng)。從機(jī)器學(xué)習(xí)過(guò)程所使用的數(shù)據(jù)集和構(gòu)建人員所做的決策，到與提供見(jiàn)解和監(jiān)督保障系統(tǒng)運(yùn)轉(zhuǎn)人員的交互，這些過(guò)程都與人類(lèi)社會(huì)行為密不可分。通常認(rèn)為將人類(lèi)置于 AI 系統(tǒng)的“回路”中能夠杜絕不良事件的發(fā)生，但當(dāng)前對(duì)于人工智能中 “人在回路”的作用和責(zé)任的看法尚不明確，對(duì)這類(lèi)系統(tǒng)性能的預(yù)期也往往基于未經(jīng)檢驗(yàn)的假設(shè)。對(duì)于專(zhuān)家推動(dòng)型機(jī)器學(xué)習(xí)，專(zhuān)家可能會(huì)與機(jī)器學(xué)習(xí)模型進(jìn)行交互，但較少參與系統(tǒng)本身的設(shè)計(jì)或開(kāi)發(fā)。例如，在醫(yī)學(xué)領(lǐng)域的 AI 系統(tǒng)中，醫(yī)學(xué)方面的專(zhuān)家不一定熟悉機(jī)器學(xué)習(xí)、數(shù)據(jù)科學(xué)、計(jì)算機(jī)科學(xué)或其他傳統(tǒng)上與人工智能設(shè)計(jì)或開(kāi)發(fā)相關(guān)的領(lǐng)域。同時(shí)，行業(yè)專(zhuān)家傾向于借助 AI 系統(tǒng)來(lái)

22、分擔(dān)自身主觀判斷的壓力，從而實(shí)現(xiàn)假定的自動(dòng)化客觀性，可能在無(wú)意中做出不準(zhǔn)確和有害的決定。相應(yīng)地，人工智能開(kāi)發(fā)者群體可能會(huì)下意識(shí)地認(rèn)為專(zhuān)家的方法已經(jīng)得到了比實(shí)際情況更好的驗(yàn)證。這些隱性的個(gè)人和群體行為可能會(huì)創(chuàng)造條件，間接鼓勵(lì)特別是高風(fēng)險(xiǎn)環(huán)境下對(duì)不完善技術(shù)的使用。因此，在沒(méi)有評(píng)估和管理以上風(fēng)險(xiǎn)的情況下，專(zhuān)家推動(dòng)型機(jī)器學(xué)習(xí)和“人在回路”的做法無(wú)法作為對(duì) AI 系統(tǒng)及其結(jié)果實(shí)現(xiàn)有效監(jiān)督的手段。2、人為因素方面的改進(jìn)建議引入影響評(píng)估過(guò)程：一種名為算法影響評(píng)估的方法旨在確保以合乎倫理和負(fù)責(zé)任的方式進(jìn)行人工智能技術(shù)開(kāi)發(fā)。其中，發(fā)現(xiàn)和應(yīng)對(duì)潛在的偏差是評(píng)估過(guò)程中的重要步驟。算法影響評(píng)估提供了一個(gè)高級(jí)結(jié)構(gòu)，使機(jī)構(gòu)

23、能夠框定每種算法或每次部署的風(fēng)險(xiǎn)，同時(shí)考慮到每個(gè)用例的具體情況。同時(shí)，參與影響評(píng)估還可以作為一種強(qiáng)制機(jī)制，迫使有關(guān)機(jī)構(gòu)主動(dòng)闡明一切風(fēng)險(xiǎn)，然后在發(fā)生任何危害時(shí)生成相應(yīng)的緩解措施文件。此外，影響評(píng)估應(yīng)是一個(gè)長(zhǎng)期、迭代的任務(wù)，必須以合理的節(jié)奏反復(fù)進(jìn)行影響評(píng)估。推動(dòng)相關(guān)方廣泛參與：讓終端用戶(hù)、從業(yè)人員、行業(yè)專(zhuān)家，以及法律和社會(huì)科學(xué)界的跨學(xué)科專(zhuān)業(yè)人士等各種利益相關(guān)者參與進(jìn)來(lái)，使得相關(guān)方可以利用自身不同的經(jīng)驗(yàn)，拓寬 AI 系統(tǒng)工程師和設(shè)計(jì)師的視野，更全面地對(duì) AI 技術(shù)應(yīng)用的社會(huì)影響加以評(píng)估。同時(shí)，這種參與也需要審慎的規(guī)劃和指導(dǎo)，以便與時(shí)俱進(jìn)，改進(jìn)實(shí)踐。提高團(tuán)隊(duì)多樣性、公平性與包容性：確保參與訓(xùn)練、測(cè)試和

24、部署系統(tǒng)的人員具備多元化的經(jīng)驗(yàn)、專(zhuān)業(yè)知識(shí)和背景是一項(xiàng)關(guān)鍵的風(fēng)險(xiǎn)緩解措施，可幫助機(jī)構(gòu)管控人工智能潛在的危害。為了將多樣性、公平性和包容性的好處擴(kuò)大到 AI 系統(tǒng)的用戶(hù)和開(kāi)發(fā)人員，應(yīng)吸納反映不同背景、觀點(diǎn)和專(zhuān)業(yè)知識(shí)的個(gè)人進(jìn)來(lái)，并幫助機(jī)構(gòu)更好理解系統(tǒng)的用戶(hù)影響機(jī)制、系統(tǒng)對(duì)不同用戶(hù)的利弊影響等問(wèn)題。運(yùn)用生命周期法推進(jìn)實(shí)踐改進(jìn)：通過(guò)采用生命周期方法，可以確定一些重要節(jié)點(diǎn)，開(kāi)發(fā)完善的指導(dǎo)、保證和治理流程，并協(xié)助業(yè)務(wù)部門(mén)、數(shù)據(jù)和社會(huì)科學(xué)家對(duì)流程進(jìn)行整合，以減少偏差。例如，在開(kāi)發(fā)算法決策系統(tǒng)時(shí)列舉制度性假設(shè)，并將這些假設(shè)與受影響的群體的預(yù)期進(jìn)行對(duì)應(yīng)?！坝行幕魬?zhàn)”的做法旨在營(yíng)造一種環(huán)境，使技術(shù)開(kāi)發(fā)人員能夠主

25、動(dòng)挑戰(zhàn)和質(zhì)疑建模和工程中的步驟，從而幫助根除統(tǒng)計(jì)性偏差和人類(lèi)決策中固有的偏差。探索人機(jī)交互配置：為抵消已知的人類(lèi)主觀性和人為偏差，而將 AI 系統(tǒng)布置在高風(fēng)險(xiǎn)環(huán)境中這一做法仍然存在相當(dāng)多的問(wèn)題。必須有一種顧及到廣泛的社會(huì)技術(shù)因素的“人在回路”方法，將人為因素、心理學(xué)、組織行為以及人機(jī)交互等領(lǐng)域與技術(shù)群體之間架起溝通橋梁。因此，應(yīng)制定關(guān)于如何實(shí)施“人在回路”流程的正式指導(dǎo)，以避免放大或加劇可能在復(fù)雜環(huán)境下妨害結(jié)果的人為偏差、系統(tǒng)性偏差和計(jì)算性偏差。此外還需確定系統(tǒng)配置及其組件的必要標(biāo)準(zhǔn)，從而產(chǎn)生準(zhǔn)確和值得信賴(lài)的結(jié)果。提高系統(tǒng)和程序透明度：AI 系統(tǒng)需要更多的可解釋性和可解讀性。數(shù)據(jù)表和模型卡等工

26、具的激增可以幫助填補(bǔ)這一缺口。同時(shí)，對(duì)于偏差與透明度相互交織的問(wèn)題，透明度工具對(duì)于解決非預(yù)期使用的問(wèn)題帶來(lái)幫助，但同時(shí)需要注意人類(lèi)對(duì)人工智能模型結(jié)果的解讀方式存在明顯的個(gè)體差異，如專(zhuān)家與系統(tǒng)設(shè)計(jì)人員的問(wèn)題關(guān)注角度不同。因此，協(xié)調(diào)指導(dǎo)是必要的，以確保透明度工具能為使用這些系統(tǒng)的專(zhuān)業(yè)人員提供有效支持，而不是間接放大偏差。堅(jiān)持以人為本的人工智能設(shè)計(jì)：以人為本的系統(tǒng)技術(shù)設(shè)計(jì)開(kāi)發(fā)方法關(guān)注用戶(hù)及其需求，全程以用戶(hù)為核心，涉及硬件設(shè)計(jì)和軟件設(shè)計(jì)等技術(shù)的所有方面，通過(guò)持續(xù)迭代不斷改善整個(gè)系統(tǒng)的用戶(hù)體驗(yàn)。以人為本的設(shè)計(jì)會(huì)更深入地關(guān)注公平性、偏差、價(jià)值觀和倫理等重要的社會(huì)因素，本身也可作為其他開(kāi)發(fā)生命周期的一部分

27、，包括瀑布式、螺旋型和敏捷模式。根據(jù)國(guó)際標(biāo)準(zhǔn)化組織（ISO）9241-210：2019 標(biāo)準(zhǔn)中的定義（圖 4），以人為本的設(shè)計(jì)包括：對(duì)用戶(hù)、任務(wù)和使用環(huán)境的明確理解，用戶(hù)全程參與設(shè)計(jì)和開(kāi)發(fā)過(guò)程，通過(guò)以人為本的評(píng)估來(lái)推動(dòng)和完善設(shè)計(jì)，對(duì)原型進(jìn)行設(shè)計(jì)、測(cè)試和修改的迭代過(guò)程，優(yōu)化整體用戶(hù)體驗(yàn)，具備多學(xué)科技術(shù)和觀點(diǎn)的設(shè)計(jì)團(tuán)隊(duì)?；谝陨蠘?biāo)準(zhǔn)，用于開(kāi)發(fā) AI 系統(tǒng)的以人為本的設(shè)計(jì)方法越來(lái)越多地涵蓋以下內(nèi)容（圖 5）：定義使用環(huán)境，包括操作環(huán)境、用戶(hù)特征、任務(wù)和社會(huì)環(huán)境；確定用戶(hù)和組織要求，包括業(yè)務(wù)要求、用戶(hù)要求和技術(shù)要求；開(kāi)發(fā)設(shè)計(jì)解決方案，包括系統(tǒng)設(shè)計(jì)、用戶(hù)界面和訓(xùn)練材料；進(jìn)行評(píng)估，包括可用性和一致性測(cè)試。

28、 其中，使用環(huán)境對(duì) AI 系統(tǒng)是關(guān)鍵的社會(huì)技術(shù)考慮。在任何項(xiàng)目的前期，都必須考慮人工智能系統(tǒng)所使用的社會(huì)技術(shù)的動(dòng)態(tài)和條件，以確保系統(tǒng)的設(shè)計(jì)能夠滿(mǎn)足用戶(hù)需求、機(jī)構(gòu)目標(biāo)，以及更大的社會(huì)需求。使用環(huán)境不僅包括用戶(hù)自身的使用環(huán)境，還涉及更廣泛的背景狀況，如開(kāi)發(fā)人工智能系統(tǒng)的機(jī)構(gòu)環(huán)境、即將使用該系統(tǒng)的操作環(huán)境、以及即將實(shí)施該系統(tǒng)的更大的社會(huì)環(huán)境。社會(huì)技術(shù)方法可以同時(shí)考慮技術(shù)層面和部署這些系統(tǒng)的復(fù)雜社會(huì)環(huán)境，提高關(guān)鍵的公眾理解和能動(dòng)性。圖 4：以人為本的設(shè)計(jì)流程【國(guó)際標(biāo)準(zhǔn)化組織 ISO 9241-210:2019】圖 5：以人為本的AI 系統(tǒng)設(shè)計(jì)流程（四）人工智能偏差的治理指南1、部署監(jiān)測(cè)系統(tǒng)，預(yù)測(cè)潛在風(fēng)

29、險(xiǎn)部署額外的系統(tǒng)來(lái)監(jiān)測(cè)潛在的偏差問(wèn)題，可以幫助控制 AI系統(tǒng)部署后表現(xiàn)與預(yù)測(cè)情況不同的風(fēng)險(xiǎn)，以便在檢測(cè)到潛在問(wèn)題時(shí)，及時(shí)提醒相關(guān)人員。2、嵌入追訴渠道，優(yōu)化事故補(bǔ)救反饋渠道的可用性允許系統(tǒng)終端用戶(hù)標(biāo)記不正確或潛在有害的結(jié)果，并尋求對(duì)錯(cuò)誤或危害的追訴。在人工智能系統(tǒng)中嵌入此類(lèi)流程和技術(shù)，使得用戶(hù)可以對(duì)錯(cuò)誤的決定（甚至建議）提出申訴，同時(shí)也使技術(shù)開(kāi)發(fā)團(tuán)隊(duì)能夠在潛在事故的起始點(diǎn)對(duì)其進(jìn)行補(bǔ)救。3、完善政策與程序，加強(qiáng)風(fēng)險(xiǎn)管控在 AI 系統(tǒng)的背景下，確保書(shū)面政策和程序能應(yīng)對(duì)人工智能模型生命周期所有階段的關(guān)鍵角色、職責(zé)和流程，對(duì)于管控和檢測(cè) AI 系統(tǒng)性能的潛在整體問(wèn)題至關(guān)重要。政策和程序可以實(shí)現(xiàn)一致的開(kāi)

30、發(fā)和測(cè)試，有助于確保 AI 系統(tǒng)的結(jié)果是可復(fù)現(xiàn)的，使得相關(guān)風(fēng)險(xiǎn)可以得到一致的映射、衡量和管控。專(zhuān)欄 1如果在不同系統(tǒng)中使用了不可調(diào)和差異化指標(biāo)，有關(guān)政策應(yīng)定義與 AI 系統(tǒng)相關(guān)的關(guān)鍵術(shù)語(yǔ)、概念及其預(yù)期影響范圍解決敏感或其他潛在風(fēng)險(xiǎn)數(shù)據(jù)的使用問(wèn)題；詳細(xì)說(shuō)明實(shí)驗(yàn)設(shè)計(jì)、數(shù)據(jù)質(zhì)量和模型訓(xùn)練的標(biāo)準(zhǔn)；概述應(yīng)當(dāng)如何映射和衡量偏差風(fēng)險(xiǎn)，及其依據(jù)標(biāo)準(zhǔn)；詳細(xì)說(shuō)明模型測(cè)試和驗(yàn)證的過(guò)程；詳細(xì)說(shuō)明法律或風(fēng)險(xiǎn)職能部門(mén)的審查流程；規(guī)定持續(xù)審計(jì)和審查的周期和深度；概述變更管控的要求；詳細(xì)說(shuō)明與此類(lèi)系統(tǒng)的事故響應(yīng)相關(guān)的所有計(jì)劃，以防在：；部署期間出現(xiàn)任何重大風(fēng)險(xiǎn)。4、建立標(biāo)準(zhǔn)文檔，規(guī)范決策過(guò)程清晰的文檔規(guī)范有助于系統(tǒng)地執(zhí)行政策

31、和程序，將機(jī)構(gòu)的偏差管理流程在每個(gè)階段的實(shí)施和記錄方式標(biāo)準(zhǔn)化，并有助于確保問(wèn)責(zé)制。模型文件應(yīng)包含對(duì)系統(tǒng)機(jī)制的可解釋性描述，使監(jiān)督人員能夠就系統(tǒng)可能加劇偏差的問(wèn)題做出明智的、基于風(fēng)險(xiǎn)的決策。文檔還可作為重要信息的單一存儲(chǔ)庫(kù)，不僅支持對(duì) AI 系統(tǒng)和相關(guān)業(yè)務(wù)流程的內(nèi)部監(jiān)督，還可增強(qiáng)系統(tǒng)維護(hù)，并作為任何必要的糾正或調(diào)試活動(dòng)的寶貴資源。5、完善問(wèn)責(zé)機(jī)制，明確權(quán)責(zé)劃分基本的問(wèn)責(zé)機(jī)制即指定某個(gè)具體的團(tuán)隊(duì)或個(gè)人（比如首席模型風(fēng)險(xiǎn)官）來(lái)負(fù)責(zé) AI 系統(tǒng)中的偏差管控。要求個(gè)人或團(tuán)隊(duì)為風(fēng)險(xiǎn)及相關(guān)危害承擔(dān)責(zé)任，可以直接激勵(lì)他們?nèi)ス芸仫L(fēng)險(xiǎn)。問(wèn)責(zé)制需要對(duì) AI 系統(tǒng)本身的作用進(jìn)行明確評(píng)估。例如，決策支持系統(tǒng)一般不負(fù)責(zé)進(jìn)行直接決策，因此風(fēng)險(xiǎn)較小，但反而容易被用戶(hù)過(guò)度依賴(lài)或被誤用、濫用。在這種情況下，AI 系統(tǒng)就會(huì)造成與直接參與決策并無(wú)二致的危害。此外，模型或算法審計(jì)可用于評(píng)估和記錄這些重要的問(wèn)責(zé)制考慮因素。6、推廣風(fēng)控文化，探索管控框架為了使人工智能治理有效，應(yīng)將治理嵌入到機(jī)構(gòu)的整體文化當(dāng)中。風(fēng)險(xiǎn)管