1、 HYPERLINK / 建立標準，發現和管控人工智能存在的偏差 HYPERLINK / 【譯者按】2022 年 3 月，美國國家標準與技術研究所（NIST）發布建立標準，發現和管控人工智能存在的偏差報告。報告認為，人工智能中的偏差問題會對個人、組織和社會產生一系列負面影響，需要采取社會技術的系統方法加以應對。報告介紹了人工智能偏差的概念，分析了由此產生的各類危害與挑戰，并建議從數據集、測試評估驗證環節、人為因素三個關鍵維度制定初步的人工智能治理社會技術框架，進而提出了相應的操作指南。賽迪智庫信息化與軟件產業研究所對報告進行了編譯，期望對我國有關部門有所幫助。 HYPERLINK / 【關鍵詞

2、】人工智能偏差 標準 治理隨著人工智能（AI）系統更多參與跨行業及關鍵領域應用，其技術流程中普遍存在的偏差問題可能會造成有害影響，這給社會公平及 AI 系統的公眾信任埋下了隱患。然而，當前社會對于人工智能偏差的認知尚不充分，應對人工智能偏差有害影響的嘗試仍然集中在計算性因素上，比如數據集的代表性和機器學習算法的公平性。這類補救措施對于減少偏差至關重要，但還遠遠不夠。人為因素、系統性的制度因素以及社會因素也是人工智能偏差的重要來源，但目前卻未被重視。要成功應對人工智能偏差的挑戰，就需要考慮所有形式的偏差。為此，本文介紹了人工智能偏差的概念及分類，討論了偏差產生的原因及帶來的挑戰，并從數據集、測試

3、評估驗證環節和人為因素三個方面為制定詳盡的社會技術指導路線提供了初步指南。一、人工智能偏差:背景和術語（一）人工智能偏差相關概念1、人工智能偏差的定義統計性定義：在技術系統中，偏差通常都被理解為一種統計現象。與隨機誤差不同，偏差是一種通過對統計結果進行系統性扭曲從而破壞其代表性的效應。國際標準化組織（ISO）將偏差更廣泛地定義為：“參考值偏離事實的程度”。因此，當 AI 系統表現出系統性的失準行為時，就可被認定存在偏差。這種統計性視角并未充分涵蓋或揭示 AI 系統中存在偏差所造成的全部風險。法律性定義：對人工智能偏差的討論不能脫離美國法律體系中針對偏差的處理辦法，以及偏差與解決歧視和公平性的法

4、律法規之間的關系。目前，對于不允許的歧視性偏差，法院一般會采取差別對待或差異性影響兩種方式進行定義。監管機構與法院尚沒有統一的辦法來衡量所有不允許的偏差。認知和社會背景：人工智能系統設計和開發的團隊將他們的認知偏差帶入流程，致使偏差普遍存在于各項假設中。若系統性偏差存在于制度層面，則會影響到機構或團隊的結構和決策流程的掌控者，帶來人工智能生命周期中的個人和群體啟發性偏差與認知/感知偏差。同時，終端用戶、下游決策者和政策制定者做出的決策也會受到這些偏差的影響。由于影響人類決策的偏差通常是隱性且無意識的，因此無法輕易地通過人為控制或意識糾正進行限制。2、人工智能偏差的類別圖 1：人工智能偏差的類別

5、系統性偏差：系統性偏差也被稱為制度性偏差或歷史性偏差，源自特定機構的程序或做法，其運作方式致使某些社會群體處于優勢地位或受到青睞，而其他社會群體則處于劣勢地位或受到貶抑，如制度性種族主義和性別歧視。這些偏差來源于人工智能使用的數據集，乃至貫穿人工智能生命周期，存在于更廣泛的社會制度規范和流程中。統計性和計算性偏差：統計性和計算性偏差源自樣本不能代表總體所導致的誤差。這些偏差由系統性錯誤而非隨機性錯誤所導致，而且在沒有偏見、偏袒或歧視意圖的情況下也可能發生。這些偏差存在于開發人工智能應用所使用的數據集和算法過程中，當算法針對某一類型的數據進行訓練且無法進行外延時，偏差就會產生。人為偏差：人為偏差

6、反映的是人類思維中的系統性誤差，這些誤差源于啟發性原理數量有限以及基于簡單判斷進行數據預測。人為偏差往往是隱性的，而且很可能與個人或群體如何感知信息以進行決策或填補缺失或未知信息有關，僅僅提高對偏差的認識并不能確保對它的限制。這類偏差無處不在，貫穿人工智能生命周期中的機構、群體和個人決策過程，乃至人工智能應用部署后的使用過程。（二）人工智能偏差的危害一方面，當利用人工智能提供決策支持時，若沒有人工操作員對其進行相關約束，機器學習模型常常會由于“認知不確定性”和“偶然不確定性”等影響而造成糟糕表現。而且目前用來捕捉這些模型的有害影響及其他后果的方法既不精準也不全面。另一方面，機器學習系統能否依照

7、人類社會的價值觀進行學習和操作仍是一個亟待研究和關注的領域。系統性偏差和隱性偏差可能通過訓練時使用的數據，以及支撐人工智能委托、開發、部署和使用方式的制度安排與做法而帶入。同時，統計/算法偏差以及人為偏差存在于工程與建模過程本身，而無法正確驗證模型性能使這些偏差在部署過程中暴露無遺。這些偏差與個人的認知偏差相沖突，若不加以應對，可能會形成一個復雜而有害的混合體，對個人和社會造成遠超傳統歧視性做法的負面影響。（三）應對人工智能偏差危害的新視角：社會技術視角傳統堆疊技術解決方案并不能充分反映人工智能系統的社會影響，僅從計算角度試圖解決偏差存在局限性。因此，要將人工智能擴展到公共生活的方方面面，需要

8、將人們的視角從純技術角度拓展為實質上的社會技術視角，站在更宏大的社會制度層面來思考人工智能。通過社會技術視角來重新構建與人工智能相關的各項因素，具體包括三個維度：數據集；測試評估、確認及驗證（TEVV） HYPERLINK l _bookmark0 1；參與式設計及“人在回路”等人為因素。以上幾個維度可以更全面地理解人工智能的影響和貫穿其生命周期的種種關鍵決策，并實現偏差的動態評估、了解影響偏差大小的條件及偏差間相互作用的機制。同時，實現個人、群體和社會需求的兼顧，還需要廣泛的學科和各相關方充分參與。（四）更新后的人工智能生命周期為了使人工智能相關技術人員將人工智能生命周期過程與人工智能偏差類

9、別聯系起來，有效促進對偏差的發現和管控，本文給出了一個四階段人工智能生命周期（圖 2）。圖 2：人工智能開發生命周期設計啟動前階段：該階段主要是進行規劃、問題說明、背景研究和數據識別。此階段核心在于確定有話語權或控制權的個人1 人工智能開發生命周期中的部分環節。或團隊來進行相關問題的決策。這些早期決策及其決策者可以反映出機構環境中的系統性偏差。此外，系統性偏差也反映在設計啟動前所選擇的數據集上。所有這些偏差都會以復雜的形式影響后期階段和決策，并導致結果的偏差。設計和開發階段：該階段通常從分析要求和可用數據開始，并以此為基礎進行模型設計或選擇。在設計過程中，應當通過兼容性分析找出潛在的偏差來源，

10、并評估和調整偏差應對措施。在開發過程中，機構應定期評估偏差，發現流程的完整性及應對措施的有效性。最后，在開發階段結束、正式部署之前，有必要對偏差應對措施進行全面評估，以確保系統保持在預先設定的范圍。在模型正式發布和部署前，其總體模型規格必須包括已被確定的偏差來源、已實施的應對技術以及相關的性能評估。部署階段：該階段是 AI 系統發布和使用階段。技術團隊應當實施持續監控，并制定詳細的策略和程序來處置系統的結果和行為。可能需要對系統進行重新訓練以糾正其副作用，甚至關停系統，以確保其應用不會造成非預期的影響或危害。測試和評估階段：該階段貫穿整個人工智能開發生命周期。此階段鼓勵所有機構對一切可能受到偏

11、差影響的 AI 系統組件及功能進行持續測試和評估，以確保評估的平衡性與全面性。如果得到的結果不符合預期，則應將其反饋到模型的設計啟動前階段，對模型設計的任何擬議變更均應與新的數據和要求一起接受評估，然后開始新一輪的設計和開發，確保此前發現的所有問題均得到解決。二、減輕人工智能偏差面臨的挑戰與建議（一）人工智能偏差中的數據集1、數據集方面存在的挑戰人工智能的設計和開發高度依賴大規模數據集，這種需求可能會引導研究人員、開發人員和從業人員更在乎數據集的可用性或可得性，而無論其合適與否。結果是，當現成的、卻不能完全代表目標總體樣本的數據集被反復用作訓練數據時，系統性偏差也可能會表現為可得性偏差 HYP

12、ERLINK l _bookmark1 2。同時，即使數據集有代表性，也仍可能表現出歷史性偏差和系統性偏差。由于受保護屬性的隱藏信息可以通過代理或潛在變量推導出來，揭露出個人和群體的非必要信息，因此基于這些變量的模型仍然會對個人或某一類人造成負面影響，可能會造成歧視。當終端用戶與 AI 系統發生交互時，這些不當或不完善的早期設計與開發決策使得該過程容易受到額外的統計性偏差或人為偏差的影響。例如，算法模型可能僅建立在最活躍用戶的數據之上，其創建的后續系統活動可能也并不反映目標或真實用戶群2 指人們往往根據認知上的易得性來判斷事件的可能性，而忽視對其他信息的關注進行深度發掘，從而造成判斷的偏差。體

13、。此外，反饋環路可能會將誤差進一步放大，使得隨后的訓練數據全部來自于最活躍用戶，進而將造成潛在的有害影響。2、數據集方面的改進建議應對統計性偏差：應對人工智能偏差的一個主要趨勢是關注建模過程中所使用數據集的全面統計特征。對于算法模型來說，常見的算法技術都假設變量是單峰的。然而，數據卻往往是異構和多峰的。因此，無論模型是用于基準測試、預測還是分類，必須記錄和交流人工智能結果的適用性存在的局限。此外，在數據集的遷移使用時還需特別注意數據集分布中的潛在差異，并關注其對模型的不公平性與誤差產生的影響。應用社會技術方法：人工智能建模需要結合地區具體地理特征，因此，需要對機器學習應用中數據集的使用加以調整

14、，以適應其部署環境中的所有社會技術因素。在設計階段，社會技術分析帶來了對某一現象的動態或特征性社會異變的深刻理解。這有助于更好地制定出問題分析框架，并對數據集合適與否做出評估。開發階段的社會技術視角有助于選擇數據源和屬性，并明確將影響評估作為算法準確性的補充。關注人為因素與數據集的相互作用：構建人工智能應用基礎模型時，設計和開發團隊關于使用哪些數據集的決定和假設會加劇數據集中存在的系統性、制度性偏差。同時，在數據選擇、管理、準備和分析過程中，人為偏差也會造成一定影響。例如，注釋訓練數據的人員可能會帶入其自身的認知偏差；相關人員清洗數據源與變量時也會按照自己的理念行事；數據分析決策在邊緣化總體樣

15、本中存在收集偏差。以上人工智能偏差和公平性的問題需要解決。此外，需記錄人為偏差的潛在來源，以提升人工智能模型描述的透明度和可解讀性。（二）對人工智能偏差進行測試評估、確認及驗證時的注意事項1、TEVV（測試評估、確認及驗證）方面存在的挑戰機器學習過程中的預測不確定性：機器學習存在兩種類型的預測不確定性：“認知不確定性”和“偶然不確定性”。“認知不確定性”常在參數計算中出現。由于數學問題上的解值具有非唯一性，當真實數據與訓練數據的分布不匹配時，可能會影響已部署的深度學習系統的行為，導致有害偏差。“偶然不確定性”代表數據中固有的不確定性，是預測不確定性中不可再分的部分。例如，訓練數據集的標簽分配過

16、程中的不確定性。大型語言模型的發展帶來挑戰：大型語言模型在深度學習中的重要性不斷增加，但其在“認知不確定性”和“偶然不確定性”方面造成了重大挑戰。依賴大量未經整理的網絡數據會增加偶然不確定性。模型設計與數據處理流程的偏差問題：為了讓 AI 系統確認建模的側重點，技術人員在對數據進行分類和排序時往往會將背景信息扁平化處理，并對不可觀察現象進行量化處理，這一操作可能會導致有害偏差。同時，軟件設計師和數據科學家對系統性能進行優化的過程，也可能會在無意中成為人工智能系統偏差的來源。此外，在模型選擇過程中忽略背景信息也可能會導致子群體的結果有偏差。相應地，使用群體匯總數據預測個人行為的系統可能會導致結果

17、出現偏差。這些無意中對某些因素加權后得出的算法結果，可能會加劇和固化社會的不平等。算法復雜性的偏差問題：出于成本與實現難度的考慮，技術人員所使用的通常都是參數較少的簡單模型。然而，這類模型對訓練數據的限制性假設通常不兼容有細微差別的統計資料，可能會加劇統計性偏差。復雜模型通常用于文本圖像等非線性、多模態數據，這種模型捕捉的潛在的系統性偏差可能難以識別和預測。系統驗證的有效性問題：在系統驗證環節可能會出現許多困難和缺陷。系統測試往往缺少真實數據、或者噪聲標簽及其他注釋因素，這導致人們很難知道什么是準確的。同時，代理變量的使用再度加劇了這一困難。在最佳條件進行系統測試，是另一項極具挑戰性的設計缺陷

18、。同時，系統性能指標難以概括，也可能導致非預期使用的問題。驗證和部署環節的偏差問題：驗證意味著確保系統不會以非預期的方式使用。當人工智能模型以開發人員不希望的方式使用時，就會產生部署偏差。當部署的系統存在缺陷或疏漏時，這類系統會損害用戶利益，并可能違背現行的法律框架，加劇公眾對人工智能技術的不信任。人工智能系統的“黑箱”問題：人工智能在黑箱可解釋性、再現性問題和試錯流程方面表面上看似科學，實際上難以遵循假設可檢驗、實驗可解釋、模型可證偽的科學方法。除此之外，高水準的機器學習庫和低成本的云計算使人工智能的開發正變得越來越普遍。然而，人工智能本身在很大程度上仍不透明，深度神經網絡和貝葉斯推理需要高

19、等數學才能理解。圖 3：偏差是如何造成危害的2、TEVV（測試評估、確認及驗證）方面的改進建議減少算法偏差：在機器學習中，若缺少算法應用于具體任務的背景信息，給模型或算法指定偏差本身是沒有意義的。例如，在自然語言處理的背景中，仇恨言論檢測模型使用方言標記作為毒性預測因子，這可能導致對少數民族群體的偏差。根據在特定任務背景下減少算法偏差的不同方法，目前的除偏方法可歸為以下三類：預處理、處理、后處理三類。它們分別通過數據轉換、算法修改、黑箱模型推導的方式，減少訓練過程中的偏差問題。完善公平性指標：目前的研究表明，公平性簡化成一個簡明的數學定義是困難的，同時觀察性的公平性指標尚有待發展。公平性是動態

20、的、社會性的、特定于應用和環境的，而不僅是一個抽象或普遍的統計問題。因此，必須采用社會技術方法實現公平，以便為不同的環境提供現實的公平性定義，并為機器學習模型的開發和評估提供特定任務的數據集。（三）人工智能偏差中的人為因素1、人為因素方面存在的挑戰設計與開發環節的實驗環境與現實存在差距：AI 系統的設計和開發是為了在特定的現實世界環境中使用，但往往在理想化的場景中進行測試。一經部署，最初的意圖、理念或影響評估都可能發生偏移。不同的部署環境意味著需要考慮一系列新的風險。在決定構建 AI 系統之前，需先與可能受到這些技術部署影響的廣大相關方群體進行接觸，這一點至關重要。“人在回路”系統產生相關干擾

21、：大多數算法決策系統都屬于社會技術系統。從機器學習過程所使用的數據集和構建人員所做的決策，到與提供見解和監督保障系統運轉人員的交互，這些過程都與人類社會行為密不可分。通常認為將人類置于 AI 系統的“回路”中能夠杜絕不良事件的發生，但當前對于人工智能中 “人在回路”的作用和責任的看法尚不明確，對這類系統性能的預期也往往基于未經檢驗的假設。對于專家推動型機器學習，專家可能會與機器學習模型進行交互，但較少參與系統本身的設計或開發。例如，在醫學領域的 AI 系統中，醫學方面的專家不一定熟悉機器學習、數據科學、計算機科學或其他傳統上與人工智能設計或開發相關的領域。同時，行業專家傾向于借助 AI 系統來

22、分擔自身主觀判斷的壓力，從而實現假定的自動化客觀性，可能在無意中做出不準確和有害的決定。相應地，人工智能開發者群體可能會下意識地認為專家的方法已經得到了比實際情況更好的驗證。這些隱性的個人和群體行為可能會創造條件，間接鼓勵特別是高風險環境下對不完善技術的使用。因此，在沒有評估和管理以上風險的情況下，專家推動型機器學習和“人在回路”的做法無法作為對 AI 系統及其結果實現有效監督的手段。2、人為因素方面的改進建議引入影響評估過程：一種名為算法影響評估的方法旨在確保以合乎倫理和負責任的方式進行人工智能技術開發。其中，發現和應對潛在的偏差是評估過程中的重要步驟。算法影響評估提供了一個高級結構，使機構

23、能夠框定每種算法或每次部署的風險，同時考慮到每個用例的具體情況。同時，參與影響評估還可以作為一種強制機制，迫使有關機構主動闡明一切風險，然后在發生任何危害時生成相應的緩解措施文件。此外，影響評估應是一個長期、迭代的任務，必須以合理的節奏反復進行影響評估。推動相關方廣泛參與：讓終端用戶、從業人員、行業專家，以及法律和社會科學界的跨學科專業人士等各種利益相關者參與進來，使得相關方可以利用自身不同的經驗，拓寬 AI 系統工程師和設計師的視野，更全面地對 AI 技術應用的社會影響加以評估。同時，這種參與也需要審慎的規劃和指導，以便與時俱進，改進實踐。提高團隊多樣性、公平性與包容性：確保參與訓練、測試和

24、部署系統的人員具備多元化的經驗、專業知識和背景是一項關鍵的風險緩解措施，可幫助機構管控人工智能潛在的危害。為了將多樣性、公平性和包容性的好處擴大到 AI 系統的用戶和開發人員，應吸納反映不同背景、觀點和專業知識的個人進來，并幫助機構更好理解系統的用戶影響機制、系統對不同用戶的利弊影響等問題。運用生命周期法推進實踐改進：通過采用生命周期方法，可以確定一些重要節點，開發完善的指導、保證和治理流程，并協助業務部門、數據和社會科學家對流程進行整合，以減少偏差。例如，在開發算法決策系統時列舉制度性假設，并將這些假設與受影響的群體的預期進行對應。“有效文化挑戰”的做法旨在營造一種環境，使技術開發人員能夠主

25、動挑戰和質疑建模和工程中的步驟，從而幫助根除統計性偏差和人類決策中固有的偏差。探索人機交互配置：為抵消已知的人類主觀性和人為偏差，而將 AI 系統布置在高風險環境中這一做法仍然存在相當多的問題。必須有一種顧及到廣泛的社會技術因素的“人在回路”方法，將人為因素、心理學、組織行為以及人機交互等領域與技術群體之間架起溝通橋梁。因此，應制定關于如何實施“人在回路”流程的正式指導，以避免放大或加劇可能在復雜環境下妨害結果的人為偏差、系統性偏差和計算性偏差。此外還需確定系統配置及其組件的必要標準，從而產生準確和值得信賴的結果。提高系統和程序透明度：AI 系統需要更多的可解釋性和可解讀性。數據表和模型卡等工

26、具的激增可以幫助填補這一缺口。同時，對于偏差與透明度相互交織的問題，透明度工具對于解決非預期使用的問題帶來幫助，但同時需要注意人類對人工智能模型結果的解讀方式存在明顯的個體差異，如專家與系統設計人員的問題關注角度不同。因此，協調指導是必要的，以確保透明度工具能為使用這些系統的專業人員提供有效支持，而不是間接放大偏差。堅持以人為本的人工智能設計：以人為本的系統技術設計開發方法關注用戶及其需求，全程以用戶為核心，涉及硬件設計和軟件設計等技術的所有方面，通過持續迭代不斷改善整個系統的用戶體驗。以人為本的設計會更深入地關注公平性、偏差、價值觀和倫理等重要的社會因素，本身也可作為其他開發生命周期的一部分

27、，包括瀑布式、螺旋型和敏捷模式。根據國際標準化組織（ISO）9241-210：2019 標準中的定義（圖 4），以人為本的設計包括：對用戶、任務和使用環境的明確理解，用戶全程參與設計和開發過程，通過以人為本的評估來推動和完善設計，對原型進行設計、測試和修改的迭代過程，優化整體用戶體驗，具備多學科技術和觀點的設計團隊。基于以上標準，用于開發 AI 系統的以人為本的設計方法越來越多地涵蓋以下內容（圖 5）：定義使用環境，包括操作環境、用戶特征、任務和社會環境；確定用戶和組織要求，包括業務要求、用戶要求和技術要求；開發設計解決方案，包括系統設計、用戶界面和訓練材料；進行評估，包括可用性和一致性測試。

28、 其中，使用環境對 AI 系統是關鍵的社會技術考慮。在任何項目的前期，都必須考慮人工智能系統所使用的社會技術的動態和條件，以確保系統的設計能夠滿足用戶需求、機構目標，以及更大的社會需求。使用環境不僅包括用戶自身的使用環境，還涉及更廣泛的背景狀況，如開發人工智能系統的機構環境、即將使用該系統的操作環境、以及即將實施該系統的更大的社會環境。社會技術方法可以同時考慮技術層面和部署這些系統的復雜社會環境，提高關鍵的公眾理解和能動性。圖 4：以人為本的設計流程【國際標準化組織 ISO 9241-210:2019】圖 5：以人為本的AI 系統設計流程（四）人工智能偏差的治理指南1、部署監測系統，預測潛在風

29、險部署額外的系統來監測潛在的偏差問題，可以幫助控制 AI系統部署后表現與預測情況不同的風險，以便在檢測到潛在問題時，及時提醒相關人員。2、嵌入追訴渠道，優化事故補救反饋渠道的可用性允許系統終端用戶標記不正確或潛在有害的結果，并尋求對錯誤或危害的追訴。在人工智能系統中嵌入此類流程和技術，使得用戶可以對錯誤的決定（甚至建議）提出申訴，同時也使技術開發團隊能夠在潛在事故的起始點對其進行補救。3、完善政策與程序，加強風險管控在 AI 系統的背景下，確保書面政策和程序能應對人工智能模型生命周期所有階段的關鍵角色、職責和流程，對于管控和檢測 AI 系統性能的潛在整體問題至關重要。政策和程序可以實現一致的開

30、發和測試，有助于確保 AI 系統的結果是可復現的，使得相關風險可以得到一致的映射、衡量和管控。專欄 1如果在不同系統中使用了不可調和差異化指標，有關政策應定義與 AI 系統相關的關鍵術語、概念及其預期影響范圍解決敏感或其他潛在風險數據的使用問題；詳細說明實驗設計、數據質量和模型訓練的標準；概述應當如何映射和衡量偏差風險，及其依據標準；詳細說明模型測試和驗證的過程；詳細說明法律或風險職能部門的審查流程；規定持續審計和審查的周期和深度；概述變更管控的要求；詳細說明與此類系統的事故響應相關的所有計劃，以防在：；部署期間出現任何重大風險。4、建立標準文檔，規范決策過程清晰的文檔規范有助于系統地執行政策

31、和程序，將機構的偏差管理流程在每個階段的實施和記錄方式標準化，并有助于確保問責制。模型文件應包含對系統機制的可解釋性描述，使監督人員能夠就系統可能加劇偏差的問題做出明智的、基于風險的決策。文檔還可作為重要信息的單一存儲庫，不僅支持對 AI 系統和相關業務流程的內部監督，還可增強系統維護，并作為任何必要的糾正或調試活動的寶貴資源。5、完善問責機制，明確權責劃分基本的問責機制即指定某個具體的團隊或個人（比如首席模型風險官）來負責 AI 系統中的偏差管控。要求個人或團隊為風險及相關危害承擔責任，可以直接激勵他們去管控風險。問責制需要對 AI 系統本身的作用進行明確評估。例如，決策支持系統一般不負責進行直接決策，因此風險較小，但反而容易被用戶過度依賴或被誤用、濫用。在這種情況下，AI 系統就會造成與直接參與決策并無二致的危害。此外，模型或算法審計可用于評估和記錄這些重要的問責制考慮因素。6、推廣風控文化，探索管控框架為了使人工智能治理有效，應將治理嵌入到機構的整體文化當中。風險管