每日聽書|《人機對齊》怎樣讓AI擁有人類的價值觀？這本書能為你1、幫助你深刻理解人工智能的倫理問題，引導你更加負責任地使用科技；2、帶你走進科學家們積極應對AI未來問題的計劃，探索可能的解決方案；3、讓你看清人工智能的未來，思考AI對社會和倫理的影響；4、幫助你認識到科技與文化之間的相互影響，解析人類的科技歷史。適合誰聽1、對人工智能和倫理問題感興趣的科技愛好者和從業者；2、尋求深度科普讀物，希望了解人工智能發展歷程的人；3、對跨學科研究和科技與文化互動感興趣的人。書籍信息：書名：《人機對齊》原作名：TheAlignmentProblem作者：[美]布萊恩·克里斯汀譯者：唐璐出版社：湖南科學技術出版社出版年：2023-6定價：98裝幀：平裝ISBN：9787571021733內容簡介如今的“機器學習”系統已具備非凡能力，能夠在各種場合代替我們看和聽，并代表我們做決定。但是警鐘已經敲響。隨著機器學習飛速發展，人們的擔憂也在與日俱增。如果我們訓練的人工智能（AI）做的事情與我們真正的目的不符，就會引發潛在的風險和倫理問題。研究人員稱之為對齊問題（thealignmentproblem）。暢銷書作家布萊恩?克里斯汀用生動的筆調，清晰闡釋了AI與我們息息相關的問題。在書中，我們將認識第一批積極應對對齊問題的學者，了解他們為了避免AI發展的局面失控，付出的卓絕努力和雄心勃勃的計劃。克里斯汀不僅精練地描繪了機器學習的發展史，并且親自深入科研一線同科學家對話，準確呈現了機器學習最前沿的進展。讀者可以清晰認識到，對齊問題研究的成敗，將對人類的未來產生決定性影響。對齊問題還是一面鏡子，將人類自身的偏見和盲點暴露出來，讓我們看清自己從未闡明的假設和經常自相矛盾的目標。這是一部精彩紛呈的跨學科史詩，不僅審視了人類的科技，也審視了人類的文化，時而讓人沮喪，時而又柳暗花明。作者簡介布萊恩·克里斯汀（BrianChristian），暢銷書作家，他的《算法之美》（AlgorithmstoLiveBy，與TomGriffiths合著），入選了亞馬遜年度zui佳科學書籍和MIT技術評論年度zui佳書籍；《人機大戰》（TheMostHumanHuman）廣受好評，入選了《紐約時報》編輯選書，也是《紐約客》年度zui受歡迎書籍。他的作品贏得了多個獎項，入選了《美國最佳科學和自然寫作》，被譯成了19種語言。克里斯汀擁有布朗大學和華盛頓大學的計算機科學、哲學和詩歌學位，是加州大學伯克利分校的訪問學者。前言你好，歡迎每天聽本書，我是陳章魚。今天我要為你解讀的這本書叫《人機對齊》。這本書2023年6月出版，作者布萊恩·克里斯汀是一位暢銷書作家，他長期關注計算機科學的前沿動態，得到聽書解讀過他的作品《算法之美》。這一次，他的這本《人機對齊》談的是目前人工智能領域最重要的課題之一。人機對齊，就是讓AI的價值觀和人類的價值觀保持一致。更通俗地說，就是怎么讓人工智能更像個人。在科幻作品里，咱們常常能看到這種情節：AI變得比人類更聰明，于是統治人類，把人類變成奴隸。有的時候人類也會想辦法用各種規則限制AI，不過也未必能如愿。比如你可能聽過科幻作家阿西莫夫提出的“機器人三定律”，第一條定律就是機器人不能傷害人類。但是，在阿西莫夫的故事里，機器人擁有掌控世界的力量之后，就把所有人類都囚禁在家中。機器人的邏輯是，你們人類總是爭斗，甚至會互相殺戮，我為了保護你們不受傷害，只能把你們全關在家里了。在這篇小說誕生的1942年，這只是小說家的奇談。但是現在，這些擔心不再是杞人憂天了。AI開始越來越多介入到人們的生活中，商家為你推薦什么商品，網站為你推薦什么視頻，銀行要不要讓你的信用卡擁有更大的額度，婚介為你介紹什么樣的相親對象，甚至是公司是否要錄取某個求職者，法庭要不要允許一個人被保釋，這些決策的背后，有越來越多的人工智能算法在參與。這本書中有個比喻很有意思：AI的能力越來越強，應用的領域越來越多，人類就越來越像奇幻小說中的那種半吊子魔法師，懂一點魔法，又不是完全精通，自己憑感覺琢磨咒語，有的時候就會害怕自己勁兒大了。原本想召喚一團火焰，結果變成一個大火球。一旦我們發現咒語不準確或者不完整，又手忙腳亂地阻止，免得我們的智慧召喚出什么可怕的巨龍。那么，怎么防止AI訓練出現問題呢？這本書當中針對不同的算法，指出背后對應的問題，還有可能的解決方案。總結起來一共有三種情況，咱們一個一個慢慢說。第一部分我們先來說第一種可能出現的問題。你可能聽說過谷歌鬧過的一個大烏龍。2015年，谷歌圖片推出過一項功能，用戶上傳照片之后，網站會借助AI技術自動給照片打標簽。比如有人上傳一張和狗狗一起在海邊的照片，AI就會標記“海邊旅行”“狗”，這樣方便用戶去搜索自己的照片。但是，一位軟件工程師在試用這項功能時，發現自己的圖庫里有一個標簽叫“大猩猩”。這讓他很奇怪，他也沒去動物園拍過大猩猩。點進去他發現，里邊都是他給一位黑人朋友拍的照片。這位工程師截了一張圖發到了推特上，他的評論是：“谷歌照片，你們搞砸了。我的朋友不是大猩猩。”這件事在網上引起了軒然大波，谷歌不得不出面道歉。為什么會出現這樣的問題呢？不是因為AI進化出了思想，有意識地歧視黑人。我們得插入一點科普，目前最流行的訓練AI的算法有三種。谷歌的圖片識別，用的是一種叫“監督學習”的算法。這種方法有點像爸爸媽媽教小朋友，給小朋友看這是大象、這是斑馬，小朋友看得多了自己就認識了。問題是，如果爸爸媽媽教小朋友認蘋果，但是只讓小朋友看紅蘋果，那么小朋友看到綠蘋果的時候，他就可能認為這是個梨。谷歌的問題也是這樣。因為谷歌的工程師中黑人比較少，所以谷歌用來訓練AI的圖片庫中，黑人圖片沒有白人圖片多，AI在看到不熟悉的東西時，更容易出錯。你可能會說，那這樣的偏見應該不難消除吧？實際上，修正AI的難度比我們想象中要大很多。谷歌后來也沒有從技術上解決這個問題，他們只能禁止了“大猩猩”這個標簽，用戶就算上傳真的大猩猩圖片，AI也不會給圖片打這個標簽了。這本《人機對齊》中給出的另一個例子更能體現問題。美國有一位計算機專業的大學生叫布蘭維尼。布蘭維尼有一次做計算機課的作業，她想做一個程序，讓人和計算機可以玩躲貓貓。編程的過程十分順利，但是有一個問題：機器人無法識別布蘭維尼的臉，她是個黑人女孩。最后布蘭維尼只能借室友的臉完成作業。到了大學快畢業時，布蘭維尼來到香港參加一個創業比賽，她看到一家中國公司研發的社交機器人，這個機器人也認不出布蘭維尼的臉。就像布蘭維尼自己說的，“在世界的另一端，我了解到算法偏見的傳播速度與從互聯網下載文件的速度一樣快”。布蘭維尼碩士畢業后，去了MIT的實驗室，在那里她又做了一個項目，叫“勵志鏡子”，就是研發一種增強現實的鏡子，用戶在照鏡子的時候給出勵志的視覺效果，比如，讓照鏡子的人變成獅子。同樣，效果很好，只有一個問題。AI還是認不出布蘭維尼的臉，她自己照鏡子時必須戴一個白色面具。后來，布蘭維尼測試了微軟和IBM研發的人臉識別系統。發現這些系統都有類似的問題，識別男性面部的準確率比識別女性高10%到20%，識別淺膚色面孔的準確率要比識別深膚色面孔要高10%到20%。那么，為什么這種問題解決起來比我們想象中要難呢？畢竟讓AI多看一些圖片，這個問題就不會出現了。我們來看一個AI出現之前的案例，不過從這個案例，我們就能看出問題的關鍵。在拍電影還要用膠片的時代，好萊塢的攝影師們會用“雪莉卡片”來調校顏色。“雪莉卡片”是一張標準照片，這張照片是個叫雪莉的白人女孩，她是柯達公司的員工。一開始是柯達公司為了方便這么做的，隨著柯達公司的影響力，“雪莉卡片”成了行業標準。在那個時代，柯達公司生產的膠片甚至還會根據白人的膚色，去調整自己的化學工藝。其實這在當時都挺順理成章的，因為絕大多數演員和模特都是白人。結果就是那個時候的攝像機根本拍不好黑人。按說攝像機不是人，鏡頭拍下來的內容不會有偏見，可是當人們按照白人來調校攝像機的參數，按照白人來調整膠片的工藝，鏡頭就帶上了偏見。我們想象一下，就算一個黑人演員和白人演員在鏡頭前公平競爭，他們的演技和長相都不相上下，但是黑人演員拍出來就是沒有白人演員好看，那么就更容易被淘汰。反過來，因為鏡頭前都是白人，鏡頭和膠片再改進技術，目標也都是怎么把白人拍得好看。這就變成了一個循環。后續的故事有點黑色幽默：到了上世紀60年代，柯達的膠卷對于深色的表現力越來越好。你可能以為這是當時美國的民權運動在起作用，實際上，原因是家具廠商希望能給深色木材拍出更好的效果，巧克力廠商希望給巧克力拍出更好的效果。但是黑人演員、黑人模特卻因此意外獲得了機會。AI時代也是如此，每個人臉識別系統背后都是一個圖像庫，里邊有幾萬張乃至幾十萬張圖片。這些圖片，就是21世紀的“雪莉卡片”。雖然從一張“雪莉卡片”變成了幾十萬張圖片，但是背后思路是不變的：選擇少數圖片作為代表，作為接下來工作的指導。因為多一些圖片，就意味著增加工作量和增加成本。你得先花費大量人工把每一張訓練圖里都有什么內容標記好，再“喂”給AI訓練。時間有限、成本有限，根本不可能讓AI看遍世界上所有的圖片，那么開發者只能選擇自己認為有代表性的。有選擇，就意味著可能產生偏見。這是AI的第一種偏見，可以說是因為視野受限而產生的偏見。那么這樣的偏見可以消除嗎？這本書認為，要消除這樣的偏見，重要的是公開AI訓練所用的數據集，讓別人來監督這個數據集是不是真的具有足夠的代表性。如果訓練出來的AI將會影響很多人，那么應該讓這些人了解，訓練AI時選擇的素材是不是真的考慮到了他們之中的所有人。第二部分如果當訓練AI的時候，用的數據集足夠廣泛，沒有遺漏，是不是這樣訓練出來的AI就沒有偏見呢？還真有這樣的訓練方法。前邊咱們說到，AI在圖像識別領域用的訓練方法叫“監督學習”。在其他領域還有另一種方法，叫“無監督學習”，把海量的數據“喂”給AI，你不用標記每個數據是什么，AI看得多了會自動發現其中的規律和聯系。如果說“監督學習”是老師教學生，那“無監督學習”就像是讓AI上自習，反正AI非常勤奮，讓它自己調研大量內容，看多了就會了。因為這種方式不需要提前標記數據，所以理論上可以讓AI看無限量的數據，避免視野受限出現的問題。不過這個時候，新的問題又顯現出來了。書里邊又舉了一個關于谷歌的案例，可能是谷歌在人工智能領域走得比較靠前，所以成績多，問題也多。谷歌開發了一種人工智能，從報紙雜志和互聯網獲得了大量語言數據，將這些數據輸入到一個神經網絡，讓AI自己去尋找詞語和詞語之間的聯系。雖然AI未必能理解這些語言，但是它通過自動學習，能找到詞語和詞語之間的關聯。很快它就發現北京和中國有關，莫斯科和俄羅斯有關，你再問它什么和英國有關，它就會回答倫敦。你看，AI通過自主學習理解了首都和國家這樣的關聯。谷歌的工程師給AI增加了一個功能，可以在詞語之間做加減法。當然，和數學的加減法不完全一樣。如果輸入“中國+河流”，AI的回答可能是“長江”。還可以是更復雜的算式，比如“巴黎-法國+意大利”，AI的回答是“羅馬”。輸入“國王-男人+女人”，就會得到“女王”。這個AI一直運行得挺好，直到兩年后，幾個科學家隨便逗這個AI玩的時候，他們發現了一些問題。輸入“醫生-男人+女人”，AI返回的答案是“護士”。更糟糕的情況是，他們輸入“店主-男人+女人”，返回的答案是“家庭主婦”，他們又輸入“計算機程序員-男人+女人”，返回的答案還是“家庭主婦”。換句話說，這樣訓練出來的AI，會把職業和性別關聯起來，認為某些職業天生適合男性，某些職業天生適合女性。這當然也不是因為AI進化出了思想，有意識地歧視女性，AI只會在詞語之間尋找關聯，海量的數據背后體現的是人們的偏見。那你說，咱們把這樣的偏見抹去，不讓AI把職業和性別掛鉤行不行？你會發現，這件事情的難度會比想象中大很多。很多大公司都開發了AI系統幫助篩選簡歷，比如亞馬遜。他們的思路是，給AI看過去已經入職的員工的簡歷，讓它了解在職員工都是什么樣的。AI在審查求職者簡歷的時候，挑選那些和入職員工最像的人。最像在職員工的求職者，當然就是公司需要的人。可是人們發現，這個系統在運行中，會不自覺地帶上偏見。比如說，現有的工程師團隊男的多女的少。AI就會認為公司需要更多男性工程師，在篩選時刷掉更多女性。你說咱們修改系統，排除掉性別這一項，不讓AI判斷的時候看到求職者的性別。但是簡歷上還會有名字，AI看到一個求職者叫麥克，一個求職者叫瑪麗，它就會覺得麥克更合適。那你說咱們再修改系統，把名字也排除。簡歷上還會寫興趣愛好，AI會根據你喜歡足球還是壘球來判斷性別；簡歷上還會寫畢業院校，如果學校是某某女子學院，AI也會感覺出來。甚至，男女在寫作風格上都會有些許不同，這種細微的不同咱們也許感覺不到，但是AI能感覺出來。老話說“人以群分”，用這種無監督學習的方式，AI就能把人劃分成各種群，然后把群當做一面高墻，不是這個性別，不是這個民族，可能就進不來。這個問題之所以比較難解決，因為我們既需要無監督學習的不可控，又不能讓它那么不可控。設計這種算法的目的，本身就是捕捉數據中隱藏的相關性。比如我們開個腦洞，如果AI發現，學過一些中文的軟件工程師表現都更好，接下來篩選簡歷時，它給懂中文候選者加分，這可能就是企業需要的。因為AI發現了一種我們還意識不到的特質，AI比人類更能慧眼識珠。但是這種相關性又不可控，企業想要的是能力強或者能快速融入團隊，可是AI可能想要的是某種性別、種族。控制論的祖師爺諾伯特·維納，在幾十年前就說過一句話：“我們最好確定，機器的目的是我們真正渴望的目的。”今天看來真的是非常有預見性。我在書中看到了另一個人類和AI目的沒有對齊的案例。進入21世紀，美國有越來越多的法官借助AI來幫助做決定，比如，應不應該允許某個犯人保釋？最受法官歡迎的一個AI工具叫COMPAS，COMPAS能根據犯人的履歷，對他的未來給出1到10分的評分，評分越高，犯人出獄后再次犯罪的可能性就越大。從原理上講，AI在評估時候，是基于罪犯過往的犯罪史來預測未來，但是實際使用時，COMPAS展現出了很明顯的種族傾向。比如兩名窩藏毒品的犯人，案情非常類似，但是AI給白人的評分是3分，給黑人卻是10分。那到底是哪里出問題了呢？是算法設計不合理嗎？有人一針見血地指出，過往的數據出了問題。雖然這個AI設計的目的是預測一個人有沒有可能犯罪，但是一個人是否犯罪這個數據，其實捕捉不到。你可能說不對吧？有警察局的記錄和法庭的卷宗啊。但是你要注意，那其實不是有多少人犯罪的數據，而是有多少人被警察抓捕，有多少人被法庭定罪的數據。所以，COMPAS這個AI預測的，其實不是一個犯人出獄后，有多大的可能性再次犯罪，而是有多大的可能性再次被捕和再次定罪。這樣我們就理解為什么案情類似，COMPAS給白人罪犯和黑人罪犯的打分有這么大區別了。在美國，警察抓捕和法庭宣判的時候，確實對黑人會比較嚴厲。書中有一個說法讓我印象深刻，前邊咱們說如果人類教AI認蘋果，只看到紅蘋果沒看到綠蘋果，會讓AI產生偏見，另一方面，如果有人一直把獅子誤認為是貓，那也沒法指望AI真的能認出獅子和貓。你看，這個劇情是不是越來越像科幻小說家們幻想過的場景了？人們希望AI秉公執法，AI卻陰錯陽差帶上了偏見。這么看來，不論是監督學習還是無監督學習，都容易出現問題。監督學習因為數據集有限，很可能因為視野受限出現偏見，忽略那些看不見的人群。無監督學習倒是沒有這個顧慮，視野開闊了，可是又不受控，有時會出現奇思妙想，有時會出現胡思亂想，就算是能客觀體現人們以往的想法，但是如果之前的想法中本身就帶有偏見，這種偏見就很難根除。不論用哪種方式訓練的AI，我是不太敢把審判的權力交給它。好在，我們還有另一種訓練AI的方法。第三部分前邊我們說到過，目前最流行的訓練AI的算法有三種。咱們已經聊了“監督學習”和“無監督學習”，第三種方法叫“強化學習”，AI每做出一個決定，都給它一個反饋，比如說加分還是扣分。強化學習就像是教練訓練運動員，運動員哪個動作出錯了，馬上就被指出來，立即給你糾正。當年的AlphaGo用的就是強化學習的原理。這種機制看起來更加靠譜，教練訓練運動員、老師傅帶徒弟、職場培訓新員工，差不多都是用這樣的方式。不過這種方式也有潛在的問題，就是讓AI過于專注“動作”，而忽略了背后的“愿景”。書中有個很有趣的案例，作者的朋友是一位經濟學家，最近他在訓練小兒子上廁所，他希望幾歲大的女兒也能參與進來。為了增加積極性，他就制定了一個規則：每一次姐姐陪弟弟上廁所，爸爸就給姐姐一塊糖。幾天以后，這個幾歲的小姑娘就進行了人生中可能是第一次推理，找到了規則的漏洞。她發現弟弟喝水越多，上廁所就越多。于是，她開始每天給弟弟灌水。你看，這就是強化學習可能會帶來的問題。咱們平時也都看到過類似的情況，一家公司里邊員工每天兢兢業業完成任務，該做的動作都挺標準，可是這些動作是不是真的能給公司帶來收益，是不是真的對業務發展有好處，員工并不關心。但是我們也不能說就是員工沒有責任心，有的時候是老板讓員工做這個做那個，可是這些動作和公司發展之間有什么關系，他自己也未必想清楚了。人類和AI之間，也是這么個關系。如果是訓練AI下圍棋，這種規則明確的情況還比較好處理，但是面對更復雜的場景時，我們其實都是腦子沒有那么清楚的老板，動作和愿景之間的關系，我們也沒法確定。這怎么辦呢？目前計算機科學家們已經找到了幾種解決的思路。一種思路是模仿，既然場景復雜，我們沒法拆解出一個個步驟，制定出那么詳細的獎懲規則，那就讓人類示范，AI模仿。在這個過程中，AI會慢慢消化我們的一些價值觀。自動駕駛就是典型的例子，想要用一套規則讓AI明白應該怎么開車，確實有點困難，AI可能沒法理解什么叫“在保持安全的情況下盡快開過去”。那就找一位優秀的司機示范一下，尤其是復雜的路況下，比如有人橫穿馬路，汽車和自行車混行，看這位有經驗的司機是怎么處理的，讓AI去學習。這也是目前自動駕駛領域最好的訓練AI的方法。再有一種思路，計算機科學家稱之為“逆強化學習”。聽這個名字你就知道，這種思路是和“強化學習”對應的。你可以把強化學習想象成一個游戲。在這個游戲中，AI采取各種行動，比如向前走、向后走、跳躍等等。每當它采取行動，環境就會給予它一些分數作為獎勵。AI的目標就是一次次嘗試，找出一種策略，使得它能夠獲得最多的分數，所以它有可能會鉆規則的空子，用一種我們想象不到的方式“刷分”。所以，在強化學習中，是規則不變，AI琢磨應該怎么行動。而逆強化學習，就像是AI看別人打游戲，它看到玩家向前走、向后走，然后分數在變化。讓AI去猜想，到底這個游戲是個什么規則。換句話說，在逆強化學習中，AI琢磨的是規則。用這種方法，我們就能看到，在AI眼中，我們制定的規則是什么樣的，和我們想象中的愿景是否一致，不一致的話應該怎樣改進。這給了我們一個不一樣的視角，畢竟我們的目標是“對齊”，如果只