英國關注前沿人工智能的能力和風險

目錄

1.概述...........................................................................1

2.前沿人工智能的能力現(xiàn)狀........................................................I

3.可能主宰未來的10大人工智能技術............................................2

3.1.自然語言處理(NLP)................................................2

3.2.計算機視覺...............................................................2

3.3.強化學習.................................3

3.4.生成對抗網(wǎng)絡(GANs)...........................................................................................................4

3.5.自主系統(tǒng).................................4

3.6.人工智能在醫(yī)療保健領域的應用...........................................4

3.7.邊緣人工智能.............................5

3.8.金融領域的人T智能......................................................6

3.9.人工智能在教育領域的應用................6

3.10.人工智能倫理與治理.....................................................6

4.前沿人工智能的能力將獲得持續(xù)提升...........................................7

5.前沿人工智能的特定風險......................................................7

6.生成式人工智能的安全風險....................................................9

7.結論..........................................................................9

1.概述

概述了前沿人工智能技術發(fā)展帶來的能力、風險以及跨領域的挑戰(zhàn)，并特

別指出其濫用、社會危害和失控等風險。

2023年10月，英國科學、創(chuàng)新和技術部發(fā)布一系列與“前沿人工智能的

能力和風險”有關的報告，概述了前沿人工智能技術發(fā)展帶來的能力、風險以

及跨領域的挑戰(zhàn)，并特別指出其濫用、社會危害和失控等風險。同時，報告還

特別對生成式人工智能的安全風險進行了討論。

2.前沿人工智能的能力現(xiàn)狀

前沿人工智能(Frontiers)可以執(zhí)行各種任務，除可以生成文本外，還可

第1頁共10頁

以生成和處理圖像、視頻和聲音等數(shù)據(jù)類型，并且越來越多地集成到對經(jīng)濟和

社會產生廣泛影響的系統(tǒng)中。在經(jīng)濟領域，前沿人工智能可以利用訓練數(shù)據(jù)中

的信息進行交談、編寫程序代碼、生成可信的新聞文章、解決高中競賽中的數(shù)

學問題等。當與其他工具和軟件相結合時，前沿人工智能模型可以更加自主而

不需要人類參與，例如，通過互聯(lián)網(wǎng)查找特定信息、編寫代碼來操作機器人硬

件等。

通過為前沿人工智能模型提供更好的提示、更好的工具以及更好的腳手架

軟件程序等，可使人工智能模型的能力得到進一步增強。但前沿人工智能系統(tǒng)

也存在一定的局限性，包括：產生看似合理但不正確的答案；在需要長期規(guī)劃

或采取大量連續(xù)步驟的任務上面缺乏前后一致性；缺乏完成實體經(jīng)濟領域相關

任務所需的特定背景信息等。

3.可能主宰未來的10大人工智能技術

3.1.自然語言處理(NLP)

圖1自然語言處理(NLP)

自然語言處理(NLP)是人工智能領域的先驅，它使機器不僅能理解人類語

言，還能解釋和生成人類語言。這項變革性技術源于語言學、計算機科學和機

器學習原理，其發(fā)展速度令人震驚。隨著人工智能不斷突破界限，釋放新的能

力，NLP應用也將得到顯著的改進。

3.2.計算機視覺

第2頁共10頁

圖2計算機視覺

計算機視覺是人工智能的基石，它賦予機器解釋和理解周圍世界視覺信息

的非凡能力。這項多方面的技術己經(jīng)超越了科幻小說的范疇，在眾多行業(yè)中得

到了深入應用，有望在醫(yī)療保健、自動駕駛汽車、安全和增強現(xiàn)實領域實現(xiàn)突

破性變革。

3.3.強化學習

Reinforcement

Learning

S@Al漫談者

圖3強化學習ReinforcementLearning

強化學習(ReinforcementLearning)是機器學習的一個令人著迷的子集，它

是一種具有深遠變革意義的技術，超越了單純的數(shù)據(jù)驅動型洞察力。它引入了

代理的概念，代理通過與環(huán)境的直接交互來學習和進化，就像人類通過試驗和

錯誤獲得技能一樣。在追求回報或目標的驅動下，這一動態(tài)過程賦予了機器做

出適應性決策的能力，預示著機器人、游戲和自主系統(tǒng)創(chuàng)新的新時代即將到來。

第3頁共10頁

圖6醫(yī)療保健AI

人工智能將在疾病診斷、藥物研發(fā)和個性化治療方案等方面的應用，徹底

改變醫(yī)療保健行業(yè)。人工智能驅動的遠程醫(yī)療和健康監(jiān)測將加強對病人的護理

和可及性。

3.7.邊緣人工智能

圖7邊緣人工智能

邊緣人工智能在本地設備上處理數(shù)據(jù)，而不是依賴集中式云服務器。這項

技術將在物聯(lián)網(wǎng)設備、工業(yè)自動化和智能城市等應用中帶來更快的實時決策。

第5頁共10頁

3.8.金融領域的人工智能

人工智能技術正在通過算法交易、欺詐檢測和機器人顧問重塑金融業(yè)。人

工智能驅動的洞察和預測將推動更智能的金融決策和風險管理。

3.9.人工智能在教育領域的應用

圖8教育AI

人工智能驅動的個性化學習平臺正在根據(jù)個人需求量身定制教育。虛擬導

師、自適應評估和數(shù)據(jù)驅動的洞察力將提升各年齡段學生的學習體驗。

3.10.人工智能倫理與治理

圖9人工智能倫理與治理

隨著人工智能技術的發(fā)展，倫理考慮和治理變得至關重要。未來，負責任

第6頁共10頁

的人工智能開發(fā)、透明度和監(jiān)管將受到越來越多的關注，以確保人工智能在造

福社會的同時不損害社會。

4.前沿人工智能的能力將獲得持續(xù)提升

人工智能能力的不斷發(fā)展得益于三個關鍵因素的改進：計算能力、數(shù)據(jù)和

底層算法。隨著計算和數(shù)據(jù)的增加，人工智能模型的性能隨著模型規(guī)模的擴大

而提高，但人類目前無法可靠地提前預測前沿人工智能模型在接受更多計算和

數(shù)據(jù)訓練后將獲得哪些特定的新功能。隨著未來幾年對人工智能的投斐將持續(xù)

快速增長，前沿人工智能將進一步加速發(fā)展。加速這一進展的研究方向包括：

提高訓練數(shù)據(jù)的數(shù)量和類型，提高挑戰(zhàn)科學問題的能力并降低成本；進行多模

態(tài)訓練，增強不同模態(tài)間的協(xié)同作用以及處理和生成文本、圖像和音視頻的潛

力；增強前沿人工智能的自主性，用更少的時間做更充足的風險防范準備。

5.前沿人工智能的特定風險

前沿人工智能可能加劇特定風險技術和條件的交叉風險因素和社會危害、

濫用和失控等個別風險因素。

1.交叉風險

人工智能的開發(fā)，評估等存在許多長期技術挑戰(zhàn)。一是開放領域的復雜性

使得設計安全系統(tǒng)或詳盡評估所有下游用例變得困難。人工智能經(jīng)常以意想不

到的方式使用其行為指令從而帶來潛在危險。即使找到了這種問題的技術解決

方案，鑒于人們價值觀的巨大差異，仍然存在進一步的社會和技術挑戰(zhàn)。二是

難以對前沿人工智能系統(tǒng)的安全性進行有效評估。前沿人工智能系統(tǒng)對其開發(fā)

人員來說是“黑匣子”，人們對產生這些系統(tǒng)的內部機制了解不足。當前的機

制可解釋性(mechanisticinterpretability)對于人工智能模型的理解不可靠或

具有誤導性，而行為評估無法詳盡地探索所有可能的漏洞，無法進行可靠評估,

使用形式驗證(formalverification)技術的人工智能系統(tǒng)缺乏更好的方法來指

定人類認為輸入的哪些方面與行為相關或不相關。三是追蹤人工智能系統(tǒng)的部

署或使用方式存在較大困難。開源部署方式可使模型永久可供其他參與者復制、

微調和使用，但可能被濫用。應用程序編程接口(API)的部署方式能實現(xiàn)對模

型的控制并監(jiān)控其使用，但因使用時需要的技能和資源較少，會降低濫用門檻。

第7頁共10頁

在供應鏈的各個層面都存在被故意利用或意外忽視的漏洞。四是人工智能的安

全標準尚未制定，需要建立一套成熟的生態(tài)系統(tǒng)，人工智能開發(fā)者“逐底競爭”

的方式有可能會加速系統(tǒng)的開發(fā)，但是對于安全措施的投資不足。前沿人工智

能開發(fā)商老牌企業(yè)擁有先進計算資源和專業(yè)人才，這種市場力量的高度集中可

能會削弱競爭，減少創(chuàng)新和消費者的選擇。

2.社會危害

人工智能產生的社會危害首先體現(xiàn)在信息環(huán)境惡化。首先，前沿人工智能

可以廉價地生成對人物和事件的錯誤描繪，機構依賴不準確或誤導性的公開信

息有可能做出錯誤的決策，并降低民眾對真實信息的整體信任度。其次，人工

智能可能會造成勞動力市場混亂，加速對教學、醫(yī)學等工作的影響，帶來某些

行業(yè)工人的流失等。最后，前沿人工智能模型可能會因訓練數(shù)據(jù)包含偏見而造

成公平和道德使用方面的問題。隨著前沿模型的發(fā)展，人工智能會生成更多的

網(wǎng)絡內容，未來人工智能系統(tǒng)使用的訓練數(shù)據(jù)將會包括越來越多帶有偏見的人

工智能生成內容。

3.濫用風險

前沿人工智能會帶來濫用的風險。首先，一些人可能會利用生物和化學供

應鏈中的漏洞，使用前沿人工智能設計生物或化學武器，為軍民兩用科學的發(fā)

展帶來風險"未來的前沿人T智能可能會具有更豐富的內容級知識

(content-levelknowledge)、推理和制訂復雜計劃的能力，但是目前并不清楚

前沿人工智能是否會在網(wǎng)絡搜索的基礎上增加額外功能。其次，前沿人工智能

很可能會顯著加劇現(xiàn)有的網(wǎng)絡風險，使網(wǎng)絡入侵更快、更有效且規(guī)模更大，加

大對能源、交通、醫(yī)療保健和金融以及個人的危害程度。而且，前沿人工智能

系統(tǒng)使網(wǎng)絡犯罪分子能夠有效詐騙和竊取登錄憑證，使防病毒軟件更難檢測到

網(wǎng)絡攻擊。人工智能系統(tǒng)更快的執(zhí)行力和自主執(zhí)行能力等會降低人類對網(wǎng)絡攻

擊的防御效率。前沿人工智能在集成到更廣泛的系統(tǒng)中時也會帶來安全漏洞。

此外，前沿人工智能還可能以低廉的價格被用來故意傳播虛假信息，造成社會

混亂。

4.失控風險

由于經(jīng)濟和地緣政治因素，人類可能越來越多地將重要的決策控制權交給

人工智能系統(tǒng)，而先進人工智能系統(tǒng)將尋求增加芻身影響力并減少人類的控制。

第8頁共10頁

在此情況下，先進通用人工智能系統(tǒng)有可能會失去控制，而且這種失控可能是

永久性和災難性的。當前前沿人工智能的風險可能是通過操縱人類或利用軟件

漏洞而產生的，并且己經(jīng)顯示出能夠進行自主操控、網(wǎng)絡犯罪、自主復制和適

應方面的早期跡象。

6.生成式人工智能的安全風險

生成式人工智能會增強惡意行為者的能力并提高攻擊的有效性，從而增加

安全風險。到2025年，生成式人工智能將會發(fā)布性能更高、規(guī)模更大的大語言

模型（LLM）。先進生成式人工智能方面的科研人員、資金、硬件、計算和數(shù)

據(jù)、研究和前沿模型主要集中在私營人工智能公司手中。開源生成式人工智能

由于降低進入壁壘而快速擴散，在增加可訪問性的同時也可能會帶來全球安全

方面的影響。

到2025年，生成式人工智能更有