T/CAS1.1—2017

企業級人工智能應用產品體驗驗收指南

1范圍

本標準提供了企業級人工智能應用產品體驗驗收指南，給出以用戶體驗為導向的人工智能應用產品

體驗驗收的維度、驗收的方法以及驗收實施流程，旨在幫助人工智能應用產品提升產品可用性、易用性

等產品質量。

本標準適用于企業級人工智能應用產品或集成人工智能模型于企業業務系統的應用產品，其他同類

具有高度業務屬性的應用產品可參考使用；

本標準暫不適用于以個體用戶為主的個人用戶產品。

2規范性引用文件

下列文件對于本文件的應用是必不可少的。凡是注日期的引用文件，僅注日期的版本適用于本文件。

凡是不注日期的引用文件，其最新版本（包括所有的修改單）適用于本文件。

WCAG2.0Web內容無障礙指南

GB/T29799-2013網頁內容可訪問性指南

GB/T25000.51-2016系統與軟件工程系統與軟件質量要求和評價（SQuaRE）

GB/T29836.3-2013系統與軟件易用性第3部分：測評方法

3術語和定義

下列術語和定義適用于本文件。

3.1人工智能企業級服務應用產品EnterpriseServiceApplicationProduct

人工智能企業級服務應用產品是利用人工智能為底層技術，并面向商業和組織需求設計的業務應用

產品。

注：企業級服務通常指面向企業的服務，服務范圍涵蓋企業發展過程中以再生產為目標的方方面面。

產品的購買者通常為正式機構、組織。

3.2目標用戶targetusers

目標用戶是指在產品、服務、應用設計中，開發者或設計團隊明確定義的特定用戶群體。

3.3核心任務coretasks

4

T/CAS1.1—2017

核心任務是指在特定工作中，最為關鍵和高頻的任務或活動，它們對于實現成功和達成目標至關重

要。如果它們沒有得到有效執行，將會對工作流程產生顯著的不利影響。

其中任務沿用

4體驗驗收指標體系與評價標準

體驗驗收指標體系希望建立一套能夠保障用戶在使用人工智能企業級服務應用產品時順利高效完

整核心任務的產品體驗評價標準，進而達成業務目標。指標體系由6個一級評價維度、20個二級考察指

標以及指標優先級劃分標準，共同組合成一套體驗驗收指標體系。請見表1.體驗驗收指標體系

評估重要性級別具體檢查項

類型

實用Block(P0)1.總的來說，使用該產品/功能可以使用戶達成上述所定義的目

性標

可學Block(P0)2.在使用該產品/功能時，用戶可以時刻明確當前界面的任務

習性Critical(P1)3.在使用該產品/功能時，當用戶感到迷惑時，可通過產品內提供

的解釋說明或幫助手冊解決

Major(P2)4.在使用該產品/功能時，用戶所接觸到的現有概念符合其認知

Major(P2)5.在使用該產品/功能時，對所接觸到的產品獨特概念，用戶可

以在產品中找到其清晰的解釋

Major(P2)6.在使用該產品/功能時，用戶認為產品的導航劃分方式是合理

的

Critical(P1)7.在使用該產品/功能時，用戶所需操作是能夠被用戶找到的

Major(P2)8.在使用該產品/功能時，用戶認為產品所用的色彩、圖標、插

圖可被辨識且符合其認知

效率Major(P2)9.在使用該產品/功能時，用戶不必進行任何大量的、重復性的

操作即可完成任務

Major(P2)10.在使用該產品/功能時，用戶不必進行任何有難度的精確控制

即完成任務

Major(P2)11.在使用該產品/功能時，涉及多角色、不同權限的任務符合用

戶的協作模式

5

T/CAS1.1—2017

評估重要性級別具體檢查項

類型

可記Major(P2)12.在使用該產品/功能時，用戶不必記憶任何不屬于當前操作界

憶性面的信息

Major(P2)13.在使用該產品/功能時，用戶應隨時感知他操作的對象所處的

狀態

防錯Major(P2)14.在使用該產品/功能時，除非在操作前向用戶提供告警，否則

性所有關鍵操作均允許用戶撤銷

Critical(P1)15.在使用該產品/功能時，用戶可以隨時返回上一個層級/來源

頁

Major(P2)16.在使用該產品/功能時，用戶每次在執行有風險的命令前，均

會接收到二次確認，以便其了解操作風險

Critical(P1)17.在使用該產品/功能時，如發生錯誤，用戶可以獲取到易于理

解的錯誤原因說明及解決錯誤的方法

視覺Critical(P1)18.該產品/功能中所使用的品牌及Logo符合公司規范

品牌Major(P2)19.該產品/功能中所使用的字體、圖標、圖片等設計元素無版

權風險

Critical(P1)20.該產品/功能中，與客戶定制化相關的品牌、Logo、文案等信

息沒有錯誤

表1.體驗驗收指標體系

4.1評價維度說明

一級維度基于用戶任務視角，強調用戶目標達成與系統的可學習型，具體如下：

評價維度維度說明

實用性關注的是用戶目標能否通過產品達成。

可學習性從界面呈現內容角度，圍繞產品的信息結構、視覺元素、功能概念等方面建立指標，關

注用戶對產品理解的容易程度。

效率從功能操作角度，圍繞完成任務的操作步驟是否便捷無冗余、提供多角色協同支持等方

面建立指標，關注用戶完成任務的效率。

可記憶性將時間維度加入可用性度量，在用戶長期使用過程中確保產品提供一定記憶性。

防錯性對于用戶使用期間的容錯性功能進行評價。

6

T/CAS1.1—2017

視覺品牌主要圍繞品牌視覺使用的規范性、版權問題、定制化合規等角度進行評價。

表2.評價維度說明

4.2指標優先級劃分標準

在指標體系建立的過程中我們緊密聚焦用戶目標任務，因此20個二級指標的優先級劃分主要以其對

任務的完成的影響作為依據，按印象的嚴重程度由大到小，優先級劃分為以下5種：

優先級優先級對應問題嚴重程度說明

Block(P0)用戶要執行的核心任務完全不可用的問題。如不修復這類問題，用戶將認為自己無法通過產品

完成目標

Critical(P1)導致某些核心功能不可用的問題。如不修復這類問題，用戶將認為產品令其感到氣憤或痛苦

Major(P2)可以正常使用、但極大影響用戶使用效率的問題。如不修復這類問題，用戶將認為產品體驗是

不友好的

Minor(P3)非體驗行業專業用戶可察覺的界面樣式、交互動效等問題。如不修復這類問題，用戶認為產品

設計品質較低

Trivial(P4)僅體驗行業專業用戶可察覺的微小的界面問題。如不修復這類問題，將不會影響用戶對產品的

整體滿意度

表3.指標優先級

4.3分級評價標準

為了能夠適用于不同發版產品的情況，我們基于產品可售賣客戶數為不同版本分別制定評審標準，

評審范圍。產品版本分級評價標準具體如下：

版本類別最大可支持客戶數版本標準

概念版11、無block級體驗問題（預案支持）

體驗版51、無block級體驗問題

2、無critical級體驗問題

3、其余交互體驗部分（預案支持）

搶鮮版101、無block級體驗問題

2、無critical級體驗問題

3、其余交互體驗部分（預案支持）

7

T/CAS1.1—2017

版本類別最大可支持客戶數版本標準

預覽版301、無block級體驗問題

2、無critical級體驗問題

3、Major級體驗問題（預案支持）

正式版30以上1、無block級體驗問題

2、無critical級體驗問題

3、無major級體驗問題

表4.產品版本分級評價標準

說明1：“預案”需保證公司品牌不受影響，“預案支持”即產品出現對應問題有對應方案保障

說民2:發布的版本售賣客戶數越多，相應的度量指標也會越嚴格，評審標準增加一定靈活性與適

用度。

5驗收流程

5.1驗收小組人員選定

驗收小組成員包括：主持人、評審專家、測試用戶、業務方代表。其中各成員應具備以下相關條件

如下：

1）主持人：具有公平公正、合理溝通的基本素養；熟悉驗收流程和相關文件信息；了解驗收產品

的產品架構、用戶需求和判定條件。

2）評審專家：具有客觀公正的基本素質；熟悉用戶體驗、人工智能的基本知識和相關業務知識；

接受過相關培訓，清楚了解測試的目標、范圍和標準，以便能夠評估測試文檔的一致性。評審專家除了

在用戶測試過程中進行評估外，自身也要進行啟發式評估，以熟悉測試功能，和提供專業視角，對于用

戶忽略的問題，以及難以界定的情形會給出專業視角的補充。

3）測試用戶：應該代表產品或服務的潛在最終用戶。技能、知識儲備等需要與最終用戶畫像一致，

測試前會評估用戶的角色定位、角色權限、使用場景、行為特點/規律，與目標用戶畫像的匹配度偏差

不能超過50%，以確保他們的反饋和行為能夠代表實際用戶的需求和期望；不能與測試結果有相關的利

益沖突，以確保他們能夠提供客觀的反饋。參與測試的用戶要求不少于2名。

測試用戶人數說明：企業服務產品中的用戶代表的是一種組織中的某個角色。無論性別、年齡、地

區有何差異，他們都是一類角色，具有相對一致的職業屬性。因此產品的功能設計的主要依據就是企業

對角色的業務定位和考核目標，因此在外部用戶數量上我們在Nielsen提出的測試5人就能發現85%的

可用性問題的理論基礎上進行了進一步縮減，因此要求測試用戶至少2名。

4）業務方代表：具有實事求是的基本素養；熟悉驗收產品的產品架構、需求背景、業務方向和用

戶信息；可以負責組織產品后續的迭代。

8

T/CAS1.1—2017

5.2驗收實施流程

5.2.1籌備階段

1）業務方明確產品相關的背景、測試邊界與協助形式、產品版本與分級信息；

2）業務方確定測試用戶。業務方在測試執行前要為評審小組明確產品的目標用戶用戶畫像，并負

責聯系真實用戶作為測試對象。

3）業務方確定評估邊界。業務方需明確本次測試任務，任務范圍與發版材料中的主干任務一致。

此外業務方還需明確測試時為用戶提供的預設情景。

4）業務方提供穩定的測試環境、賬號等必要信息

5）業務方/產品設計師根據主干任務以及以上信息完成驗收信息收集，表中除了包括用戶信息、環

境、驗收時間時間、目標等基本信息外，還需要寫出每項用戶任務可以判定成功的標準，后續專家會結

合此判定標準對任務通過情況進行判斷。詳情請見：表5.驗收信息收集

產品版本產品分級驗收時間

對應級別重要性程

度級別要求

邊界/協助范圍

目標用戶

角色定位角色權限業務熟練度

行為特點/規律使用場景

待測用戶

姓名職位是否為真實用戶匹配

度偏

差

可驗收時間驗收場所驗收環境

輔助工具錄像設備音頻設備驗收設備其他：

產品目標

序號目標簡介（根據此版本項目需求轉換成用戶可理解的任務目標）

1

2

驗收指標體系判斷條件表

9

T/CAS1.1—2017

任務一名稱

步驟補充材料判定標準結果反饋反饋備注

表5.驗收信息收集表

5.2.2信息審核

1）專家評審根據產品的立項材料確認其版本分級對應的驗收評審要求。

2）專家評審根據產品的立項材料確認其需求范圍及需求等級，以此判斷業務方給出的任務流程是

否合理。

3）專家評審測試前確認任務流程與了解版本功能，各自獨立模擬用戶完成特定任務，給出基于任

務的指標達成情況判定。

4）表格審核后確定最終測試執行時間、地點。

5.2.3執行階段

測試執行階段參考標準

1）為避免真實用戶臨場緊張或受到干擾，評審組成員不與測試用戶在一個空間，通常通過共享屏

幕查看真實用戶操作。

2）主持人提供任務書給測試用戶，簡述背景任務以及注意事項。

3）在測試過程中允許用戶按照發版計劃接受一定程度的幫助。例如如果產品本身承諾為客戶提供

了使用手冊、電話咨詢等協助，那在測試過程中，允許測試用戶進行該范圍內的支持。

4）測試過程中評審小組觀察用戶使用情況，發現問題點后，比照表格查看是否在考察項范圍，如

果在考察范圍內，則將其記錄在對應問題點后。結合用戶完成任務情況和走查結果給出各個指標的判定

結果，并綜合版本可用性要求，經過幾位專家溝通給出最終一致的評審結果。

5.2.4統計復盤

1）在統計復盤階段，評審小組統計每個指標項中問題的數量。根據各檢查項重要性級別，得到各

級別下問題的數量，并根據整體的質量標準進行判定。

2）完成驗收報告。報告重點用于梳理和記錄驗收過程中發現的問題，例如任務范圍、內容、驗收

結果、指標統計和各項指標的達成結果以及改進意見等，具體報告請見表格6.驗收報告。

3）如未通過測試，需由業務方與相關人員同步問題，闡述失敗原因，修改后由項目經理重新預約

新一輪測試。

10

T/CAS1.1—2017

產品名稱：測試用戶：

產品對應分級及體驗要求：用戶角色：

標準說明問題統計

體驗檢查項的重要性程度的級別劃分：

Block(P0)問題數量

Block(P0)：

用戶要執行的核心任務完全不可用的問題。如不修復這類問題，

用戶將認為自己無法通過產品完成目標Critical(P1)問題數量

Critical(P1)：

導致某些核心功能不可用的問題。如不修復這類問題，用戶將認

Major(P2)問題數量

為產品令其感到氣憤或痛苦

Major(P2)：

可以正常使用、但極大影響用戶使用效率的問題。如不修復這類

Minor(P3)問題數量

問題，用戶將認為產品體驗是不友好的

Minor(P3)：

非體驗行業專業用戶可察覺的界面樣式、交互動效等問題。如不Trivial(P4)問題數量

修復這類問題，用戶認為產品設計品質較低

Trivial(P4)：

總計問題數

僅體驗行業專業用戶可察覺的微小的界面問題。如不修復這類問

題，將不會影響用戶對產品的整體滿意度

任務評估

評估類別重要級別具體檢查項是否通過存在的問題

1.總的來說，使用該產品/功能可以使用戶達

實用性Block（0）

成上述所定義的目標

2.在使用該產品/功能時，用戶可以時刻明確

可學習性Block（0）

當前界面的任務

Critical(P1)3.在使用該產品/功能時，當用戶感到迷惑時，

可通過產品內提供的解釋說明或幫助手冊解

決

Major(P2)4.在使用該產品/功能時，用戶所接觸到的現

有概念符合其認知

Major(P2)5.在使用該產品/功能時，對所接觸到的產品

獨特概念，用戶可以在產品中找到其清晰的解

釋

Major(P2)6.在使用該產品/功能時，用戶認為產品的導

航劃分方式是合理的

Critical(P1)7.在使用該產品/功能時，用戶所需操作是能

夠被用戶找到的

1

T/CAS1.1—2017

Major(P2)8.在使用該產品/功能時，用戶認為產品所用

的色彩、圖標、插圖可被辨識且符合其認知

Major(P2)9.在使用該產品/功能時，用戶不必進行任何

效率

大量的、重復性的操作即可完成任務

Major(P2)10.在使用該產品/功能時，用戶不必進行任何

有難度的精確控制即完成任務

Major(P2)11.在使用該產品/功能時，涉及多角色、不同

權限的任務符合用戶的協作模式

Major(P2)12.在使用該產品/功能時，用戶不必記憶任何

可記憶性

不屬于當前操作界面的信息

Major(P2)13.在使用該產品/功能時，用戶應隨時感知他

操作的對象所處的狀態

Major(P2)14.在使用該產品/功能時，除非在操作前向用

出錯

戶提供告警，否則所有關鍵操作均允許用戶撤

銷

Critical(P1)15.在使用該產品/功能時，用戶可以隨時返回

上一個層級/來源頁

Major(P2)16.在使用該產品/功能時，用戶每次在執行有

風險的命令前，均會接收到二次確認，以便其

了解操作風險

Critical(P1)17.在使用該產品/功能時，如發生錯誤，用戶

可以獲取到易于理解的錯誤原因說明及解決

錯誤的方法

Critical(P1)18.該產品/功能中所使用的品牌及Logo符合

視覺品牌

公司規范

Major(P2)19.該產品/功能中所使用的字體、圖標、圖

片等設計元素無版權風險

Critical(P1)20.該產品/功能中，與客戶定制化相關的品

牌、Logo、文案等信息沒有錯誤

表格.6驗收報告

_________________________________

2

ICS

A00T/

團體標準

T/CIDADS—

企業級人工智能應用產品體驗驗收指南

Artificialintelligenceenterpriseserviceapplicationproductexperienceacceptance

processandevaluationguide

點擊此處添加與國際標準一致性程度的標識

（征求意見稿）

（本稿完成日期：2024-03-07）

2024-××-××發布2024-××-××實施

中國工業設計協會發布

T/CAS1.1—2017

企業級人工智能應用產品體驗驗收指南

1范圍

本標準提供了企業級人工智能應用產品體驗驗收指南，給出以用戶體驗為導向的人工智能應用產品

體驗驗收的維度、驗收的方法以及驗收實施流程，旨在幫助人工智能應用產品提升產品可用性、易用性

等產品質量。

本標準適用于企業級人工智能應用產品或集成人工智能模型于企業業務系統的應用產品，其他同類

具有高度業務屬性的應用產品可參考使用；

本標準暫不適用于以個體用戶為主的個人用戶產品。

2規范性引用文件

下列文件對于本文件的應用是必不可少的。凡是注日期的引用文件，僅注日期的版本適用于本文件。

凡是不注日期的引用文件，其最新版本（包括所有的修改單）適用于本文件。

WCAG2.0Web內容無障礙指南

GB/T29799-2013網頁內容可訪問性指南

GB/T25000.51-2016系統與軟件工程系統與軟件質量要求和評價（SQuaRE）

GB/T29836.3-2013系統與軟件易用性第3部分：測評方法

3術語和定義

下列術語和定義適用于本文件。

3.1人工智能企業級服務應用產品EnterpriseServiceApplicationProduct

人工智能企業級服務應用產品是利用人工智能為底層技術，并面向商業和組織需求設計的業務應用

產品。

注：企業級服務通常指面向企業的服務，服務范圍涵蓋企業發展過程中以再生產為目標的方方面面。

產品的購買者通常為正式機構、組織。

3.2目標用戶targetusers

目標用戶是指在產品、服務、應用設計中，開發者或設計團隊明確定義的特定用戶群體。

3.3核心任務coretasks