TAF-WG4AS0001-V1.0.0技術項技術子項具體指標訪問控制基于用戶的控制a)授權用戶訪問的內容不能超出授權的范圍；b)限制APP用戶賬號的多重并發會話。對APP的限制APP訪問終端數據和終端資源應經過終端操作系統用戶明確的許可：a)未得到許可前不應訪問終端數據和終端資源；b)未得到許可前不應修改和刪除終端數據,不應修改終端資源的配置。數據安全數據存儲安全APP不應以明文形式存儲用戶敏感數據,以防止數據被未授權獲取：a)APP應保證內存中不存在完整的銀行卡密碼和網絡支付交易密碼明文；b)APP的臨時文件中不應出現支付敏感信息，臨時文件包括但不限于Cookies、本地臨時文件等；c)APP應禁止在身份認證結束后存儲支付敏感信息，防止支付敏感信息泄露；d)APP運行日志中不應打印支付敏感信息，不應打印完整的敏感數據原文。數據傳輸安全APP不應以明文形式通過網絡傳輸用戶敏感數據,以防止數據被未授權獲取數據刪除APP若具備數據刪除功能,在刪除數據前應明確提示用戶,并由用戶再次確認是否刪除數據運行安全實現安全a)應具備安全機制防止程序被反編譯、反調試；b)應不存在已公布的高危風險漏洞。抗攻擊能力a)APP應具備基本抗攻擊能力，能抵御靜態分析、動態調試等操作；b)APP安裝、啟動、更新時應對自身的完整性和真實性進行校驗，具備抵御篡改、替換或劫持的能力。接口安全a)APP應對軟件接口進行保護，防止其他應用對客戶端APP接口進行非授權調用；b)APP應對傳入的URI進行校驗與安全處理，防止APP運行異常或操作異常；c)當APP需要與TEE、SE結合使用時，應避免使用存在已知漏洞的接口。5.4兼容性要求檢測APP在不同的硬件平臺、不同的操作系統平臺上的適配兼容情況。APP兼容性要求如下所述：a)選取市場上主流終端，安卓和鴻蒙終端總計不少于300臺，iOS終端不少于50臺，覆蓋至少上市近一/三/五年不同品牌終端設備；b)在終端上安裝、卸載、啟動，并執行相同的業務流程；c)測試時長不少于10分鐘。APP兼容性具體要求見表4。表4APP兼容性要求技術項具體指標安裝卸載兼容性APP安裝、卸載過程中不應有兼容問題界面兼容性APP執行過程中不應有頁面UI問題功能兼容性APP執行過程中不應有閃退、卡死和其他執行失敗問題5.5性能效率要求通過監控APP的性能數據和業務指標，評估APP的資源利用情況。APP資源利用率要求如下所述：a)選取市場上主流終端，安卓和鴻蒙終端總計不少于300臺，iOS終端不少于50臺，覆蓋至少上市近一/三/五年不同品牌終端設備；b)在終端上執行相同業務流程，獲取性能數據；c)測試時長不少于10分鐘。APP資源利用率具體要求見表5。表5資源利用率要求技術項技術子項具體指標資源利用率冷啟動響應時間APP的冷啟動響應時間不宜超過3sFPSAPP頁面傳輸過程中，如無特殊要求，幀率不宜低于20FPSCPU占用用戶在使用APP過程中，不應引發智能移動終端的CPU出現持續長時間超過70%占用的情況內存占用用戶在使用APP過程中，不應引發智能移動終端內存出現持續長時間超過70%占用的情況流量耗用在滿足業務場景需要的前提下，APP應盡可能減少網絡資源消耗，在未告知用戶的情況下，不應有與應用無關的流量消耗通過監控APP重要頁面的性能數據和響應時間，評估APP的時間特性。APP響應時間要求如下所述：a)選取上市近三年的終端，安卓和鴻蒙終端不少于50臺，iOS終端不少于10臺；b)在終端上執行相同業務流程，獲取頁面響應時間；c)測試輪次不少于12輪。APP響應時間具體要求見表6。表6響應時間要求技術項技術子項具體指標響應時間重要頁面響應時長如無特殊要求，頁面響應時長應小于5s注：重要頁面應包括但不限于如下所述功能：登錄、首頁、搜索、我的、商城（積分商城）、生活（優惠）、查賬單、查額度、查積分、查交易、權益、優惠券、還款。5.6創新性要求改進或創造新的功能，包括但不限于各種方法、元素、路徑、活動等，并能獲得一定有益效果。APP創新性要求見表7。表7響應時間要求技術項具體指標適老化專項具備適老化改造功能無障礙專項具備無障礙改造功能創新建設具備體驗創新功能具備產品創新功能具備營銷創新功能注：體驗創新：應用在用戶體驗方面進行的創新；產品創新：應用在產品功能方面進行的創新；營銷創新：應用在增加用戶消費場景或者粘度等方面進行的創新。測試方法6.1功能性測試功能性測試方法如下：a）測試目的：驗證5.1功能性要求b）測試條件：安裝APPc）測試步驟：1) 運行APP；2) 執行功能性要求業務流程；3) 檢查業務功能是否具備；4) 檢查業務功能是否正常有效，有無缺陷；5) 按照5.1功能性要求內容，重復執行步驟2)到步驟4)，記錄測試結果。d）預期結果：1）評分標準若發現功能缺少，扣1分；若發現缺陷等級“致命”問題，一次扣1分；若發現缺陷等級“嚴重”問題，一次扣0.5分；若發現缺陷等級“一般”問題，一次扣0.25分；若發現缺陷等級“提示”問題，一次扣0.1分。此項滿分合計35分。2）缺陷判定標準：缺陷等級“致命”：核心功能未實現、無法正常運行；缺陷等級“嚴重”：主功能、效果未達到預期結果、基本功能運行時出現異常；缺陷等級“一般”：主要功能可以正常運行，但仍然影響用戶其他使用的問題；缺陷等級“提示”：功能上滿足用戶需求，但是用戶體驗不好的問題。6.2易用性測試易操作性測試方法如下：a）測試目的：驗證5.2易用性要求——易操作性b）測試條件：安裝APPc）測試步驟：1) 按照易用性要求中的易操作性指標編寫測試用例；2) 運行APP，執行測試用例；3) 檢查功能操作是否便捷，交互是否合理；4) 常用操作便捷度及交互合理度分別選取4個常用功能，重復執行步驟2)到步驟3)，記錄測試結果。d）預期結果：1）評分標準分1-5等級進行評分，單條測試用例滿分0.5分，此項滿分合計4分。2）等級判定標準：等級5（優秀）：超過易操作性90%測試案例，得0.5分；等級4（良好）：超過易操作性80%測試案例，得0.4分；等級3（中等）：超過易操作性70%測試用案例，得0.3分；等級2（及格）：超過易操作性60%測試案例，得0.2分；等級1（不及格）：超過易操作性50%測試案例，得0.1分。用戶差錯防御性測試方法如下：a）測試目的：驗證5.2易用性要求——用戶差錯防御性b）測試條件：安裝APPc）測試步驟：1) 運行APP；2) 執行用戶差錯防御性業務流程；3) 檢查功能刪除操作是否有提示；4) 檢查功能受阻、出錯后，是否有明確消息提示/幫助；5) 選取4個常用功能，重復執行步驟2)到步驟4)，記錄測試結果。d）評分標準：單條測試用例有對應功能，得0.5分;單條測試用例沒有對應功能，得0分。此項滿分合計2分。用戶界面舒適性測試方法如下：a）測試目的：驗證5.2易用性要求——用戶界面舒適性b）測試條件：安裝APPc）測試步驟：1) 運行APP；2) 檢查全局配色方案是否一致；3) 檢查全局配圖風格是否一致；4) 檢查同功能操作方式是否標準化；5) 檢查產品文案描述是否一致；6) 檢查頁面布局是否清晰；7) 檢查全局組件規范使用是否合理；8) 檢查圖標風格層級區分是否清晰；9) 檢查全局字體層級區分是否清晰；10) 選取10個頁面，重復執行步驟2)到步驟9)，記錄測試結果。d）預期結果：1）評分標準：分1-5等級進行評分，單條測試用例滿分0.5分，此項滿分合計5分。2）等級判定標準：等級5（優秀）：超過90%的頁面配色、配圖、文案一致；頁面布局、層級方面清晰合理，得0.5分；等級4（良好）：超過80%的頁面配色、配圖、文案一致；頁面布局、層級方面清晰合理，得0.4分；等級3（中等）:超過70%的頁面配色、配圖、文案一致；頁面布局、層級方面清晰合理，得0.3分；等級2（及格）：超過60%的頁面配色、配圖、文案一致；頁面布局、層級方面清晰合理，得0.2分；等級1（不及格）：超過50%的頁面配色、配圖、文案一致；頁面布局、層級方面清晰合理，得0.1分。用戶體驗互動性測試方法如下：a）測試目的：驗證5.2易用性要求——用戶體驗互動性b）測試條件：安裝APPc）測試步驟：1) 參照易用性要求中的用戶體驗互動性指標編寫測試用例，其中步驟3）至步驟6）分別設計3條測試用例，步驟7）設計2條測試用例；2) 運行APP，執行測試用例；3) 檢查搜索互動（搜索入口、搜索界面、搜索體驗）是否有互通體驗問題；4) 檢查客服互動（客服入口、客服界面、客服體驗）是否有互通體驗問題；5) 檢查消息互動（通知、提醒、設置）是否有互通體驗問題；6) 檢查便捷互動（語音搜索、語音互動、視頻互動）是否有互通體驗問題；7) 檢查智能互動（多形態登錄方式、智能推薦）是否有互通體驗問題；8) 記錄測試結果。d）預期結果：1）評分標準分1-5等級進行評分，單條測試用例滿分0.5分，此項滿分合計7分。2）等級判定標準：等級5（優秀）：執行通過超過90%的用戶體驗互動性測試用例，得0.5分；等級4（良好）：執行通過超過80%的用戶體驗互動性測試用例，得0.4分；等級3（中等）:執行通過超過70%的用戶體驗互動性測試用例，得0.3分；等級2（及格）：執行通過超過60%的用戶體驗互動性測試用例，得0.2分；等級1（不及格）：執行通過超過50%的用戶體驗互動性測試用例，得0.1分。系統友好性測試方法如下：a）測試目的：驗證5.2易用性要求——系統友好性b）測試條件：安裝APPc）測試步驟：1) 運行APP；2) 執行幫助系統業務流程；3) 檢查是否有產品操作指引功能；4) 檢查是否有意見反饋功能；5) 記錄測試結果。d）評分標準：單條測試用例有對應功能，得1分;單條測試用例沒有對應功能，得0分。此項滿分合計2分。6.3安全性測試身份認證測試方法如下：a）測試目的：驗證5.3安全性要求——身份認證b）測試條件：安裝APPc）測試步驟：1) 檢查在用戶訪問應用業務前，APP是否對其身份進行鑒別；2) 連續嘗試登錄失敗時，,檢查APP是否具備鑒別失敗處理措施(如鎖定賬號等)；3) 用戶登錄后長時間不進行任何操作；4) 記錄測試結果。d）評分標準：只有身份認證成功的應用用戶才能使用APP；具備鑒別失敗處理措施；具備登錄超時后的鎖定或注銷功能。上述預期結果每滿足一條得0.5分。口令安全機制測試方法如下：a）測試目的：驗證5.3安全性要求——口令安全機制b）測試條件：安裝APPc）測試步驟：1) 在APP中輸入口令，檢查口令是否以明文形式顯示或存儲；2) 檢查APP是否默認保存用戶上次的賬號及口令信息；3) 檢查APP是否具備口令強度檢查機制(如口令長度、復雜度要求等)；4) 檢測APP是否具備口令時效性檢查機制(如主動提示用戶定期修改口令等)；5) 檢測APP在修改或找回口令時，是否具備驗證機制(如驗證手機號碼等)；6) 檢查APP是否具備防鍵盤劫持機制；7) 記錄測試結果。d）評分標準：1) 口令在使用、存儲過程中不出現明文；2) 未保存用戶上次的賬號及口令信息；3) 具備口令強度檢查機制,初始化及修改用戶口令時,能夠根據策略檢查輸入口令的長度和復雜度，若輸入的口令不符合口令強度要求,能夠提示,并要求重新設置有效口令；4) 具備口令時效性檢查機制,能夠主動提示用戶修改口令；5) 修改或找回口令時,具備驗證機制,以防止口令的被非授權獲取或篡改；6) 口令在使用過程中具備防鍵盤劫持機制,無法劫持獲取用戶輸入的口令。上述預期結果每滿足一條得0.5分。驗證碼安全機制測試方法如下：a）測試目的：驗證5.3安全性要求——驗證碼安全機制b）測試條件：安裝APPc）測試步驟：1) 檢查APP驗證碼是否在服務端生成而不是在客戶端生產；2) 檢查APP圖形驗證碼是否具有時間限制，且在超出限制時間范圍外不再有效；檢查圖形驗證碼使用一次返回后再次輸入相同的驗證碼不再有效；3) 檢查APP圖形驗證碼是否可以被機器識別出明文；4) 檢查APP手機短信驗證碼是否具備限制應用用戶短信驗證碼的多重發送機制；5) 記錄測試結果。d）評分標準：1) 驗證碼在服務端生成；2) 圖形驗證碼在使用過程中具備時間限制并且只能使用一次；3) 圖片驗證碼在使用過程中具備一定的抗機器識別能力；4) APP手機短信驗證碼具有防重放攻擊機制。上述預期結果每滿足一條得0.5分。基于用戶的控制測試方法如下：a）測試目的：驗證5.3安全性要求——基于用戶的控制b）測試條件：安裝APPc）測試步驟：1) 用戶成功登錄后,分別訪問其授權和非授權的業務；2) 使用同一用戶賬號在其他終端上同時登錄；3) 記錄測試結果。d）評分標準：1) 應用用戶僅能訪問授權業務；2) 對用戶賬號的多重并發會話進行限制。上述預期結果每滿足一條得0.5分。對APP的限制測試方法如下：a）測試目的：驗證5.3安全性要求——對APP的限制b）測試條件：安裝APPc）測試步驟：1) 檢查APP訪問、修改和刪除終端數據前是否明確經過終端操作系統用戶的許可；2) 檢查APP訪問、修改終端資源及其配置是否明確經過終端操作系統用戶的許可。3) 記錄測試結果。d）評分標準：1) 未經過終端操作系統用戶明確許可前，APP不能訪問、修改和刪除終端數據；2) 未經過終端操作系統用戶明確許可前，APP不能訪問、修改終端資源及其配置。上述預期結果每滿足一條得0.5分。數據存儲安全測試方法如下：a）測試目的：驗證5.3安全性要求——數據存儲安全b）測試條件：安裝APPc）測試步驟：1) 檢查APP內存中是否存在完整的銀行卡密碼和網絡支付交易密碼明文；2) 檢查是否存在臨時文件中保存支付敏感信息的現象；3) 檢查APP在身份驗證登出后，輸入的支付敏感信息是否被記錄在系統日志中；4) 檢查APP運行日志是否涉及支付敏感信息和敏感數據原文；5) 記錄測試結果。d）評分標準：1) APP未在內存中明文存儲完整的銀行卡密碼和網絡支付交易密碼;2) 不存在臨時文件中保存支付敏感信息的現象；3) 支付敏感信息在身份驗證結束后不會被記錄在系統日志中；4) APP運行日志中未涉及支付敏感信息和敏感數據原文。上述預期結果每滿足一條得0.5分。數據傳輸安全測試方法如下：a）測試目的：驗證5.3安全性要求——數據傳輸安全b）測試條件：安裝APPc）測試步驟：1) 截取數據包,檢查APP是否以明文形式通過網絡傳輸用戶敏感數據；2) 記錄測試結果。d）評分標準：不以明文形式通過網絡傳輸用戶敏感數據。上述預期結果每滿足一條得0.5分。數據刪除安全測試方法如下：a）測試目的：驗證5.3安全性要求——數據刪除b）測試條件：安裝APPc）測試步驟：1) 檢查APP是否提供數據刪除的功能；2) 檢查在數據刪除前，APP是否明確提示用戶，并由用戶再次確認是否刪除數據。3) 記錄測試結果。d）評分標準：1) 提供數據刪除功能；2) 在數據刪除之前，APP能夠明確通知用戶,用戶能夠進一步確認或取消數據刪除操作；上述預期結果每滿足一條得0.5分。實現安全測試方法如下：a）測試目的：驗證5.3安全性要求——實現安全b）測試條件：安裝APPc）測試步驟：1) 檢查APP是否具備安全機制防止程序被反編譯、反調試；2) 檢查測試APP是否存在已公布的高危風險漏洞；3) 記錄測試結果。d）評分標準：1) 提供有效的機制（如混淆技術）防止程序被反編譯、反調試；2) 不存在已公布的高危風險漏洞。上述預期結果每滿足一條得0.5分。抗攻擊能力測試方法如下：a）測試目的：驗證5.3安全性要求——抗攻擊能力b）測試條件：安裝APPc）測試步驟：1) 檢查APP是否具備安全機制防止程序代碼被靜態分析和動態調試；2) 檢查APP是否具備安全機制防止程序代碼被篡改、替換或劫持；3) 記錄測試結果。d）評分標準：1) 提供有效的機制（如通過簡單的模糊技術、代碼混淆、檢測調試器）進行安全保護，防止程序代碼被靜態分析和動態調試；2) 提供有效的機制（如通過安全加固、資源加密、代碼混淆、虛擬執行）防止程序代碼被篡改、替換或劫持。上述預期結果每滿足一條得0.5分。接口安全測試方法如下：a）測試目的：驗證5.3安全性要求——接口安全b）測試條件：安裝APPc）測試步驟：1) 檢查APP是否具備安全機制防止其他應用對客戶端APP接口進行非授權調用；2) 檢查測試APP是否使用已公布漏洞的接口；3) 記錄測試結果。d）評分標準：1) 提供有效的機制（如通過Baic認證、動態簽名）進行安全保護，防止其他應用對客戶端APP接口進行非授權調用；2) 不使用已公布漏洞的接口。上述預期結果每滿足一條得0.5分。6.4兼容性測試兼容性測試方法如下：a）測試目的：驗證5.4兼容性要求b）測試條件：1) 安裝APP；2) 打開終端WLAN并連接路由器，WLAN信號強度大于-50dbm；3) 所有終端測試環境一致。c）測試步驟：1) 參照兼容性測試要求指標編寫兼容性測試用例；2) 運行APP；3) 在所有終端上執行兼容性業務流程；4) 檢查每臺終端是否有安裝和卸載問題；5) 檢查每臺終端執行過程中是否有頁面UI問題；6) 檢查每臺終端執行過程中是否有閃退、卡死和其他執行失敗問題；7) 記錄測試結果。d）預期結果：1）評分標準：若發現缺陷等級“致命”問題，一次扣1分;若發現缺陷等級“嚴重”問題，一次扣0.5分;若發現缺陷等級“一般”問題，一次扣0.25分;若發現缺陷等級“提示”問題，一次扣0.1分。此項滿分合計10分。2）缺陷判定標準：缺陷等級“致命”：程序主要功能流程阻塞，同時問題機型覆蓋的數量超過本次測試的20%（兩個條件全部滿足）；缺陷等級“嚴重”：程序主要功能流程阻塞，同時問題機型覆蓋的數量超過本次測試的20%（滿足一個條件）；缺陷等級“一般”：即不影響程序主要功能測試流程，問題覆蓋的機型數量未達到本次測試的20%（兩個條件都不滿足）；缺陷等級“提示”：不影響程序功能流程的UI類，體驗類問題（不管是否滿足其他評級條件）。6.5性能效率測試資源利用率測試方法如下：a）測試目的：驗證5.5性能效率要求——資源利用率b）測試條件：1) 安裝APP；2) 打開終端WLAN并連接路由器，WLAN信號強度大于-50dbm；3) 所有終端測試環境一致。c）測試步驟：1) 參照性能效率要求中的資源利用率指標編寫測試用例；2) 運行APP；3) 在所有終端上執行相同業務流程；4) 執行過程中抓取冷啟動、CPU、內存、流量和FPS性能數據；5) 計算出平均性能數據作為本次測試結果。d）評分標準：分別檢查冷啟動、CPU、內存、流量和FPS性能數據，若高于行業平均性能數據，得2分，若低于行業平均性能數據，得1分，此項滿分合計10分。響應時間測試方法如下：a）測試目的：驗證5.5性能效率要求——響應時間b）測試條件：1) 安裝APP；2) 打開終端WLAN并連接路由器，WLAN信號強度大于-50dbm；3) 所有終端測試環境一致。c）測試步驟：1) 參照性能效率要求中的響應時間指標編寫測試用例；2) 運行APP；3) 在所有終端上執行相同業務流程，共計執行12輪次；4) 執行過程中抓取重要頁面響應時間；5) 選取5個重要頁面，計算出頁面平均響應時間作為本次測試結果。d）評分標準：1) 若頁面響應時間<=2秒，得1分；2) 若頁面響應時間在2—5秒間，得0.5分；3) 若頁面響應時間>=5秒，得0分。此項滿分合計5分。6.6創新性測試創新性測試方法如下：a）測試目的：驗證5.6創新性要求b）測試條件：安裝APPc）測試步驟：1) 運行APP；2) 執行創新性業務流程；3) 檢查是否具備適老化、無障礙改造相關功能；4) 檢查是否具備體驗創新、產品創新、營銷創新相關功能；5) 記錄測試結果。d）評分標準：1) 若有適老化改造，得1分，沒有則得0分；2) 若有無障礙改造，得1分，沒有則得0分；3) 列舉體驗創新項，得1分，沒有則得0分；4) 列舉產品創新項，得1分，沒有則得0分；5) 列舉營銷創新項，得1分，沒有則得0分。此項滿分合計5分。評價方法7.1評分規則本文件指標集分為兩層層級結構，分別為測試項和測試子項，通過測試得分相加得到最終分值，其中測試項計算方式如公式1所示，測試子項計算方式如公式2所示。R=R項1+R項2…R項n……（1）R項=R子項1+R子項2…R子項n……（2）式中：R——結果。7.2扣分規則扣分指標事項，扣減分值上限見表8。表8測試項目及對應分值上限測試項測試子項測試指標分值上限（分）功能性注冊和登錄具備注冊/登錄/安全退出/賬戶注銷功能，且不應有功能缺陷1具備聯合賬戶注冊/登錄/賬戶解綁功能，且不應有功能缺陷1卡管理和賬戶管理具備申卡/綁卡/卡激活/卡掛失/卡續簽/換卡面/賬戶管理/還