1、智能金融前端測試服務平臺方案淺談UI自動化測試VisionA的演進歷程未來展望必須要說的自動化測試金字塔UI接口單測系統級、用戶視角、回歸UI自動化“引擎”優勢問題基于界面渲染 前視圖樹類穩定性好，校驗能力強門檻高，成本高，通用性差錄制回放類門檻低，成本低穩定性差，校驗能力差 一旦改動不可復用圖像特征 匹配類門檻較低，通用性好 對被測程序無侵入穩定性較差，校驗能力較差定位操作校驗VisionA 的演進歷程UI自動化探索：使用Appuim，門檻高，成本高自動化P0case + 錄制回放提高效率錄制回放穩定性問題急需提升AI支持的錄制回放VisionA 0.1 基于AI的錄制回放工具定位操作校驗坐

2、標（x,y）點擊（x,y）像素匹配一個請輸入手機號 的 輸入框找到并點擊請輸入手機號 的 輸入框存在一個 登錄成功的 文字提示通過語義對控件進行描述、定位、校驗控件類型、文字信息、圖像特征、大小位置等等VisionA 0.1 基于AI的錄制回放工具控件切割：圖像算法：邊緣檢測+聚合算法+切割算法問題：產生大量閾值需要調優利用分割后控件分類結果的總數和無意義控件 占比率進行迭代VisionA 0.1 基于AI的錄制回放工具控件分類：算法不是關鍵，數據才是王道標注平臺7k / 人時歷史截圖UI視覺圖 前端素材庫自動化截圖樣本源+預標注+=20w標注原始數據每月迭代，不定期修badcaseVisio

3、nA 0.1 基于AI的錄制回放工具目標檢測：輸入框請輸入手機號目標控件： 類 型 ： OCR：圖像特征：大小位置：(20,896)(783,926)評分卡+閾值VisionA 0.1 基于AI的錄制回放工具 測試報告 手工執行case自 動 同 步 產 生錄制 腳本檢查 點截 圖 智能分析操作 腳本 case執行語義 對比目標 檢測控件 切割控件 分類OCRVisionA 0.1 基于AI的錄制回放工具問題：Case復用性差校驗能力弱使用成本增加不支持iOSVisionA 0.2 基于錄制回放的AI case平臺Case可視化編輯服務化錄制/執行VisionA 0.2 基于錄制回放的AI c

4、ase平臺Case可視化編輯VisionA 0.2 基于錄制回放的AI case平臺Case可視化編輯VisionA 0.2 基于錄制回放的AI case平臺Case可視化編輯VisionA 0.2 基于錄制回放的AI case平臺服務端錄制 / 執行安卓IOSWDASTF操作錄制控制接口VisionA打平雙端差異VisionA 0.2 基于錄制回放的AI case平臺新問題：Case編寫成本提高Case批量維護成本高VisionA 0.3 基于AI的前端自動化服務平臺思路轉變：錄制回放 - 自動化Case結構：線性運行 - 函數封裝、邏輯控制、數據驅動產生方法：錄制完整流程+修改 - 錄制子流程+拼裝使用場景：隨用隨丟 - 長期穩定維護使用范圍：個人本地執行 - 團隊公共使用VisionA定位： 工具 - 服務平臺VisionA 0.3 基于AI的前端自動化服務平臺應用啟動支持參數傳遞的函數封裝和邏輯控制步驟1步驟2步驟3步驟4頁面訪問參數:url賬號登錄參數:用戶名密碼步驟5步驟6步驟7步驟8步驟9業務步驟A參數: XXX,XXX函數封裝:邏輯控制:根據頁面有無某控件，變量取值判斷等，進行goto變量空間:Case的運行態中維護全局變量空間VisionA