第十九屆D2終端技術大會第十九屆D2終端技術大會Midscene.js:AI在前端測試領域的應用字節(jié)跳動茅曉鋒第十九屆D2終端技術大會原理與模型02040103原理與模型02040103實踐與展望第十九屆D2終端技術大會第十九屆D2終端技術大會視頻摘錄-ClaudeComputer-use第十九屆D2終端技術大會Anthoropic/ClaudeCompu瀏覽器自動化，瀏覽器插件，JSSDKOpenAI/Operator瀏覽器控制，商業(yè)產(chǎn)品廠商范圍大廠商范圍大OpenAI、Microsoft、Anthoropic…論文、模型、論文、模型、SDK、應用產(chǎn)品…產(chǎn)品領域廣落地路徑豐富第十九屆D2終端技術大會SelectorSelectorAPI為主，無法長期維護業(yè)務代碼與測試代碼耦合基于界面理解做操作，用例直觀可維護HTML與測試代碼解耦研發(fā)體驗10x提升第十九屆D2終端技術大會Shadcn/DataTableShadcn/DatePickerShadcn/DrawerShadcn/Dropdown第十九屆D2終端技術大會Midscene.js:AI驅(qū)動的UI自動化9第十九屆D2終端技術大會步驟驅(qū)動步驟驅(qū)動核心接口(1/3)執(zhí)行交互Action第十九屆D2終端技術大會核心接口(1/3)執(zhí)行交互ActionOpentwitterandpostatweet,“thisisatweetfromMidscene.js”第十九屆D2終端技術大會核心接口(2/3)數(shù)據(jù)提取Query搜索結果列表，{title:string}[]第十九屆D2終端技術大會核心接口(3/3)斷言Assert第十九屆D2終端技術大會Action智能交互，步驟或目標驅(qū)動AssertAction智能交互，步驟或目標驅(qū)動Assert理解界面，執(zhí)行斷言提取界面信息，返回JSON第十九屆D2終端技術大會從瀏覽器插件開始體驗在任意站點運行Midscene.js零代碼，隨手跑第十九屆D2終端技術大會JavascriptSDK第十九屆D2終端技術大會Yaml格式自動化腳本支持使用Cli驅(qū)動-簡單場景快速巡檢支持在JS中調(diào)用Yaml腳本，供平臺、工具類產(chǎn)品集成第十九屆D2終端技術大會運行與調(diào)試-測試報告支持操作回放，回溯運行過程第十九屆D2終端技術大會更多特性調(diào)試SDK與AI服務的通信過程AI判斷，智能等待腳本與桌面瀏覽器結合操作第十九屆D2終端技術大會i準備AI相關的基礎設施：模型服務、賬單、數(shù)據(jù)安全...i準備AI相關的基礎設施：模型服務、賬單、數(shù)據(jù)安全...Midscene.js第十九屆D2終端技術大會原理與模型21第十九屆D2終端技術大會模型的關鍵特性模型的關鍵特性核心流程第十九屆D2終端技術大會核心流程第十九屆D2終端技術大會Midscene.js支持的三大模型?使用逐步指令（step-by-step）的提示詞?使用逐步指令（step-by-step）的提示詞?使用目標驅(qū)動的提示詞特性限制?交互表現(xiàn)與GPT-4o相當，有時甚至更好第十九屆D2終端技術大會Midscene.js支持的三大模型從最容易獲得的模型開始。先入門，再調(diào)優(yōu)。第十九屆D2終端技術大會實踐與展望26第十九屆D2終端技術大會挑戰(zhàn)1模型的創(chuàng)意發(fā)揮與穩(wěn)定性的沖突解法解法《編寫提示詞（指令）的技巧》/zh/prompting-tips.html第十九屆D2終端技術大會挑戰(zhàn)2模型的不可能三角效果好自有GPU資源私有化部署挑戰(zhàn)2模型的不可能三角效果好自有GPU資源私有化部署第十九屆D2終端技術大會專用模型，覆蓋更多操作路徑AI專用模型，覆蓋更多操作路徑更易理解和調(diào)試開源SDK和模型更易理解和調(diào)試開源SDK和模型