AI遇見應(yīng)用興趣引領(lǐng)未來人工智能基礎(chǔ)與應(yīng)用

數(shù)據(jù)標(biāo)注實(shí)訓(xùn)實(shí)踐③目錄教學(xué)目標(biāo)相關(guān)知識一、什么是數(shù)據(jù)采集與數(shù)據(jù)標(biāo)注？ 二、常用標(biāo)注基本流程與操作方法三、數(shù)據(jù)標(biāo)注行業(yè)應(yīng)用場景數(shù)據(jù)集創(chuàng)建與編輯實(shí)訓(xùn)實(shí)踐③Principlesand

ApplicationsofArtificialIntelligence人工智能基礎(chǔ)與應(yīng)用認(rèn)識數(shù)據(jù)標(biāo)注界面及操作

掌握數(shù)據(jù)分類、標(biāo)注流程、技術(shù)要求，掌握圖像標(biāo)注常用標(biāo)注方法掌握數(shù)據(jù)標(biāo)注質(zhì)量檢測流程與方法、技術(shù)規(guī)范

了解行業(yè)數(shù)據(jù)標(biāo)注內(nèi)容與應(yīng)用，為后續(xù)模型訓(xùn)練奠定基礎(chǔ)【實(shí)訓(xùn)目標(biāo)】【實(shí)訓(xùn)要求】1.知識點(diǎn)數(shù)據(jù)標(biāo)注基本流程及其主要用途、圖像標(biāo)注核心流程與操作；2.技能點(diǎn)數(shù)據(jù)標(biāo)注設(shè)計(jì)與構(gòu)建、圖像標(biāo)注工具應(yīng)用操作；3.重難點(diǎn)通過本單元的學(xué)習(xí)與實(shí)訓(xùn)實(shí)踐，重點(diǎn)掌握圖像標(biāo)注場景下靈活應(yīng)用數(shù)據(jù)標(biāo)注方法分析解決實(shí)際問題的能力；難點(diǎn)是應(yīng)用數(shù)據(jù)標(biāo)注工具構(gòu)建基于某類場景下的數(shù)據(jù)標(biāo)注并應(yīng)用至人工智能模型訓(xùn)練過程中。【相關(guān)知識】一、什么是數(shù)據(jù)采集與數(shù)據(jù)標(biāo)注大量人產(chǎn)生的數(shù)據(jù)巨量機(jī)器產(chǎn)生的數(shù)據(jù)少量企業(yè)應(yīng)用產(chǎn)生的數(shù)據(jù)如推特、微博、通信軟件、移動通信數(shù)據(jù)、電子商務(wù)在線交易日志數(shù)據(jù)、企業(yè)應(yīng)用的相關(guān)評論數(shù)據(jù)等。如應(yīng)用服務(wù)器日志、各類傳感器數(shù)據(jù)、圖像和視頻監(jiān)控?cái)?shù)據(jù)、二維碼和條形碼（條碼）掃描數(shù)據(jù)等。如關(guān)系型數(shù)據(jù)庫中的數(shù)據(jù)和數(shù)據(jù)倉庫中的數(shù)據(jù)等?！饕獢?shù)據(jù)來源一、什么是數(shù)據(jù)采集與數(shù)據(jù)標(biāo)注——數(shù)據(jù)采集方法就數(shù)據(jù)獲取而言，大型互聯(lián)網(wǎng)企業(yè)擁有穩(wěn)定安全的數(shù)據(jù)資源。對于其他大數(shù)據(jù)公司和大數(shù)據(jù)研究機(jī)構(gòu)而言，獲取大數(shù)據(jù)的方法主要為：1.系統(tǒng)日志采集。Hadoop的Chukwa、Cloudera的Flume、Facebook的Scribe等，采用分布式架構(gòu)，能滿足大數(shù)據(jù)的日志數(shù)據(jù)采集和傳輸需求。2.互聯(lián)網(wǎng)數(shù)據(jù)采集。通過網(wǎng)絡(luò)爬蟲或網(wǎng)站公開API等方式從網(wǎng)站上獲取數(shù)據(jù)信息，還可以使用DPI或DFI等帶寬管理技術(shù)實(shí)現(xiàn)對網(wǎng)絡(luò)流量的采集。3.APP移動端數(shù)據(jù)采集。APP是獲取用戶移動端數(shù)據(jù)的一種方法，APP中的SDK插件可以將用戶使用APP的信息匯總給指定服務(wù)器。4.與數(shù)據(jù)服務(wù)機(jī)構(gòu)進(jìn)行合作。數(shù)據(jù)服務(wù)機(jī)構(gòu)通常具備規(guī)范的數(shù)據(jù)共享和交易渠道，人們可以在平臺上快速、明確地獲取自己所需要的數(shù)據(jù)。一、什么是數(shù)據(jù)采集與數(shù)據(jù)標(biāo)注數(shù)據(jù)來源多種多樣，數(shù)據(jù)量也越發(fā)龐大，即使如此，并不是每種數(shù)據(jù)都適合標(biāo)注，具體而言，常見的標(biāo)注對象主要分為圖像與視頻、語音、文本。1.圖像與視頻數(shù)據(jù)。對街景的畫框標(biāo)注，可用于幫助自動駕駛車輛識別道路物體；對人臉圖像做描點(diǎn)處理，可幫助人工智能識別不同個(gè)體等。2.語音數(shù)據(jù)。語音數(shù)據(jù)為應(yīng)答交互系統(tǒng)以及聊天機(jī)器人等研發(fā)提供了前提。一般而言采集的數(shù)據(jù)往往存在大量嘈雜、錯(cuò)誤以及無用的信息，對其進(jìn)行篩選處理正是數(shù)據(jù)標(biāo)注的價(jià)值所在。3.文本數(shù)據(jù)。自然語言處理是深度學(xué)習(xí)研究的重要領(lǐng)域，分類問題如關(guān)系識別、情感分析等，均需要標(biāo)注數(shù)據(jù)進(jìn)行模型訓(xùn)練，為了滿足深度學(xué)習(xí)的需要，建立文本語料數(shù)據(jù)庫是比較常見的做法?！Ｒ姌?biāo)注數(shù)據(jù)一、什么是數(shù)據(jù)采集與數(shù)據(jù)標(biāo)注——數(shù)據(jù)標(biāo)注流程數(shù)據(jù)標(biāo)注的質(zhì)量直接關(guān)系到模型訓(xùn)練的優(yōu)劣程度，因此要為數(shù)據(jù)標(biāo)注建立一套既定的數(shù)據(jù)標(biāo)注流程，對圖像、語音、文本等進(jìn)行有序而有效的標(biāo)注，如下圖所示：數(shù)據(jù)標(biāo)注中的二八定律通常在一個(gè)AI項(xiàng)目中，數(shù)據(jù)準(zhǔn)備工作需要80%時(shí)長，模型訓(xùn)練和部署僅占20%。一、什么是數(shù)據(jù)采集與數(shù)據(jù)標(biāo)注數(shù)據(jù)清理主要是達(dá)到數(shù)據(jù)格式標(biāo)準(zhǔn)化、異常數(shù)據(jù)清除、數(shù)據(jù)錯(cuò)誤糾正、重復(fù)數(shù)據(jù)的清除等目標(biāo)。數(shù)據(jù)集成是將多個(gè)數(shù)據(jù)源中的數(shù)據(jù)結(jié)合起來并統(tǒng)一存儲，建立數(shù)據(jù)倉庫。數(shù)據(jù)變換是通過平滑聚集、數(shù)據(jù)概化、規(guī)范化等方式將數(shù)據(jù)轉(zhuǎn)換成適用于數(shù)據(jù)挖掘的形式。數(shù)據(jù)歸約是指在對挖掘任務(wù)和數(shù)據(jù)本身內(nèi)容理解的基礎(chǔ)上，尋找依賴于發(fā)現(xiàn)目標(biāo)的數(shù)據(jù)的有用特征，以縮減數(shù)據(jù)規(guī)模，從而在盡可能保持?jǐn)?shù)據(jù)原貌的前提下，最大限度地精簡數(shù)據(jù)量。

數(shù)據(jù)清洗原理示意圖——數(shù)據(jù)清洗一、什么是數(shù)據(jù)采集與數(shù)據(jù)標(biāo)注數(shù)據(jù)標(biāo)注即通過分類、畫框、標(biāo)注、注釋等，對圖片、語音、文本等數(shù)據(jù)進(jìn)行處理，標(biāo)記對象的特征，以作為機(jī)器學(xué)習(xí)的素材。由于機(jī)器學(xué)習(xí)需要反復(fù)學(xué)習(xí)以訓(xùn)練模型和提高精度，同時(shí)無人駕駛、智慧醫(yī)療、語音交互等各大應(yīng)用場景都需要標(biāo)注數(shù)據(jù)，因此標(biāo)注工程師應(yīng)運(yùn)而生。據(jù)不完全統(tǒng)計(jì)，目前我國全職數(shù)據(jù)標(biāo)注員至少20萬，兼職標(biāo)注員甚至達(dá)到100萬名之多。——什么是數(shù)據(jù)標(biāo)注一、什么是數(shù)據(jù)采集與數(shù)據(jù)標(biāo)注——數(shù)據(jù)標(biāo)注分類以對象作為分類標(biāo)準(zhǔn)，數(shù)據(jù)標(biāo)注可以分為圖像標(biāo)注、語音標(biāo)注、文本標(biāo)注以及視頻標(biāo)注。數(shù)據(jù)標(biāo)注分類概述圖像標(biāo)注圖像標(biāo)注類型包括拉框、語義分割、實(shí)例分割、目標(biāo)檢測、圖像分類、關(guān)鍵點(diǎn)、線段標(biāo)注、文字識別轉(zhuǎn)寫、點(diǎn)云標(biāo)注、屬性判斷等。圖像標(biāo)注在人工智能與各行各業(yè)應(yīng)用相結(jié)合的研究過程中扮演著重要的角色。語音標(biāo)注語音標(biāo)注類型包括ASR語音轉(zhuǎn)寫、語音切割、語音清洗、情緒判定、聲紋識別、音素標(biāo)注、韻律標(biāo)注、發(fā)音校對等。文本標(biāo)注文本標(biāo)注是對文本進(jìn)行特征標(biāo)記，為其打上具體的語義、構(gòu)成、語境、目的、情感等原數(shù)據(jù)標(biāo)簽，主要用于自然語言處理。通過語句分詞標(biāo)注、語義判定標(biāo)注、文本翻譯標(biāo)注、情感色彩標(biāo)注、拼音標(biāo)注、多音字標(biāo)注、數(shù)字符號標(biāo)注等，可獲得高準(zhǔn)確率的文本語料。視頻標(biāo)注視頻標(biāo)注以圖片幀為單位，對視頻素材中的目標(biāo)對象進(jìn)行跟蹤，對包括道路、車輛、行人等在內(nèi)的目標(biāo)物的特征信息、結(jié)構(gòu)信息、語義信息等進(jìn)行標(biāo)記，從而形成訓(xùn)練數(shù)據(jù)集。按照具體應(yīng)用類型，視頻標(biāo)注可進(jìn)一步劃分為視頻追蹤、標(biāo)簽分類、視頻打點(diǎn)

以及視頻信息提取。一、什么是數(shù)據(jù)采集與數(shù)據(jù)標(biāo)注1.人臉數(shù)據(jù)采集。年齡分布、性別分布、人種分布、表情類型、拍攝環(huán)境、圖片尺寸、文件格式、圖片數(shù)量、適用領(lǐng)域。2.車輛數(shù)據(jù)采集。車型分布、車輛顏色、拍攝時(shí)間、車牌顏色、圖片尺寸、文件格式、圖片數(shù)量、適用領(lǐng)域。3.街景數(shù)據(jù)采集。采集環(huán)境、路況覆蓋、數(shù)據(jù)規(guī)模、拍攝設(shè)備、圖片尺寸、文件格式、圖片數(shù)量、適用領(lǐng)域。4.語音數(shù)據(jù)采集。采集數(shù)量、性別分布、是否做內(nèi)容轉(zhuǎn)寫、錄制環(huán)境、錄音語料、錄音設(shè)備、音頻文件、文件數(shù)量、適用領(lǐng)域。5.文本數(shù)據(jù)采集。采集內(nèi)容、文件格式、編碼格式、文件數(shù)量、適用領(lǐng)域?！獢?shù)據(jù)采集案例一、什么是數(shù)據(jù)采集與數(shù)據(jù)標(biāo)注——數(shù)據(jù)采集案例：車輛數(shù)據(jù)的采集在對車輛數(shù)據(jù)的采集中，常見的方式是通過交通監(jiān)控視頻進(jìn)行圖片截取，圖片最好包括車牌、車型、車輛顏色、品牌、年份、位置、拍攝時(shí)間等車輛信息，并做統(tǒng)一的圖片尺寸、文件格式、圖片數(shù)量規(guī)定，同時(shí)做脫敏處理（即數(shù)據(jù)漂白），實(shí)時(shí)保護(hù)隱私和敏感數(shù)據(jù)。以下為一個(gè)簡單的車輛數(shù)據(jù)采集規(guī)格示例：車型分布——小轎車、SUV、面包車、客車、貨車、其他車輛顏色——白、灰、紅、黃、綠、其他拍攝時(shí)間——光線亮的時(shí)候，光線暗的時(shí)候，光線正常的時(shí)候車牌顏色——藍(lán)、白、黃、黑、其他圖片尺寸——1024*768文件格式——JPG圖片數(shù)量——75000張適用領(lǐng)域——自動駕駛、車牌識別二、常用數(shù)據(jù)標(biāo)注主要流程與操作方法圖像標(biāo)注是一個(gè)將標(biāo)簽添加到圖像上的過程。其目標(biāo)范圍既可以是在整個(gè)圖像上僅使用一個(gè)標(biāo)簽，也可以是在某個(gè)圖像內(nèi)的各組像素中配上多個(gè)標(biāo)簽?！獔D像標(biāo)注二、常用數(shù)據(jù)標(biāo)注主要流程與操作方法打標(biāo)簽：貓打標(biāo)簽：狗就是我們常見的打標(biāo)簽。一般是從既定的標(biāo)簽中選擇數(shù)據(jù)對應(yīng)的標(biāo)簽，是封閉集合。適用：文本、圖像、語音、視頻應(yīng)用：人臉識別、物體分類、性別識別——圖像標(biāo)注：分類標(biāo)注二、常用數(shù)據(jù)標(biāo)注主要流程與操作方法方框標(biāo)注3D長方體標(biāo)注機(jī)器視覺中的標(biāo)框標(biāo)注，很容易理解，就是框選要檢測的對象。通過標(biāo)框，標(biāo)識圖像中需要檢測的對象，以便訓(xùn)練機(jī)器進(jìn)行機(jī)器學(xué)習(xí)。如人臉識別：需要先把人臉的位置確定下來。常用標(biāo)注包括方框、多邊形框、3D長方形框等適用：圖像、視頻應(yīng)用：人臉識別、物體檢測——圖像標(biāo)注：標(biāo)框標(biāo)注二、常用數(shù)據(jù)標(biāo)注主要流程與操作方法人臉關(guān)鍵點(diǎn)人體骨骼關(guān)鍵點(diǎn)一些對于特征要求細(xì)致的應(yīng)用中常常需要描點(diǎn)標(biāo)注。例如人臉識別、骨骼識別等。適用：圖像應(yīng)用：人臉識別、骨骼識別——圖像標(biāo)注：描點(diǎn)標(biāo)注二、常用數(shù)據(jù)標(biāo)注主要流程與操作方法區(qū)域標(biāo)注要求更加精確，針對圖像中的區(qū)域進(jìn)行范圍標(biāo)注。邊緣可以是柔性的。如自動駕駛中的道路識別。適用：圖像應(yīng)用：自動駕駛——圖像標(biāo)注：區(qū)域標(biāo)注二、數(shù)據(jù)標(biāo)注主要標(biāo)注方法包括那些？經(jīng)過人工對語音內(nèi)容進(jìn)行文本轉(zhuǎn)錄，將算法無法理解的語音內(nèi)容轉(zhuǎn)化成容易識別的文本內(nèi)容，然后算法模型通過被轉(zhuǎn)錄后的文本內(nèi)容進(jìn)行識別并與相應(yīng)的音頻進(jìn)行邏輯關(guān)聯(lián)應(yīng)用：智能客服、自動翻譯、知識問答——語音標(biāo)注二、數(shù)據(jù)標(biāo)注主要標(biāo)注方法包括那些？經(jīng)過人工將文本的內(nèi)容進(jìn)行標(biāo)簽分類，進(jìn)行結(jié)構(gòu)化處理，便于算法模型應(yīng)用識別，用于自然語言處理，個(gè)性化推薦等應(yīng)用：智能客服、知識問答、智能推薦——文字標(biāo)注——自動駕駛常見應(yīng)用：以矩形框或描點(diǎn)對車輛進(jìn)行標(biāo)注；以矩形框或描點(diǎn)標(biāo)注人體輪廊；采集地址興趣點(diǎn)，在地圖上做出相應(yīng)地理位置信息標(biāo)記的POI（PointofInterest）標(biāo)記等。三、數(shù)據(jù)標(biāo)注行業(yè)應(yīng)用場景——自動駕駛車道線標(biāo)注：是一種對道路地面標(biāo)線進(jìn)行的綜合標(biāo)注，標(biāo)注包括了區(qū)域標(biāo)注、分類標(biāo)注以及語義標(biāo)注，應(yīng)用于訓(xùn)練自動駕駛根據(jù)車道規(guī)則進(jìn)行行駛。三、數(shù)據(jù)標(biāo)注行業(yè)應(yīng)用場景——自動駕駛3D雷達(dá)標(biāo)注：是根據(jù)鏡頭反求原理，將視頻場景模擬成3D圖像，通過3D圖像標(biāo)注出標(biāo)注物的位置及大小。3D雷達(dá)標(biāo)注主要應(yīng)用在自動駕駛虛擬現(xiàn)實(shí)（VR）訓(xùn)練場景的搭建。三、數(shù)據(jù)標(biāo)注行業(yè)應(yīng)用場景——自動駕駛3D車輛標(biāo)注：是將2D圖片中的車輛進(jìn)行3D標(biāo)注，主要應(yīng)用于訓(xùn)練自動駕駛對會車或超車車輛的體積判斷。三、數(shù)據(jù)標(biāo)注行業(yè)應(yīng)用場景——自動駕駛視頻跟蹤標(biāo)注：是將視頻數(shù)據(jù)按照圖片幀抓取進(jìn)行標(biāo)框標(biāo)注，標(biāo)注后的圖片幀按照順序重新組合成視頻數(shù)據(jù)訓(xùn)練自動駕駛。視頻跟蹤標(biāo)注主要是用于訓(xùn)練自動駕駛對識別目標(biāo)的移動跟蹤能力，讓自動駕駛在移動過程中更好地識別目標(biāo)。三、數(shù)據(jù)標(biāo)注行業(yè)應(yīng)用場景——安防行業(yè)對于數(shù)據(jù)標(biāo)注人員而言，需要做的正是對訓(xùn)練圖片中人物的性別、年齡、膚色、表情、頭發(fā)以及是否帶帽帶眼鏡等進(jìn)行分類標(biāo)注，或者對行人做標(biāo)框處理，幫助機(jī)器獲取快速識別能力。三、數(shù)據(jù)標(biāo)注行業(yè)應(yīng)用場景——安防行業(yè)人臉標(biāo)注：是一個(gè)應(yīng)用廣泛并且在不斷發(fā)展的數(shù)據(jù)標(biāo)注，在智能安防中，主要應(yīng)用于人臉識別與身份識別。三、數(shù)據(jù)標(biāo)注行業(yè)應(yīng)用場景——安防行業(yè)表情分析：是一種分類標(biāo)注，在機(jī)器學(xué)習(xí)時(shí)，需要配合人臉標(biāo)注進(jìn)行。在智能安防中，表情分析是智能安防系統(tǒng)從被動防御向主動預(yù)警發(fā)展的關(guān)鍵技術(shù)。三、數(shù)據(jù)標(biāo)注行業(yè)應(yīng)用場景——安防行業(yè)行人標(biāo)注：是對行人進(jìn)行標(biāo)框標(biāo)注，主要應(yīng)用于進(jìn)出人數(shù)的統(tǒng)計(jì)，一般在商城、超市、市中心、車站、學(xué)校、工廠等人員容易密集的場所需要通過進(jìn)出人數(shù)的統(tǒng)計(jì)來判斷容納人員是否已經(jīng)飽和，可以有效的防范因?yàn)槿藛T過于密集而造成危險(xiǎn)。三、數(shù)據(jù)標(biāo)注行業(yè)應(yīng)用場景——安防行業(yè)行為標(biāo)注：是對特定行為進(jìn)行區(qū)域標(biāo)注和分類標(biāo)注，主要應(yīng)用于對危險(xiǎn)行為的監(jiān)控，例如打架、暈倒、車禍、輕生、偷盜等，視頻監(jiān)控系統(tǒng)識別出危險(xiǎn)行為后，可以及時(shí)報(bào)警。三、數(shù)據(jù)標(biāo)注行業(yè)應(yīng)用場景——安防行業(yè)物品標(biāo)注：是將物品進(jìn)行標(biāo)框標(biāo)注及分類標(biāo)注，在智能安防中，物品標(biāo)注需要和行為標(biāo)注結(jié)合。三、數(shù)據(jù)標(biāo)注行業(yè)應(yīng)用場景——智慧醫(yī)療通過人體標(biāo)框、3D畫框、骨骼點(diǎn)標(biāo)記、病歷轉(zhuǎn)錄等應(yīng)用，機(jī)器學(xué)習(xí)能夠快速完成醫(yī)學(xué)編碼和注釋，以及在遠(yuǎn)程醫(yī)療、醫(yī)療機(jī)器人、醫(yī)療影像、藥物挖掘等場景的應(yīng)用。三、數(shù)據(jù)標(biāo)注行業(yè)應(yīng)用場景六三——智慧醫(yī)療病歷文本標(biāo)注：是對病歷信息進(jìn)行文本標(biāo)框標(biāo)注，通過對病歷內(nèi)容的文本轉(zhuǎn)錄實(shí)現(xiàn)電子病歷系統(tǒng)建立。三、數(shù)據(jù)標(biāo)注行業(yè)應(yīng)用場景——智慧醫(yī)療人體標(biāo)框標(biāo)注：是根據(jù)人體不同部位進(jìn)行標(biāo)框標(biāo)注，多應(yīng)用于遠(yuǎn)程醫(yī)療外傷診斷。三、數(shù)據(jù)標(biāo)注行業(yè)應(yīng)用場景——智慧醫(yī)療骨骼點(diǎn)標(biāo)注：是將人體運(yùn)動的關(guān)節(jié)點(diǎn)進(jìn)行描點(diǎn)標(biāo)注，多應(yīng)用于健康檔案的建立。人工智能通過對骨骼點(diǎn)標(biāo)注的學(xué)習(xí)，可以快速鎖定病灶關(guān)節(jié)。三、數(shù)據(jù)標(biāo)注行業(yè)應(yīng)用場景——智慧醫(yī)療醫(yī)療影像標(biāo)注：是對醫(yī)療影像進(jìn)行區(qū)域標(biāo)注及分類標(biāo)注，多應(yīng)用于輔助臨床診斷。人工智能通過學(xué)習(xí)大量的醫(yī)療影像標(biāo)注數(shù)據(jù)集，將會很好的輔助醫(yī)生進(jìn)行臨床診斷以及提出治療方案。三、數(shù)據(jù)標(biāo)注行業(yè)應(yīng)用場景行業(yè)名稱應(yīng)用場景金融行業(yè)文字翻譯、語義分析、語音轉(zhuǎn)錄、圖像標(biāo)注等，都是具有代表性的重要應(yīng)用。家居行業(yè)主要包括應(yīng)用矩形框標(biāo)記人臉，進(jìn)行人臉精細(xì)分割；對家居物品進(jìn)行畫框標(biāo)記；通過描點(diǎn)的方式進(jìn)行區(qū)域劃分；采集語音并進(jìn)行標(biāo)注處理等。公共服務(wù)確定內(nèi)容是否符合描述的內(nèi)容審核，對具有相同意思的語句進(jìn)行歸類的語義分析、將音頻轉(zhuǎn)化為文字的語音轉(zhuǎn)錄，以及查看視頻是否符合要求的視頻審核等都是數(shù)據(jù)標(biāo)注中的常見應(yīng)用電子商務(wù)通過對產(chǎn)品打上結(jié)構(gòu)化標(biāo)簽，包括品牌、顏色、型號、價(jià)格、款式、瀏覽量、購買量、用戶評價(jià)等，建立360度的全景畫像，從而為個(gè)性化推薦提供先決條件。智能制造缺陷檢測、智