大數(shù)據(jù)采集與預(yù)處理主講教師：龍霄漢《大數(shù)據(jù)導(dǎo)論》課程Introductiontobigdata數(shù)據(jù)采集設(shè)備數(shù)據(jù)采集設(shè)備011數(shù)據(jù)采集設(shè)備數(shù)據(jù)采集設(shè)備傳統(tǒng)的數(shù)據(jù)采集方法包括人工錄入、調(diào)查問卷、電話隨訪等方式，大數(shù)據(jù)時代到來后，一個突出的變化是數(shù)據(jù)采集的方法有了質(zhì)的飛躍，數(shù)據(jù)采集方式的突破直接改變著大數(shù)據(jù)應(yīng)用的場景。圖片來自互聯(lián)網(wǎng)數(shù)據(jù)采集設(shè)備常用的數(shù)據(jù)采集設(shè)備有：傳感器、RFID設(shè)備、可編程智能數(shù)據(jù)采集設(shè)備等。數(shù)據(jù)采集設(shè)備傳感器其它RFID設(shè)備可編程智能數(shù)據(jù)采集設(shè)備傳感器傳感器是一種檢測裝置，能感受到被測量的信息，并能將檢測感受到的信息，按一定規(guī)律變換成為電信號或其他所需形式的信息輸出，以滿足信息的傳輸、處理、存儲、顯示、記錄和控制等要求。圖片來自互聯(lián)網(wǎng)傳感器在生產(chǎn)車間中一般存在許多的傳感節(jié)點(diǎn)，24小時監(jiān)控著整個生產(chǎn)過程，當(dāng)發(fā)現(xiàn)異常時可迅速反饋至上位機(jī)，可以算得上是數(shù)據(jù)采集的感官接受系統(tǒng)，屬于數(shù)據(jù)采集的底層環(huán)節(jié)。圖片來自互聯(lián)網(wǎng)傳感器傳感器在采集數(shù)據(jù)的過程中主要特性是其輸入與輸出的關(guān)系。其靜態(tài)特性反映了傳感器在被測量各個值處于穩(wěn)定狀態(tài)時的輸入和輸出關(guān)系，這意味著當(dāng)輸入為常量，或變化極慢時，這一關(guān)系就稱為靜態(tài)特性。一般希望傳感器的輸入與輸出成唯一的對照關(guān)系，最好是線性關(guān)系。圖片來自互聯(lián)網(wǎng)傳感器一般情況下，輸入與輸出不會符合所要求的線性關(guān)系，同時由于存在這遲滯、蠕變等因素的影響，使輸入輸出關(guān)系的唯一性也不能實(shí)現(xiàn)。因此我們不能忽視工廠中的外界影響，其影響程度取決于傳感器本身，可通過傳感器本身的改善加以抑制，有時也可以加對外界條件加以限制。圖片來自互聯(lián)網(wǎng)RFID設(shè)備RFID（RadioFrequencyIdentification，射頻識別）技術(shù)是一種非接觸式的自動識別技術(shù)，通過射頻信號自動識別目標(biāo)對象并獲取相關(guān)的數(shù)據(jù)信息。利用射頻方式進(jìn)行非接觸雙向通信，達(dá)到識別目的并交換數(shù)據(jù)。RFID技術(shù)可識別高速運(yùn)動物體并可同時識別多個標(biāo)簽，操作快捷方便。圖片來自互聯(lián)網(wǎng)RFID設(shè)備在工作時，RFID讀寫器通過天線發(fā)送出一定頻率的脈沖信號，當(dāng)RFID標(biāo)簽進(jìn)入磁場時，憑借感應(yīng)電流所獲得的能量發(fā)送出存儲在芯片中的產(chǎn)品信息（PassiveTag，無源標(biāo)簽或被動標(biāo)簽），或者主動發(fā)送某一頻率的信號（ActiveTag，有源標(biāo)簽或主動標(biāo)簽）。圖片來自互聯(lián)網(wǎng)RFID設(shè)備閱讀器對接收的信號進(jìn)行解調(diào)和解碼然后送到后臺主系統(tǒng)進(jìn)行相關(guān)處理；主系統(tǒng)根據(jù)邏輯運(yùn)算判斷該卡的合法性，針對不同的設(shè)定做出相應(yīng)的處理和控制，發(fā)出指令信號控制執(zhí)行機(jī)構(gòu)動作。圖片來自互聯(lián)網(wǎng)RFID設(shè)備RFID技術(shù)解決了物品信息與互聯(lián)網(wǎng)實(shí)現(xiàn)自動連接的問題，結(jié)合后續(xù)的大數(shù)據(jù)挖掘工作，能發(fā)揮其強(qiáng)大的威力。圖片來自互聯(lián)網(wǎng)可編程智能數(shù)據(jù)采集設(shè)備數(shù)據(jù)采集設(shè)備提供個可編程的配置接口，信令監(jiān)控系統(tǒng)只是維護(hù)管理固定結(jié)構(gòu)的XDR表（XDR，外部數(shù)據(jù)表示法）,用于自身的功能需求。可編程的配置接口可以訪問原始的數(shù)據(jù)包、解碼后的信息單元以及固定結(jié)構(gòu)的XDR表,網(wǎng)絡(luò)數(shù)據(jù)采集處理設(shè)備會根據(jù)配置接口將相關(guān)的XDR及擴(kuò)展自定義的字段輸出至第三方的應(yīng)用程序或應(yīng)用云端。從而實(shí)現(xiàn)網(wǎng)絡(luò)監(jiān)測功能和第三方應(yīng)用需求的分離。圖片來自互聯(lián)網(wǎng)總結(jié)在當(dāng)今的大數(shù)據(jù)環(huán)境下，數(shù)據(jù)采集是一個難點(diǎn)。很多企業(yè)的生產(chǎn)數(shù)據(jù)采集主要依靠傳統(tǒng)的手工作業(yè)方式，采集過程中容易出現(xiàn)人為的記錄錯誤且效率低下。有些企業(yè)雖然引進(jìn)了相關(guān)技術(shù)手段，并且應(yīng)用了數(shù)據(jù)采集系統(tǒng)，但是由于系統(tǒng)本身的原因以及企業(yè)沒有選擇最適合自己的數(shù)據(jù)采集系統(tǒng)，因此也無法實(shí)現(xiàn)信息采集的實(shí)時性、精確性和延伸性