彭振云唐昭琳工業大數據采集、處理與應用1學習目標二、工業大數據采集1．認識工業現場網絡，了解工業數據的采集方式；2．掌握工業數據采集系統的部署方法；3．能夠闡述工業數據的采集方式；4．能夠根據業務要求完成PLC數據的采集與存儲；5．能夠根據業務要求完成PTL數據的采集與存儲。2機器設備數據工業大數據采集產品設計數據生產流程管理數據資源管理數據……結構化數據半結構化數據非結構化數據工業數據釆集又稱數據獲取，是將工業數據自動及主動采集的過程，其目標是從企業內部和外部數據源中獲取各種類型的數據，獲取的有效數據信息是工業大數據處理、分析和應用的基礎。基本概念二、工業大數據采集3工業大數據囊括了整個產品全生命周期各個環節所產生的各類數據，包括產品設計資料、產品生產流程管理數據、資源管理數據、生產過程數據等，其產生的主體是人和工業設備，相比于其他大數據，工業大數據結構化數據更多，相關性和實時性也更強。相關知識二、工業大數據采集產品設計資料生產過程數據資源管理數據產品生產流程管理數據工業大數據4設備層控制層車間層企業層協同層上海產業技術研究院工程大數據服務創新中心提出的工業大數據參考架構從物理域的角度，工業大數據架構將企業自下而上劃分為5層：工業大數據架構二、工業大數據采集5生產制造過程中產生的主要數據設備層控制層車間層企業層協同層現場傳感器儀表工業機器人……PLCCNCDCS……MES（作業過程管理、數據管理、工藝管理、質量管理）等產品設計數據企業管理數據客戶關系管理……網絡化協同制造生產資源共享客戶關系管理……相關知識二、工業大數據采集6工業現場網絡現場總線網絡如果將現場總線看作一種局域網，工業現場設備或高級控制系統即為網絡節點，通過雙絞線或光纖等傳輸介質建立連接后，可實現工業現場設備（智能化儀器儀表、控制器、執行機構等）間的數字通信，以及現場控制設備與高級控制系統之間的通信，為實現企業信息集成和企業綜合自動化打下了基礎。ControlNetProfibus控制層設備層現場總線是一種工業數據總線，屬于自動化領域中的底層數據通信網絡，能夠將現場傳感器、控制器等的模擬量或數字量信號，轉換成雙向數字通信的現場總線信號，具有簡單、可靠、經濟實用等優點。二、工業大數據采集7現場總線符合IEC61158標準，與計算機網絡普遍采用的IOS/OSI參考模型相比較，現場總線網絡模型只規定了應用層、數據鏈路層和物理層。現場總線網絡模型工業現場網絡二、工業大數據采集8工業以太網以太網技術引入工廠設備底層，并將特殊工業協議封裝在以太網協議中，自此就產生了工業以太網。EtherCAT,Profinet,Modbus等工業現場網絡二、工業大數據采集9工業以太網的優點01020304兼容性好以太網是一種標準的開放式網絡，方便不同廠商的設備的互聯互通，實現控制系統中不同廠商設備的兼容和互操作的問題，也能實現辦公自動化網絡與工業控制網絡的信息無縫集成。通信速率高目前以太網的通信速率為10M或100M，1000M、10G的快速以太網也開始應用，其速率比目前的現場總線快得多，可有效滿足對帶寬的更高要求。通信速率高目前以太網的通信速率為10M或100M，1000M、10G的快速以太網也開始應用，其速率比目前的現場總線快得多，可有效滿足對帶寬的更高要求。易于共享資源隨著Internet/Intranet的快速發展，以太網已滲透到各個角落，網絡上的用戶能夠在任何地方實現對企業控制現場數據的監控，便捷地訪問遠程系統。工業現場網絡二、工業大數據采集10工業以太網協議在物理層和數據鏈路層均采用有線以太網標準IEEE802.3在網絡層和傳輸層采用了標準的TCP/IP協議簇(包括UDP、TCP、IP、ARP、ICMP、IGMP等)。在高層協議中，有的工業以太網協議只定義應用層，有的工業以太網協議還定義了用戶層工業以太網網絡模型工業現場網絡二、工業大數據采集11目前比較有影響力的實時工業以太網有：西門子的PROFINET、倍福的EtherCAT、貝加萊的Powerlink、橫河的VNET／IP、東芝的TCnet、施耐德的Modbus、浙大中控的EPA等。PROFINET系統架構EtherCAT系統架構主流工業以太網工業現場網絡二、工業大數據采集12截至目前已有40多種現場總線運用到現場工業網絡中，多種工業網絡協議支持不同層次的設備應用：（1）傳感器級總線用于處理傳感器、行程開關、繼電器、接觸器等設備的數據傳輸，一般有快速、高精確度的通信要求，如Ethercat。（2）設備級總線用于建立PLC、DCS等控制系統之間或與分散的I/O設備之間的通信，如Modbus、Fieldbus等。（3）車間生產管理級總線用于大范圍、多系統的復雜通信，建立工業數據向上層傳輸的通道，將現場設備和生產管理系統連接起來，如OPCUA、MTConnect、MQTT等。Ethercat、DeviceNet、Profibus等Modbus、Fieldbus等OPCUA、MTConnect、MQTT等現場總線協議二、工業大數據采集13OPC是自動化應用中使用的一整套接口、屬性和方法的標準集，實現了工業自動化系統中獨立單元之間標準化的互聯互通。主要包括三個規范：OPCDA（OPCDataAccess）用于定義數據交換，包括值、時間和質量信息；OPCAE（OPCAlarms&Events）用于定義報警和事件類型消息信息的交換，以及變量狀態和狀態管理；OPCHDA（OPCHistoricalDataAccess）用于定義可應用于歷史數據、時間數據的查詢和分析的方法。OPC協議二、工業大數據采集14OPCUA即OPC統一架構（UnifiedArchitecture），支持多種操作系統（如MicrosoftWindows、AppleOSX、Android、Linux），可實現從傳感器和現場層讀取原始數據和預處理的信息傳輸給控制系統和生產規劃系統的功能。現場層控制層操作層管理層企業資源規劃OPCUA協議二、工業大數據采集15OPCUA系統結構包括OPC服務器和客戶端兩部分，其中OPCUA服務器負責采集數據并處理邏輯，然后通過OPCUA通訊協議對OPCUA客戶端程序提供相應的數據與服務。OPCClientOPCServerOPCUA協議二、工業大數據采集16每個系統可以包含多個服務器和客戶端。OPCServerOPCServerOPCServerOPCClientOPCClientOPCClientOPCClientOPCUA協議二、工業大數據采集17OPCUA服務器與客戶端之間有兩種交互方式：（1）請求方式OPCUA客戶端向OPCUA服務器發送請求，OPCUA服務器執行指定任務后，立即向OPCUA客戶端返回一個響應。該方式可完成OPCUA客戶端與服務器的讀和寫操作。OPCUAClientOPCUAServerClientrequestsServerresponsesPublishedNotificationsOPCUA協議二、工業大數據采集18（2）訂閱方式當OPCUA服務器的數據發生變化時，OPCUA客戶端可自動獲取到OPCUA服務器發送的數據，同時OPCUA服務器周期性的更新CACHE。該方式只能讀取OPCUA服務器的數據。Publisher(server)Publisher(server)Publisher(server)Subscriber(client)Subscriber(client)Subscriber(client)OPCUA協議二、工業大數據采集19MQTT是IBM開發的一種輕量級的machine-to-machine通信協議，運行在TCP/IP協議棧之上，是基于客戶端向服務器發布/訂閱的消息傳輸協議，因其開放、簡單、功耗低、易實現，現已發展成為物聯網的重要組成部分。應用層傳輸層網絡層鏈路層應用層傳輸層網絡層鏈路層MQTTTCPIPMQTT協議MQTT協議二、工業大數據采集20MQTT協議的特點

（1）低功耗、低帶寬、低成本。（2）傳輸可靠。（3）采用發布/訂閱消息模式，提供一對多的消息發布和應用程序之間的解耦，支持數千個并發連接的客戶端。（4）消息傳輸不需要知道負載內容，不強求傳輸數據的類型與格式。MQTT服務器MQTT客戶端MQTT客戶端MQTT協議二、工業大數據采集21MQTT采用的發布/訂閱模式，將信息的發布者（負責發送特定消息）和訂閱者（訂閱特定消息的客戶端）分離出來，二者保持互相獨立，利用代理（即第三方）進行信息的收集和過濾后，將相應的信息分發給他們，即不需要接觸即可保證消息的傳送。發布者代理訂閱者訂閱發布發布MQTT協議MQTT發布/訂閱模式二、工業大數據采集22工業數據采集方式工業數據采集處于工業大數據技術架構的最底層，主要以傳感器為采集工具，并結合RFID、掃碼槍、人機交互界面、智能終端等手段，通過直接的方式或通過PLC設備，與工業數據采集系統建立連接，再通過互聯網或現場總線等技術實現原始數據的實時準確傳輸。DataCollector工業設備數據采集大數據基礎技術平臺數據處理數據存儲PLC工業機器人CNC…工業級算法分析引擎通用搜索引擎…內存存儲全文搜索TSDB…數據管理/服務資產管理/服務數據安全數據分析應用層二、工業大數據采集23傳感器是工業現場常用的物理環境測量工具，涵蓋了聲音、溫度、濕度、距離、振動、電流等多種類型，并可將環境變量轉化為可讀的數字信號，是物理世界信息化數字采集的重要途徑。工業數據采集方式1.傳感器二、工業大數據采集24（1）有線傳感器有線傳感網絡是通過網線實現傳感器信息的收集，在便于部署的現場環境中，這種方式具有更好的抗干擾能力。料庫揀選系統結構工業數據采集方式現場傳感器分為有線傳感器和無線傳感器。1.傳感器二、工業大數據采集25（2）無線傳感器無線傳感網絡利用無線網絡進行信息傳輸，這種部署方式靈活簡單，且價格便宜，因此在現場的應用越來越普遍。工業數據采集方式1.傳感器二、工業大數據采集26RFID（RadioFrequencyIdentification，射頻識別）是一種非接觸式的自動識別技術，其原理為RFID讀寫器與標簽通過射頻方式進行非接觸雙向通信，達到識別目的并交換數據。2.RFID工業數據采集方式二、工業大數據采集27當安裝有RFID標簽的物體進入RFID讀寫頭的工作區域時，讀寫頭采用超高頻射頻技術與讀寫標簽進行雙向數據交換，將數據采集到網關控制器中，再經PLC控制器完成邏輯運算和處理，實現物體的識別與跟蹤，同時該數據信息將通過標準的工業總線協議傳輸至數據采集系統（IoTHub）。工業數據采集方式2.RFID二、工業大數據采集28條碼是指通過一組規則排列的條、空及其對應字符組成的標記，來表達一組信息的圖形標識符，是一種圖形化的信息代碼。條形碼可以標出物品的生產廠家、生產日期、商品名稱、類別等眾多信息，具有簡單、可靠、靈活、實用的特點，應用先進的條碼技術對工業現場需要采集的數據進行全面標識，可實現對生產過程中產生的大量的實時數據的自動化快速收集，確保了基層數據統計時第一手數據資料的完全真實和可靠性。工業數據采集方式3.條碼技術二、工業大數據采集29(1)利用人機交互的形式直接讀取的數據；(2)通過攝像頭采集的圖片或錄像數據；(3)從各類業務應用信息系統中獲取的數據，如庫存系統數據、銷售系統數據等。工業數據采集方式4.其他采集方式二、工業大數據采集IoTHub

平臺…30隨著工業互聯網和企業信息化的不斷推進，工業領域不斷產生大量的數據，為有效規整多種信息系統匯聚而來的工業數據，便于后續的工業大數據處理和分析，可以將任務采集到的數據保存到數據庫中。010101011010100010101011010010101010101010101010101101數據存儲二、工業大數據采集31本教材以MySQL為數據存儲的工具，它采用的是標準化的SQL語言，使得數據的存取和更新更加容易，對于復雜的查詢也非常方便。MySQL的體積小、速度快、成本低，能夠及時處理上千萬條記錄，初步滿足和支持大數據存儲所需的高并發讀寫和高效率讀寫需求。隨著其分庫與分布、業務拆分、主從復制等性能的擴展，以及讀寫性能的提高，MySQL在大數據應用中發揮了極大的作用。IoTHub平臺數據存儲二、工業大數據采集32PLC即可編程邏輯控制器，全稱為ProgrammableLogicController，是一種具有微處理器的數字電子設備，主要用于自動化數字邏輯控制。自1969年美國數字設備公司研制出第一臺設備以來，作為一款專為工業環境應用而設計的產品，經過幾十年的不斷發展，其功能已遠超邏輯控制，有效促進了工業生產效率的提高。什么是PLC？采集PLC數據二、工業大數據采集33PLC主要由CPU（中央處理器）、存儲器、通信接口和輸入/輸出單元組成。存儲器CPU通信接口輸入輸出電源下裝上載編程電腦PLC的組成采集PLC數據二、工業大數據采集存儲器CPU模塊輸入/輸出單元通信接口34功能性強PLC的數據存儲區容量巨大，可存儲大量輸入/輸出、中間變量信號，同時多達幾百條的控制指令可實現各種邏輯問題的處理。維修方便PLC各模塊上均有運行和故障指示裝置，用戶通過指示信息可快速了解運行情況，并方便查找故障。模塊化的設計更方便用戶通過更換模塊的方法使系統快速恢復運行。可靠性高PLC各模塊均采用屏蔽措施，抗干擾能力強，同時還具備良好的自診斷功能，一旦出現異常情況，CPU將立即采取有效措施。編程簡單PLC通常采用梯形圖為編程語言，梯形圖形象直觀，簡單易學，使用者不需要具備計算機的專門知識也可快速學會，并用來進行編程。01020304PLC的特點采集PLC數據二、工業大數據采集35數字量模擬量PLC連接的信號類型數字量是離散的物理量，由“0”和“1”組成，經過編碼后即成為有規律的信號。例如可以將電機的啟動狀態認為是“1”，停止狀態是“0”，或指示燈點亮狀態為“1”，熄滅狀態為“0”。模擬量與數字量相對應，是一些連續變化的物理量，如壓力、速度、流量、溫度、濕度等。PLC的模擬量模塊采集現場傳感器信號（4~20mA的電流信號或1~5V、0~10V的電壓信號）后，將其量化轉換為對應的數值（如0~100℃的溫度值）。采集PLC數據二、工業大數據采集36PLC的通信西門子S7-1200的控制器上集成了PROFENET以太網接口，支持TCP/IP、ISO-on-TCP、UDP和S7協議，可以滿足S7-1200與編程計算機、HMI和其他S7PLC的通信，同時還可以在CPU模塊左側插入通信模塊，支持PROFIBUS、Modbus-TCP、AS-i協議，滿足控制器與現場自動化設備的雙向數據通信。PROFINETPROFIBUSDPAS-Interface采集PLC數據二、工業大數據采集37請參考教材完成以下任務：運用IoTHub工具完成對PLC中數字量信號“電容傳感器”和模擬量信號“電機轉速”的實時數據采集，并將數據保存到MySQL數據庫中。保存IoTHub

平臺采集PLC數據二、工業大數據采集38采集PTL數據PTL（PickToLight）智能揀選系統，通過用燈光、數顯等方式實現物料出入庫、盤點庫存等操作功能，能完整采集揀選人員的行為數據做大數據分析，為精細化管理做優化決策的支持。二、工業大數據采集39PTL系統構成電子標簽安裝附件PTL網關采集PTL數據二、工業大數據采集40PTL系統組件電子標簽：PTL系統的顯示和交互組件，分4位數碼管顯示屏、6位數碼管顯示屏兩類標簽。電子標簽連接口2電子標簽連接口1電源連接口固件升級窗以太網通訊口2以太網通訊口1PTL網關：電子標簽與上位機的通訊接口，也是系統供電的接入模塊。①電源指示燈②通訊指示燈③報警指示燈④返回⑤菜單⑥查詢⑦操作任務指示燈