




版權說明:本文檔由用戶提供并上傳,收益歸屬內容提供方,若內容存在侵權,請進行舉報或認領
文檔簡介
工業互聯網平臺實時數據開發《工業互聯網平臺綜合應用》/
工業設備任務流運維《工業互聯網平臺綜合應用》/知識準備任務實施目錄0102實時任務運維為了方便運維工程師排查任務流執行問題,根云平臺提供了數據運維功能。運維工程師能夠查看
在數據計算中已經完成數據開發且已經啟動任務的執行狀態。數據運維是對任務的統一管理界面,可以查看任務ID、名稱、運行狀態、開始時間和狀態更新時間等任務信息,也可以對任務進行啟動、停止、撤回、查看任務詳情等操作。運維工程師能夠對運行狀態及實時任務名稱進行搜索工業互聯網平臺綜合應用①停止:任務發布即生成運行的實時任務,可停止實時任務。②啟動:運行狀態為已停止的實時任務可重新啟動。③撤回:對實時任務執行撤回操作后,該任務回到未發布的實時數據開發狀態。④查看任務:查看實時任務的開發情況。實時任務運維對實時任務的操作:工業互聯網平臺綜合應用運行狀態圖標初始化中運行中停止中運行失敗實時任務運維實時任務運維的任務流運行狀態有4種狀態:初始化中、運行中、停止中、運行失敗。工業互聯網平臺綜合應用實時任務運維運行詳情:對于運行中的實時任務
,可查看運行詳情
,包括運行概況和異常日志。運行詳情,當實時任務運行正常但出現數據丟失或數據庫中不存在數據時,則可以使用運行詳情對數據的輸入輸出進行排查
,確認出現問題的具體節點。工業互聯網平臺綜合應用實時任務運維實時任務運維詳情中的運行概況能實時看到每個節點的數據接收、
發出以及運行時長等基本
信息
,方便判斷和排查問題。工業互聯網平臺綜合應用實時任務運維如果是任務流上線、停止、撤回的異常信息
,可以在異常日志中查看。工業互聯網平臺綜合應用實時任務運維批量撤回,可以在實時任務運維中批量撤回正在運行的實時計算任務。工業互聯網平臺綜合應用數據計算MySQLPostgreSQLOracleBOOLEAN(布爾型true/false)TINYINTBOOLBOOLINTEGER(64位整型)TINYINTSMALLINTMEDIUMINTINTBIGINTFLOATDOUBLEDECIMALBIGINTSERIALINT2INT4INT8NUMBER在任務開發過程中需要對字段進行數據類型的映射或選擇,例如輸入節點系統會自動匹配映射類型、FlinkSQL查詢節點輸出字段需選擇輸出數據類型。實時數據開發支持以下數據類型支持的數據類型工業互聯網平臺綜合應用TINYINTSMALLINTMEDIUMINTINTBIGINTFLOATDOUBLEDECIMALCHARVARCHARTINYTEXTTEXTMEDIUMTEXTLONGTEXTDATETIMEDATETIMEDATATIMEDATETIMETIMESTAMPFLOAT8MONEYNUMERICFLOAT4INT4INT2INT8VARCHARCHARTEXTBITINETDATETIMETIMESTAMPBPCHARDATETIMETIMESTAMPLONGCHARNCHARVARCHARVARCHAR2NVARCHAR2CLOBNCLOBTIMESTAMPDATE支持的數據類型NUMBERFLOATBINARY_DOUBLETIMESTAMP(64位時間戳)工業互聯網平臺綜合應用NUMBER(64位浮點型)STRING(64位字符型)續上表詢可查看表信息、數據預覽、SQL查詢三個頁簽。數據查詢根云平臺提供數據維表的內容瀏覽功能,無需借助外部客戶端工具
,即可瀏覽維表數據和計
算結果。數據維表包括在數據源管理中添加的外部數據源和平臺內部數據源的所有維表。數據查工業互聯網平臺綜合應用數據查詢單擊“數據查詢”,選擇外部數據源和目標數據表。工業互聯網平臺綜合應用數據查詢選擇“表信息”,查看目標數據表的信息內容,可以看到表名、表的字段數,并且可以查看
每一個字段的數據類型、是否可為空、是否主鍵。工業互聯網平臺綜合應用數據查詢單擊“數據預覽”,可以查看采集到的數據信息。單擊“SQL查詢”,根據業務需求在②處
編寫SQL查詢語句
,然后單擊“執行SQL”,可以在下方查看查詢結果。工業互聯網平臺綜合應用為了方便開發定位和監控整個服務的運行情況,平臺提供了可視化的運行日志查看功能。
查詢任務運行過程中節點的關鍵和異常日志,幫助排查任務流配置和運行資源異常引起的數據不正確問題。日志查詢說明工業互聯網平臺綜合應用日志列表支持按級別、用戶和生成時間段進行篩選,還支持查看和下載指定日志的詳細信息
,方便
運維人員快速定位問題。日志查詢可以查看以下類型的日志信息:操作日志,例如用戶或管理員對外部數據源、模板、任務流的創建、刪除、編輯、啟動、停止、發布、撤回等操作
,包括操作的成功、異常和失敗信息。日志查詢說明工業互聯網平臺綜合應用①輸入節點、輸出節點的正常連接和斷開,輸出節點的寫錯誤,處理節點的數據計算異常情況。②維表節點的初始化加載成功,周期刷新失敗重連。③Flink
SQL查詢執行中的解析異常,執行異常。④MySQL輸出節點中,輸出外部數據寫失敗(網絡斷開、備份、主鍵錯誤),MySQL的連接、斷開和重連。⑤Kafka輸出節點中,Kafka數據庫連接異常或自動重連。運行中任務流節點輸出的日志,包括:日志查詢說明工業互聯網平臺綜合應用《工業互聯網平臺綜合應用》/知識準備任務實施目錄0102當實時數據任務流發布不成功時,編排頁面會彈出“實時數據任務Flink啟動失敗,請查看日志”
的彈框。實時數據任務啟動失敗工業互聯網平臺綜合應用1)在數據計算菜單欄下,單擊第①處“日志查詢”,可以看到日志列表。單擊第②處進入實時任務日志頁面,再單擊第③處查看運行失敗的日志消息。查看實時任務日志工業互聯網平臺綜合應用2)單擊“查看詳情”,查看日志的詳細信息,查看日志的最后一行信息,可快速定位報錯信息。查看實時任務日志工業互聯網平臺綜合應用"message":"Flinkjob每日產量started
failed.msg:org.apache.flink.table.api.ValidationException:SQLvalidationfailed.Fromline1,column85toline1,column94:Column
'output01'
not
found
in
any
table"3)定位問題,可以查到問題為:'output01'字段不存在任何表中。查看實時任務日志工業互聯網平臺綜合應用實時數據任務運維1)返回到任務流的編排頁面中,檢查輸入節點、處理節點、輸出節點的每個字段名稱。工業互聯網平臺綜合應用2)FlinkSQL查詢節點的輸出字段中的'output'變為了'output01',而輸出節點的輸出字段為
'output',數據庫表字段也是'output',所以'output01'字段不存在任何表中,實時數據任務啟動失敗。實時數據任務運維工業互聯網平臺綜合應用
溫馨提示
- 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯系上傳者。文件的所有權益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網頁內容里面會有圖紙預覽,若沒有圖紙預覽就沒有圖紙。
- 4. 未經權益所有人同意不得將文件中的內容挪作商業或盈利用途。
- 5. 人人文庫網僅提供信息存儲空間,僅對用戶上傳內容的表現方式做保護處理,對用戶上傳分享的文檔內容本身不做任何修改或編輯,并不能對任何下載內容負責。
- 6. 下載文件中如有侵權或不適當內容,請與我們聯系,我們立即糾正。
- 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。
評論
0/150
提交評論