技術(shù)交底書內(nèi)部專利號交底書名稱消息數(shù)據(jù)可視化方法發(fā)明人（可以多個）第一發(fā)明人身份證號碼交底書撰寫人電話&手機(jī)Email交底書提交日期所屬部門相關(guān)技術(shù)背景（背景技術(shù)），與本發(fā)明最相近的現(xiàn)有實現(xiàn)方案（現(xiàn)有技術(shù)）1.1背景技術(shù)近年來，隨著公司的不斷發(fā)展，業(yè)務(wù)需求越來越多，消息中心接入的業(yè)務(wù)也隨之增多。由于各個業(yè)務(wù)方需求的不同，因此給消息中心的數(shù)據(jù)的處理帶來了很大的壓力，同時也給數(shù)據(jù)組對于數(shù)據(jù)的收集、處理和分析造成一定的影響。為了解決這個困難，滿足各業(yè)務(wù)方的需求同時便于數(shù)據(jù)的收集而開發(fā)出一種將消息數(shù)據(jù)收集并可視化的方法。1.2與本發(fā)明相關(guān)的現(xiàn)有技術(shù)1.2.1現(xiàn)有技術(shù)的技術(shù)方案目前已有的專利是:一種基于大數(shù)據(jù)的網(wǎng)絡(luò)安全可視化處理方法,專利號：CN201710315239.1。該專利是將數(shù)據(jù)從ES中查詢出并可視化到瀏覽器，實現(xiàn)的步驟如下：首先，使用定時器定時從ES（Elasticsearch）中查詢數(shù)據(jù)，然后將得到的數(shù)據(jù)按照業(yè)務(wù)需要轉(zhuǎn)換成可直接使用的數(shù)據(jù)結(jié)構(gòu)(Json格式)，并保存到Redis中；其次：Redis可以作為數(shù)據(jù)庫，當(dāng)界面第一次打開或重復(fù)刷新時，直接從Redis中獲取全量數(shù)據(jù)；再次，前端界面通過Websocket監(jiān)聽ViewApp來實時更新界面；然后，Redis也可以作為消息中間件，ViewApp通過Subscribe的方式監(jiān)聽Redis的ChangesData，如果Redis廣播變化的數(shù)據(jù)，ViewApp能實時監(jiān)聽并獲取到，同時通過Websocket實時Push到前端HTML界面；最后，前端HTML界面接收到數(shù)據(jù)后，在頁面上進(jìn)行展示，達(dá)到實時動態(tài)效果(僅更新ChangesData)。1.2.2現(xiàn)有技術(shù)的缺點現(xiàn)有的專利，通過使用Redis作為數(shù)據(jù)庫實現(xiàn)數(shù)據(jù)的可視化，并實時反饋到前端頁面。但是，對于已經(jīng)擁有數(shù)據(jù)庫的應(yīng)用，使用Redis作為數(shù)據(jù)庫是多余的，并且Redis的容量相對于數(shù)據(jù)庫較小，在線擴(kuò)容比較困難，作為數(shù)據(jù)長期持久化容器會產(chǎn)生很多問題。此外，Redis還會定期的將數(shù)據(jù)寫到磁盤中，這會消耗大量內(nèi)存。2、本發(fā)明技術(shù)方案的詳細(xì)闡述（發(fā)明內(nèi)容）2.1本發(fā)明所要解決的技術(shù)問題（發(fā)明目的）為了實現(xiàn)數(shù)據(jù)的可視化和數(shù)據(jù)的持久化，同時避免Redis的在線擴(kuò)容。本方法使用Redis作為瀏覽器和數(shù)據(jù)庫之間的中間件，能夠充分發(fā)揮Redis的特性，同時實現(xiàn)數(shù)據(jù)的可視化和持久化。2.2本發(fā)明提供的完整技術(shù)方案通過Redis作為中間件處理數(shù)據(jù)，不僅可以充分發(fā)揮Redis的作用，實現(xiàn)數(shù)據(jù)的可視化和持久化，還可以更好的處理高并發(fā)的競爭問題。該方法的系統(tǒng)流程圖如下：圖1系統(tǒng)流程圖本系統(tǒng)的實現(xiàn)流程是：首先，接收從上游傳來的消息進(jìn)行消費，根據(jù)時間（精確到小時）和對應(yīng)消息的信息生成唯一的key作為Redis的存儲key，同一個時間段的消息通過Redis的INCRBY方法統(tǒng)計到同一個key下，因為INCRBY方法是一個原子操作，可以不用考慮并發(fā)產(chǎn)生的競爭問題。利用redis作為中間件實現(xiàn)數(shù)據(jù)的持久性利用redis作為中間件實現(xiàn)數(shù)據(jù)的持久性，屬于行業(yè)領(lǐng)域內(nèi)的常規(guī)技術(shù)手段其次，后臺啟動一個定時器線程，定時的將Redis中已存的消息量進(jìn)行入庫。考慮到有多臺服務(wù)和服務(wù)器之間的時間差問題，采用半小時的定時任務(wù)。因為要盡量減少對于數(shù)據(jù)庫的讀寫操作，本發(fā)明采用延時入庫的方式（每次入庫內(nèi)容為當(dāng)前時間前一個小時的消息量），這樣既能減少數(shù)據(jù)庫的讀寫操作，又能保證數(shù)據(jù)正確的入庫。在入庫的時候，因為有多臺服務(wù)，就會有競爭問題，Redis中很多操作都是原子性的操作，可以解決競爭問題。在本發(fā)明中，采用了Redis的SETNX方法處理競爭問題采取Redis的SETNX方法解決并發(fā)競爭問題屬于行業(yè)領(lǐng)域內(nèi)的常規(guī)技術(shù)手段，SETNX方法每次只能對一個可以進(jìn)行一次賦值，同時又是原子性的操作，可以很好的解決并發(fā)產(chǎn)生的競爭問題。根據(jù)配置文件的配置結(jié)合時間生成key，并循環(huán)進(jìn)行采取Redis的SETNX方法解決并發(fā)競爭問題屬于行業(yè)領(lǐng)域內(nèi)的常規(guī)技術(shù)手段最后，根據(jù)客戶端的請求查詢數(shù)據(jù)庫，然后將數(shù)據(jù)按照需求展示在前臺頁面。本發(fā)明中，可以查詢各個范圍的數(shù)據(jù)，比如當(dāng)前時間的、近一周以及近一個月的數(shù)據(jù)量。此外，數(shù)據(jù)的持久化也給大數(shù)據(jù)的分析提供了重要的依據(jù)，他們可以根據(jù)消息數(shù)據(jù)量分析，處理，從而產(chǎn)生個性化的消息推送給用戶。2.3本發(fā)明技術(shù)方案帶來的有益效果本發(fā)明中使用Redis最為中間件而不是數(shù)據(jù)庫來持久化數(shù)據(jù)，既可以充分發(fā)揮Redis快存快讀的優(yōu)點，又可以避免Redis內(nèi)存不夠的問題，同時實現(xiàn)數(shù)據(jù)的持久化。在以往的高并發(fā)的系統(tǒng)下，處理高并發(fā)的競爭問題，多數(shù)采用加鎖的方式，雖然同樣可以解決問題，但是如果使用不當(dāng)，很容易造成死鎖。用Redis作為中間件，可以充分使用其眾多原子性的操作，從而避免各種的高并發(fā)產(chǎn)生的競爭以及死鎖的問題。2.4本發(fā)明的關(guān)鍵點和欲保護(hù)點是什么？本發(fā)明中，關(guān)鍵點是使用Redis的原子性操作解決高并發(fā)環(huán)境下的競爭問題，摒棄了傳統(tǒng)加鎖方式來解決高并發(fā)的競爭問題。2.5針對2.4中的技術(shù)方案，是否還有別的替代方案同樣能完成發(fā)明目的？（其他實施方式）無2.6交底書專業(yè)技術(shù)領(lǐng)域的技術(shù)術(shù)語的名詞解釋ES:全稱Elas