通信數據分析與實戰綜合案例-Spark實時交易數據統計第九章第1節2知道系統案例的目的熟悉系統平臺的架構學習目標TARGET系統概述雙十一是每年11月11日的電商促銷活動，近幾年年最終24小時總成交額為2000億以上。現場慶典中，成交額在大屏幕中實時刷新展示，這就用到了數據可視化技術，數據可視化是借助于圖形化手段，將數據庫中的每條數據以圖像形式展示在前端頁面，清晰有效地傳達交易信息。系統平臺架構設計系統預覽6小結知道系統案例的目的熟悉系統平臺的架構通信數據分析與實戰綜合案例-Spark實時交易數據統計第九章第2節8掌握Redis的安裝和啟動掌握Redis的常用操作學習目標TARGETRedis概述Redis是使用C語言開發的一個開源的高性能鍵值對數據庫，它通過提供多種鍵值對數據類型適應不同場景下的存儲需求，到目前為止，Redis支持鍵值對數據類型，分別是字符串數據類型（String）、哈希（Hash）、列表（List）、集合（Set）以及有序集合（Zset）五種。Redis作為內存數據庫，性能非常出色，官方數據顯示，Redis每秒可處理超過十萬次讀寫操作，Redis安裝1下載Redis安裝包，redis-3.2.8.tar.gz版本。2

編譯Redis源碼，并修改redis.conf配置文件。3執行“./redis-server./redis.conf”命令，啟動Redis服務端，Redis安裝1下載Redis安裝包，redis-3.2.8.tar.gz版本。Redis安裝1上傳到hadoop01的/export/software解壓到/export/servers。cd/export/softwarerz

tar-zxvfredis-3.2.8.tar.gz-C/export/servers/Redis安裝2

編譯Redis源碼，并修改redis.conf配置文件。#由于Reids是C語言開發,所以安裝的時候需要進行源碼編譯,編譯依賴于gcc環境

yuminstallgcc

#進入安裝目錄cd/export/servers/redis-3.2.8/makemakePREFIX=/export/servers/redisinstallRedis安裝2

編譯Redis源碼，并修改redis.conf配置文件。

#復制redis.conf配置文件cpredis.conf/export/servers/redis/bin/

#修改配置文件cd/export/servers/redis/bin/viredis.confbind34Redis安裝3執行“./redis-server./redis.conf”命令，啟動Redis服務端，Redis常用操作方法名稱相關說明hset(key，field，value)向名稱為key的hash中添加元素fieldhget(key，field)返回名稱為key的hash中field對應的valuehincrby(key，field，integer)將名稱為key的hash中field的value增加integerhexists(key，field)名稱為key的hash中是否存在鍵為field的域hdel(key，field)刪除名稱為key的hash中鍵為field的域hlen(key)返回名稱為key的hash中元素個數17小結掌握Redis的安裝和啟動掌握Redis的常用操作通信數據分析與實戰綜合案例-Spark實時交易數據統計第九章第3節19掌握搭建項目結構學習目標TARGET模塊開發-構建工程結構1.創建Maven工程模塊開發-構建工程結構2.項目資源結構模塊開發-構建工程結構3.添加相關依賴添加spark-core、scala、spark-streaming、spark-streaming與kafka整合、Kafka、Jedis、spring以及Jsp、Json數據轉換工和WebSocket的Jar文件。模塊開發-構建工程結構4.添加Web.xml文件24小結掌握搭建項目結構通信數據分析與實戰綜合案例-Spark實時交易數據統計第九章第4節26熟悉訂單數據掌握向Kafka發送數據學習目標TARGET模擬訂單數據訂單數據模型通常由訂單編號、訂單時間、商品編號、商品價格等數十個字段組成。模擬訂單數據訂單的數據格式"orderId":"b030e0dfb3b04cd18c3b32beac01ab25","productId":"6",“productPrice":834}模擬訂單數據1.創建Kafka生產者對象利用KafkaAPI創建生產者對象，設置Kafka集群配置參數并調用send()方法，不斷向指定Kafka集群中發送訂單數據。2.啟動Kafka程序$bin/kafka-server-start.shconfig/perties#啟動Kafka服務$kafka-topics.sh--create\#創建Topic--topicit_order\--partitions3\--replication-factor2\--zookeeperhadoop01:2181,hadoop02:2181,hadoop03:2181$kafka-console-consumer.sh\#監聽數據--from-beginning--topicit_order\--bootstrap-serverhadoop01:9092,hadoop02:9092,hadoop03:9092向Kafka集群發送訂單數據模擬訂單數據向Kafka集群發送訂單數據3.運行PaymentInfoProducer類生產數據模擬訂單數據向Kafka集群發送訂單數據4.Kafka消費數據32小結熟悉訂單數據掌握向Kafka發送數據通信數據分析與實戰綜合案例-Spark實時交易數據統計第九章第5節34掌握分析訂單數據學習目標TARGET模塊開發-分析訂單數據針對Kafka中的實時訂單數據，采用SparkStreaming實時計算框架對訂單中不同商品的成交額統計分析，將分析出的數據按業務需求保存至Redis數據庫。模塊開發-分析訂單數據1.配置Jedis操作Redis數據庫在項目的資源目錄創建perties配置文件，用于配置Redis數據庫；在scala目錄的cessdata包下創建RedisClient客戶端類，用于讀取配置文件中Redis參數；在cn.it.util包中，創建JedisUtil工具類，用來操作Redis數據庫。2.SparkStreaming處理數據在cessdata包下創建StreamingProcessdata類，用于SparkStreaming處理Kafka集群中的數據，并保存至Redis數據庫中。模塊開發-分析訂單數據3.測試系統是否能夠正常工作運行數據分析類StreamingProcessdata和數據生產類PaymentInfoProducer，通過Redis客戶端查看數據，發現數據已經存至Redis中。38小結掌握分析訂單數據通信數據分析與實戰綜合案例-Spark實時交易數據統計第九章第6節40掌握搭建Web開發環境掌握數據展示流程學習目標TARGET模塊開發-數據展示1在pom.xml配置文件中，添加開發JavaWeb工程所需的Spring框架相關依賴；2在web.xml配置文件中，配置Spring監聽器、編碼過濾器和SpringMVC前端控制器以及指定springmvc.文件路徑；3在springmvc.xml配置文件中，配置Controller層和Service層的包掃描、注解驅動、視圖解析器及資源映射。搭建Web開發環境模塊開發-數據展示1創建GetDataService類，用于實現讀取Redis數據。2創建UiBean類，將Redis數據庫中的數據封裝為UiBean對象，即展示頁面時所需數據字段。3創建IndexController類，便于三層架構以接口的形式互相調用。4創建UiWeb