大數據運用案例分析目錄大數據概念1大數據處置方法2大數據運用案例31大數據概念大數據時代到來隨著智能手機的普及，網民參與互聯網產品和運用各種手機運用的程度越來越深，用戶的行為、位置、甚至身體生理等每一點變化都成為了可被記錄和分析的數據，數據量呈現爆炸式增長。地球上至今總共的數據量：在2006年，個人用戶才剛剛邁進TB時代，全球一共新產生了約180EB的數據；據IDC研討機構預測：到2020年，整個世界的數據總量將會增長44倍，到達35.2ZB〔1ZB=10億TB〕！1PB=2^50字節1EB=2^60字節1ZB=2^70字節GB在2021年，這個數字到達了1.8ZB。TBPBEB ZB01大數據的構成大數據=海量數據〔買賣數據、交互數據〕+針對海量數據處置的處理方案海量買賣數據：企業內部的運營買賣信息主要包括聯機買賣數據和聯機分析數據，是構造化的、經過關系數據庫進展管理和訪問的靜態、歷史數據。經過這些數據，我們能了解過去發生了什么。海量交互數據：源于Facebook、Twitter、微博、及其他來源的社交媒體數據構成。它包括了呼叫詳細記錄CDR、設備和傳感器信息、GPS和地理定位映射數據、經過管理文件傳輸ManageFileTransfer協議傳送的海量圖像文件、Web文本和點擊流數據、科學信息、電子郵件等等。可以告訴我們未來會發生什么。海量數據處置：大數據的涌現曾經催生出了設計用于數據密集型處置的架構。例如具有開放源碼、在商品硬件群中運轉的ApacheHadoop。注：大數據不僅僅指的是數據量龐大，更為重要的是數據類型復雜想駕馭這龐大的數據，我們必須了解大數據的特征。02大數據4V特征03構造化數據、半構造化數據和非構造化數據如今的數據類型早已不是單一的文本方式，網絡日志、音頻、視頻、圖片、地理位置信息等，對數據的處置才干提出了更高要求實時獲取需求的信息比如：在客戶每次閱讀頁面，每次下訂單過程中都會對用戶進展實時的引薦，決策曾經變得實時數據量宏大全球在2021年正式進入ZB時代，IDC估計到2020年，全球將總共擁有35ZB的數據量沙里淘金，價值密度低雖然數據量很大，但是價值密度較低，如何經過強大的機器算法更迅速地完成數據價值“提純〞，是目前大數據亟待處理的難題大數據產品市場價值處理方案轉化1.海量〔Volume〕3.速度〔Velocity〕4.價值〔value〕2.多樣〔Variety〕2大數據處置方法用戶畫像體系01每個企業都不可以防止的要對用戶進展畫像，用戶畫像的提出，根本上是源于企業對用戶認知的需求。產品經理，需求了解用戶的特征，對產品進展功能的完善。內容運營人員，需求挑選目的用戶，對內容進行精準投放。活潑程度如何？年齡分布、區域分布是什么樣的？消費習慣和特征是什么？公司在哪？對什么感興趣？常去的商圈是哪兒？贏利點在哪？職業是什么？常住地在哪兒？購買才干如何？根本特征？用戶畫像體系02駕駛行為數據將構建精準的車險用戶畫像性別年齡國籍地理位置開車地點職業駕照類別開車頻率開車緣由健庩情況醫療條件感知力學習周期消費習慣民族特征教育程度婚姻形狀共用車輛情況生活方式運用藥物情況酒駕閱歷疲勞駕駛收入情況碰撞事故車輛維修犯罪記錄違章駕駛記錄駕駛時間經過對用戶不同維度的大數據分析，最終得出可執行的業務決策。根本屬性行為習慣購買才干心思特征社交網絡興趌喜好基于機器學習的數據發掘及分類根本識別流程03訓練樣本數據源分詞特征選擇特征權重計算模型訓練是模型評價能否經過待預測類別文本庫文本打上類別標簽否訓練及測試過程預測過程訓練生成的模型訓練生成的模型待預測類別文本原始庫數據預處置訓練樣本庫數據預處置a.去除營銷博文干擾b.去除提及人的干擾〔@〕c.去除如門戶的作者的干擾大數據的處理04數據去重空值處置數據去噪格式一致對齊交融交融信息數據庫交融信息數據庫里程數據工況數據充電數據行駛軌跡車輛信息將空值更改為對應的默許值運用UGC算法去除無用數據運用基于密度的聚類去除異常數據將多源異構數據轉換為一致數據表達方式去除異常的數據項會聚多源異構數據中的一致部分數據發掘分類的過程3大數據運用案例大數據是做好音樂平臺的一把利器01爽歪的麻雀，在電線桿上裸睡削個椰子皮，他卻TM給個梨撒米拉帶帶，哇嘎哇嘎哎喲想聽的歌記不起名字？？？呀馬大叔與小舅舅四斤大豆，三根皮帶艾薇，莎啦啦，艾瑞噢喔噢喔，手剎多情咱切抱劉繼芬鋼鐵鍋，含眼淚喊修瓢鍋啊瑞寧瑞寧瑞寧瑞寧瑞寧產品競爭04*聽歌進入社交化時代，聽歌單、聽歌看評論成為流行聽歌行為；*個性化引薦已覆蓋多數聽歌用戶，越來越多用戶經過個性化引薦發現好音樂；*聽歌進入多元化時代，民謠、電音、二次元音樂崛起；*獨立音樂人迅速崛起，社交互動助推音樂人漲粉；*90后已成為音樂消費主力人群；*用戶付費認識明顯提高，付費會員數和數字專輯售賣增長迅猛；*綜藝影視對音樂的影響照舊強大，搶手歌曲中7成來源于綜藝或影視；*偶像流行樂堅持高熱度，歐美歌曲受眾提升；*音樂市場正在構建一種新的評價體系，評論數成為歌曲熱度重要評價目的；*男歌手受喜歡度高于女歌手，女性歌迷消費群體經濟崛起；截至2021年7月呈現2億音樂用戶聽歌行為以及2萬音樂人活潑行為用戶分析05目標用戶細分群體用戶特征需求音樂消費者

學生年輕，時間寬裕，喜歡新鮮，愛評論愛分享愛展示，有個性1、個性化推薦音樂2、對音樂有評論等互動行為3、分享展示喜歡的音樂白領時間碎片化，有一定壓力，會關注娛樂界動態4、迅速找到喜歡的音樂5、推薦潮流音樂6、有明星動態IT從業者壓力大，需要更多消遣和心理慰藉

時尚人士熱愛音樂和潮流，有個性7、分享自己的口味主要需求〔音樂消費者〕1、播放音樂2、發現音樂〔喜歡的、特別的、潮流的〕3、展現自我，有基于音樂的互動。—目的用戶：熱愛音樂，對音樂有較高需求的高素質年輕人群。用戶分析05—目的用戶：熱愛音樂，對音樂有較高需求的高素質年輕人群。經過數據可以發現網易云音樂用戶群中19-30歲年齡段用戶最多，占比到達48%，整體用戶群偏年輕化。職業分布：學生和IT從業者占據絕大用戶群，企業中高層管理人員所占比例最少，另外的專業任務人員所占比例區別不大，用戶群體整體受教育程度普遍較高。05目標用戶細分群體用戶特征需求音樂內容產生者

音樂人/DJ作品找不到渠道，希望建立個人品牌，更好的運營個人品牌1、傳播自己的音樂，讓更多的人知道2、與粉絲有互動歌手有一定知名度，有粉絲基礎3、進一步提高知名度，吸引更多粉絲唱片公司商業機構，營利是最重要的目的。4、提高收入音樂愛好者喜歡分享音樂，評論音樂5、希望得到更多展示（專欄）主要需求〔音樂內容產生者〕1、宣傳音樂〔新歌、特別的口味〕2、宣傳個人品牌〔演播廳、采訪直播、互動等〕3、盈利〔版權收費、會員收費等〕用戶分析—目的用戶：〔內容產生者是活潑音樂社區的關鍵〕用戶分析05用戶分析0502引薦歌單—3種引薦維度和2種引薦算法經過微信微博等社區軟件進展傳播分享網易音樂編輯人員人工引薦的歌單和電臺。朋友引薦人工引薦經過大數據分析計算后的智能引薦歌單智能引薦以人為本算法以歌為本算法“喜歡這首歌的人，也喜歡XX〞喜歡：點擊“喜歡〞、評論、下載、收藏到歌單的人所聽歌曲的標簽在其它歌曲也包含那么引薦該歌曲02計算公式潛在因子〔LatentFactor〕算法：這種算法是在NetFlix〔沒錯，就是用大數據捧火<紙牌屋>的那家公司〕的引薦算法競賽中獲獎的算法，最早被運用于電影引薦中。這種算法在實踐運用中比如今排名第一的@邰原朗所引見的算法誤差〔RMSE〕會小不少，效率更