1、精選優(yōu)質(zhì)文檔-傾情為你奉上大數(shù)據(jù)在交通方面的應(yīng)用周琦高德交通信息事業(yè)部數(shù)據(jù)架構(gòu)師課程前言大家好，非常榮幸能來(lái)這個(gè)大會(huì)跟各位同仁分享高德軟件在大數(shù)據(jù)交通方面應(yīng)用的成果和經(jīng)驗(yàn)。我下面就幾個(gè)問(wèn)題，就是說(shuō)高德軟件目前擁有哪些數(shù)據(jù)，以及高德交通現(xiàn)在怎么實(shí)時(shí)處理大數(shù)據(jù)、分析大數(shù)據(jù)和交通報(bào)告、數(shù)據(jù)挖掘的一些經(jīng)驗(yàn)。一、高德交通擁有哪些數(shù)據(jù)先說(shuō)高德，高德本身是一家地圖軟件起家的，一家是純粹的傳統(tǒng)測(cè)繪企業(yè)，我們是中國(guó)最早一批獲得測(cè)繪資質(zhì)的公司。開始我們做全國(guó)地圖數(shù)據(jù)的采集，然后我們開始是面向行業(yè)用戶，后來(lái)慢慢面向公眾服務(wù)，包括現(xiàn)在的高德地圖幾乎是我們?cè)谑謾C(jī)終端上最常用的幾種導(dǎo)航軟件之一。因?yàn)槲覀優(yōu)楣娞峁?dǎo)航服務(wù)

2、的話就離不開對(duì)交通信息數(shù)據(jù)的使用。高德開始從事交通信息比較早，在2007年的時(shí)候就開始投入資源，來(lái)做全國(guó)交通信息的采集和發(fā)布。當(dāng)時(shí)城市還沒有現(xiàn)在這么堵，但是我們發(fā)現(xiàn)交通日益成為對(duì)公眾出行體驗(yàn)影響很大的方面，所以我們就和全國(guó)很多大廠商進(jìn)行合作。我們采用置換、給買的方式，獲取他們包括出租車、物流車GPS的數(shù)據(jù)。所以到現(xiàn)在的話，我們基本上已經(jīng)能夠?qū)θ珖?guó)110多個(gè)城市，以及全國(guó)高速路網(wǎng)發(fā)布交通信息。大家可以看到，我們拿的高德地圖打開，基本上全國(guó)范圍都可以覆蓋一些路況，包括高速公路上的擁堵也可以很快的反映出來(lái)，全國(guó)高速覆蓋能力超過(guò)90%，我們最近也發(fā)布了高德的一些交通報(bào)告。我這里面所說(shuō)到的大數(shù)據(jù)，目前所

3、說(shuō)的大數(shù)據(jù)主要是針對(duì)采集的浮動(dòng)車回傳數(shù)據(jù)，但是整個(gè)高德集體并不止這些數(shù)據(jù)。高德包括其他的業(yè)務(wù)，我們有包括用戶的定位，用戶的訪問(wèn)以及很多的地圖數(shù)據(jù)，這些都沒囊括在內(nèi)。但是就我們采用的浮動(dòng)車數(shù)據(jù)已經(jīng)很大了，我們每天會(huì)采集數(shù)十億次的GPS的回傳，折算成公里程大概是100億公里的里程。我們現(xiàn)在的數(shù)據(jù)來(lái)源主要分成兩種，一種是手機(jī)終端導(dǎo)航的回傳，還有一種是我們以前采購(gòu)的一些行業(yè)出租車，包括物流車輛的一些數(shù)據(jù)。他們這些回傳數(shù)據(jù)對(duì)于我們發(fā)布交通信息非常有用，上午的時(shí)候發(fā)改委陳主任就提到了，我們采購(gòu)這些數(shù)據(jù)可能面臨著成本的問(wèn)題。確實(shí)，我們?cè)诓少?gòu)，一家一家的談合作，我們就是為了打造更好的交通信息。二、如何實(shí)時(shí)處理

4、數(shù)據(jù)所以說(shuō)我們現(xiàn)在通過(guò)這些海量的數(shù)據(jù)，數(shù)十億次的數(shù)據(jù)已經(jīng)能做一些東西了。我們拿到了這些數(shù)據(jù)，對(duì)我們管理的數(shù)據(jù)來(lái)說(shuō)，其實(shí)提出了一個(gè)很大的挑戰(zhàn)。剛才說(shuō)到大數(shù)據(jù)所謂傳統(tǒng)的5V，我們有非常強(qiáng)大的數(shù)據(jù)，但是如何管理和使用這些數(shù)據(jù)，提取出它們的價(jià)值，是我們現(xiàn)在正在做的事情。這里面當(dāng)然覆蓋的比較廣了地包括如何采集、管理、應(yīng)用、挖掘，這個(gè)進(jìn)來(lái)我們都會(huì)覆蓋到。這是我們現(xiàn)在大塊的存儲(chǔ)架構(gòu)，高德2014年被阿里巴巴集團(tuán)全資收購(gòu)了，所以說(shuō)進(jìn)入了阿里集團(tuán)之后，我們對(duì)大數(shù)據(jù)的處理和基礎(chǔ)架構(gòu)的能力也得到了提升，現(xiàn)在高德所有用戶的回傳數(shù)據(jù)都已經(jīng)進(jìn)入了阿里的云系統(tǒng)，包括ODPS和實(shí)時(shí)計(jì)算平臺(tái)，已經(jīng)應(yīng)用到了我們的業(yè)務(wù)之中。然后我

5、們能夠?qū)@些用戶回傳的數(shù)據(jù)，我們可以提取什么樣的價(jià)值呢？目前我們一看到導(dǎo)航，第一想到的是打開地圖軟件，看到路上有紅、黃、綠，包括之前很多同仁都介紹了一些路況的探測(cè)和實(shí)時(shí)采集的信息，這些目前是高德最典型的應(yīng)用。但是用戶打開地圖不是為了看紅黃綠，而是要指導(dǎo)出行，所以我們重要的是要結(jié)合交通路況，給用戶定制，節(jié)約他的出行成本的方案。我們的交通路況是怎么得到的呢？我們交通路況是實(shí)時(shí)回傳，通過(guò)每秒鐘回傳數(shù)萬(wàn)的GPS，再實(shí)時(shí)的進(jìn)行快速的流轉(zhuǎn)，進(jìn)行實(shí)時(shí)計(jì)算，我們還要迅速的把交通信息發(fā)布到用戶的終端，由終端感知到，并且能夠在導(dǎo)航中進(jìn)行應(yīng)用，然后才能創(chuàng)造出價(jià)值。大家可以看這兩個(gè)示例，這是三環(huán)路比較擁堵的時(shí)候，現(xiàn)高

6、德有個(gè)導(dǎo)航方案，我們會(huì)建議他走另外的方案，可以為他節(jié)省更多的時(shí)間。而且我們也有實(shí)時(shí)的一些路況事件的結(jié)合，有多元的數(shù)據(jù)，除了回傳GPS數(shù)據(jù)，還有交通實(shí)踐，用戶上傳的和大數(shù)據(jù)采購(gòu)的一些事件，如果突然間前方發(fā)生了道路的封閉，或者說(shuō)有車輛碰撞，我們也會(huì)在導(dǎo)航中盡量為用戶規(guī)避這種不便。這是我們通過(guò)從大數(shù)據(jù)的采集到處理、計(jì)算，到最后的應(yīng)用，可以說(shuō)我們已經(jīng)初步為解決中國(guó)城市地面道路擁堵問(wèn)題做出了我們企業(yè)的貢獻(xiàn)。可以說(shuō)我們通過(guò)這種動(dòng)態(tài)的導(dǎo)航，其實(shí)我們不光解決實(shí)時(shí)交通信息，在導(dǎo)航的時(shí)候我們還會(huì)做一定的預(yù)測(cè)，結(jié)合實(shí)時(shí)加預(yù)測(cè)的方案，我們更加智能的引導(dǎo)著用戶的出行，讓他盡量規(guī)避擁堵的路段，以免加劇城市的擁堵。三、如何

7、運(yùn)營(yíng)分析大數(shù)據(jù)剛才提到了我們還有一個(gè)問(wèn)題，就是數(shù)據(jù)如何去運(yùn)營(yíng)，去管理，如何保證數(shù)據(jù)的準(zhǔn)確性其實(shí)是很大的難題。我們有這么海量的數(shù)據(jù)，對(duì)我們的管理能力提出了新的挑戰(zhàn)，我們不僅要發(fā)布交通信息，還要有實(shí)時(shí)驗(yàn)證數(shù)據(jù)的質(zhì)量，和已經(jīng)發(fā)布出來(lái)的路況準(zhǔn)確性。以前我們?nèi)ミM(jìn)行驗(yàn)證，實(shí)際上是很痛苦的事情，最傳統(tǒng)的方式是我們開一輛車出去，我們看是不是擁堵，這種傳統(tǒng)的方式耗費(fèi)的成本極大。我們現(xiàn)在基本上已經(jīng)是自動(dòng)化的測(cè)試了，偶爾有人工的路測(cè)，我們可以提取最有效的樣本，自動(dòng)化的根據(jù)現(xiàn)時(shí)發(fā)布的路況進(jìn)行自我的驗(yàn)證，然后監(jiān)控，一旦發(fā)現(xiàn)質(zhì)量極大的下降，或者說(shuō)數(shù)據(jù)表極大的下降，可以實(shí)時(shí)提供對(duì)運(yùn)營(yíng)人員進(jìn)行報(bào)警。而且對(duì)于地面交通其實(shí)我們要

8、解決好幾個(gè)問(wèn)題，離不開人、車、路。我們未來(lái)解決我們的運(yùn)營(yíng)，每天數(shù)十億的數(shù)據(jù)，每天下載有數(shù)百GP的數(shù)據(jù)，還要建立非常龐大的索引系統(tǒng)。這是我們調(diào)查這些問(wèn)題分析原因的系統(tǒng)，我們的運(yùn)營(yíng)人員也會(huì)接到投訴，某某路用戶擁堵了，但是我們發(fā)布的是暢通。這時(shí)候就要調(diào)查什么原因，是不是程序員寫的程序有漏洞，還是有什么特殊的原因就要去分析。所以我們就把每一條道路，可以計(jì)算出在每一條道路在當(dāng)時(shí)發(fā)布的一個(gè)情況，還有每一條道路上經(jīng)過(guò)哪些車，每一條車經(jīng)過(guò)這條道路的速度，我們都可以實(shí)時(shí)回調(diào)出來(lái)，供分析人員分析，到底是什么原因?qū)е铝诉@樣的結(jié)果。我們基本上是把人、車、路三者結(jié)合起來(lái)，而且還不是一個(gè)時(shí)間點(diǎn)，我們還要考慮在整個(gè)時(shí)間上，

9、我們發(fā)布路況是每?jī)煞昼娋鸵拢氯珖?guó)路網(wǎng)的交通信息狀態(tài)。大家知道全國(guó)路網(wǎng)，地圖行業(yè)一般是以路段進(jìn)行發(fā)布的，我們每2分鐘發(fā)布的路段是數(shù)十萬(wàn)個(gè)，索伊美兩三分鐘就會(huì)產(chǎn)生數(shù)十萬(wàn)個(gè)記錄，我們要解決人、車、路的索引問(wèn)題，還要解決時(shí)空上的索引的一個(gè)關(guān)心，便于我們回溯調(diào)查歷史上任何一個(gè)實(shí)時(shí)的狀況。四、如何進(jìn)行數(shù)據(jù)挖掘除了實(shí)時(shí)的一些應(yīng)用，我們還有一些要基于歷史數(shù)據(jù)的挖掘產(chǎn)生什么樣的價(jià)值。第一我們有數(shù)百GB每天的GPS記錄，針對(duì)這些我們有一些什么樣的應(yīng)用呢？這只列舉了我們一個(gè)方面的數(shù)據(jù)，一個(gè)是根據(jù)GPS回傳點(diǎn)看到用戶的運(yùn)行軌跡，就可以知道每天用戶大概走過(guò)了什么樣的路，反饋出來(lái)。而且通過(guò)這些路之后可以打造交通軌

10、跡，可以與路網(wǎng)和大數(shù)據(jù)計(jì)算，跟我們的數(shù)十萬(wàn)的路網(wǎng)進(jìn)行匹配。最后我們會(huì)得出每一輛車經(jīng)過(guò)每一條路的速度、停車或者是轉(zhuǎn)向這些信息，這樣的話為我們后面的分析都會(huì)提供一些決策。這里面的多位分析包括很多種，我們每一條路大概是在什么時(shí)候容易出現(xiàn)擁堵，每個(gè)月，每天擁堵的概率和次數(shù)，以及每條路路左轉(zhuǎn)概率大還是右轉(zhuǎn)概率大，這在我們的數(shù)據(jù)場(chǎng)所中都會(huì)記錄下來(lái)，這是極大的財(cái)富，對(duì)我們城市的決策和后續(xù)的專業(yè)的分析會(huì)提供非常大的幫助。其他的一些應(yīng)用，像數(shù)據(jù)倉(cāng)庫(kù)之外還有別的應(yīng)用，高德是測(cè)繪行業(yè)起家的。我們不光是要解決實(shí)時(shí)交通的問(wèn)題，我們還要連到我們的道路路網(wǎng)。對(duì)于地圖里說(shuō)，尤其是路網(wǎng)的采集，對(duì)我們的地圖測(cè)繪行業(yè)提出了很大的挑

11、戰(zhàn)。我得知道在哪些地方發(fā)生了什么情況，有一些新建的路，或者說(shuō)一個(gè)道路屬性發(fā)生了變化，我們還用大數(shù)據(jù)結(jié)合在路網(wǎng)進(jìn)行一個(gè)新路的發(fā)現(xiàn)，左邊是我們用手機(jī)數(shù)據(jù)發(fā)現(xiàn)出來(lái)的，應(yīng)用這些舊的路網(wǎng)產(chǎn)生的新的路，可以提供一些情報(bào)。傳統(tǒng)的我們是派輛車出去漫無(wú)目的的跑，也有可能采集重復(fù)的道路，現(xiàn)在我們做了更精準(zhǔn)的道路數(shù)據(jù)的采集。如果有一些邊遠(yuǎn)山區(qū)的道路，我們直接可以測(cè)算出來(lái)，這是新路的識(shí)別。還有對(duì)傳統(tǒng)的導(dǎo)航，用戶端通信能力的判斷，我們知道北京有很多小胡同，不光北京，上海也有。有些小胡同，如果我們把用戶導(dǎo)在里面，用戶就會(huì)非常傷心，極大的傷害了用戶。所以我們通過(guò)交通流量數(shù)據(jù)探測(cè)，那些是路況通行能力比較難以行駛的道路，我們會(huì)把這部分找出來(lái)，加入到導(dǎo)航算法里，即使主路發(fā)生擁堵，也不建議用戶到小巷子里去，否則會(huì)給用戶很壞的體驗(yàn)。比如說(shuō)紅色這條道路，相比上面來(lái)說(shuō)有數(shù)萬(wàn)輛通行車，為什么這條路只有二十多輛通行車次呢？那我們就覺得他是非常小的路，我們實(shí)際檢查之后發(fā)現(xiàn)確實(shí)是如此。一開始一些道路情況還不錯(cuò)，但是因?yàn)闀r(shí)間的救援，路旁可能停了各種的小車，導(dǎo)致通行能力急劇下降，這是以前傳統(tǒng)手段很難發(fā)現(xiàn)的，現(xiàn)在可以通過(guò)大數(shù)據(jù)解決。五、交通報(bào)告如何出爐此外，2014年高德也發(fā)布了中國(guó)全國(guó)交通的交通報(bào)告，我們對(duì)全國(guó)各地的城市擁堵情況進(jìn)行了分析，有點(diǎn)像上午介紹的交通指數(shù)。我們就是想從時(shí)間點(diǎn)上，對(duì)每個(gè)城市和中心城區(qū)的行車延遲