面向地理場景的人工

智能技術軟件技術研究所-智慧地理研究室目錄/Contents01020304背景概述研究目標技術架構能力應用01

背景概述人工智能領域發展趨勢起于1950年，計算機象棋博弈，期間經歷了3次冰期，2010年，Alex

Net

大賽獲得成功，近十年快速發展并應用到多個領域。面向地理場景的人工智能技術（GeoAI）2017年，學術界開始興起對GeoAI技術的關注，2018年開始逐步產業轉化。GeoAI的現狀與發展趨勢如何高效地實現土地利用數據自動化辨識與分類？如何實現多種城市空間數據智能分析研判？GIS在技術發展中遇到的問題將AI應用到GIS中解決問題并創造新的價值——GeoAI空間數據融合地理數據采集空間數據分析城市空間感知計算機視覺傳統數據分析深度學習增強學習人工智能機器學習GeoAI的現狀與發展趨勢2019年，中國人工智能市場規模將近280億元。預計在2023年，AI市場將達到1200億。其中GeoAI，作為支撐智慧城市、智慧安防、智慧公安的特色應用，蘊藏在其中，市場潛力巨大。國內外從事GeoAI的研究機構主要有：武漢大學、北京航天航空大學、浙江大學，從事GeoAI的研發企業主要有：ESRI和SuperMap，鮮有應用廠商開展GeoAI往一般項目應用，近三年將成為熱點。在未來的五年AI+GIS將逐步走向成熟，市場前景廣闊。GeoAI的主要研究方向：計算機視覺

深度學習

空間分析

大數據技術面向地理場景的人工智能技術（GeoAI）業務需求GISAIGeoAI產品模塊++應用開發+ （協作） =060100聚焦主營業務、分兩階段、第一階段重應用、第二階段立特色掌握階段 應用階段 提升階段第一階段第二階段同行競品1

同行競品280團隊簡介智慧地理研究室由國圖研究生工作站構成，主要依托虛擬地理環境教育部重點實驗室。地理學國家雙一流專業，學科排名僅次于北京大學、武漢大學。團隊規模20余人，包括4名教授級導師、3名博士、社招員工及碩士近20名，團隊始建于2014年。團隊定位面向地理場景的人工智能新技術、新產品研發。團隊簡介從工作中來，凝練提升，再到工作中去，10余篇發明專利。一種基于互聯網地圖地理編碼引擎的不動產登記數據脫敏與空間化方法;一種基于雙線性內插模型的不動產登記數據地理信息脫密方法基于機動站、固定站，圍繞目標檢測模型和空間定位技術，撰寫和申報專利。一種三維樓盤表建模方法；一種基于正切空間曲線的房屋分層分戶圖自動配準算法；一種面向分層分戶圖的多邊形擴展算法；基于YOLO-SLATC的固定站目標檢測與定位算法；《國土資源信息化》發表4篇文章；02

研究目標公司業務潛在需求分析視頻融合隨著海量視頻攝像頭日益被布設，

監控攝像被應用到城市的各個角落，面對復雜的視頻場景，

視頻監控圖像不再是我們傳統印象中的連續圖像畫面，而是可疊加地理信息的視頻地圖，

可疊加物聯網、業務數據等海量的數據庫，可進行人工智能分析的數據分析平臺，“視頻+地圖+人工智能”的全新時代已經到來！公司業務潛在需求分析實景融合基于三維地圖場景與監控視頻融合的系統，將部署在不同地理位置的多路實時監控視頻，與監控區域的三維模型進行校正配準，使用三維渲染技術，將實時視頻動態映射到三維模型中，生成大范圍監控區域的三維全景監控畫面。與傳統的單純獲取監控目標的實時音頻、視頻信息相比，繼承了三維空間信息的三維視頻監控系統在增強用戶空間意識、輔助用戶應急決策等方面將發揮更大的作用。公司業務潛在需求分析目標監測目標檢測是一種運用計算機視覺及機器學習相關算法,在圖片或者視頻序列中,檢測出感興趣目標并給出其位置及類別信息的技術方法。由于各類物體有不同的外觀，形狀，姿態，加上成像時光照，遮擋等因素的干擾，目標檢測一直是機器視覺領域最具有挑戰性的問題。目標檢測在很多領域都有應用需求，包括自動駕駛、增強現實、視頻監控安防以及基于目標檢測的結果進行空間分析等。公司業務潛在需求分析在“三調”業務中，以人工主導和機器輔助的作業方式已不滿足需求難以適應高速的城市化進程和深入的土地利用規劃傳統國土調查的弊端基于深度學習的影像分割影像分割通過基于深度學習的影像分割和分類技術，能夠快速實現高分辨率遙感影像的高精度分類（高效性），快速自動化的獲取各土地利用類型的邊界和定量化指標（準確性），全程人工參與度較少（經濟性）。還可以拓展應用到自然資源調查監測，國土空間規劃等領域。公司業務潛在需求分析。，軌跡跟蹤與定位軌跡跟蹤與定位是計算機視覺領域的重要研究方向之一,在智能視頻監控、人機交互、機器人導航和公共安全等領域有著重要的作用。目標跟蹤的基本問題是在一個視頻或圖像序列中選擇一個的目標,在接下來的連續幀中,找到該目標的準確位置并形成其運動軌跡。以跨境追蹤為例，根據行人的穿著、體態、發型等信息認知行人還可以與人臉識別技術結合能夠適用于更多新的應用場景，提供更加豐富的服務。人工智能領域發展趨勢實景融合影像分割GeoAI對象標注對象定位與軌跡跟蹤圖視融合WebGIS+3DGISGIS平臺數據庫數據爬取 數據科學 CV 深度學習應用框架前端開發人工智能技術03

研究架構技術架構以GIS+AI為目標，實現GIS+Python多源能力的技術棧組合內核應用基礎研發內容計劃基礎準備1臺電腦1個攝像頭一個室外地圖預計時間3個人月預期成果一套模型一套代碼一個專利視圖融合“圖”指二維地圖要素，如：圖斑；“視”指攝像頭視頻。基于計算機視覺特征匹配技術實現地圖要素投射到攝像頭視頻中，實現地圖與視頻融合。融合結果可以評價其融合的空間精度和隨距離擴大導致的精度誤差損失。應用攝像頭畫面粗方位點要素線要素配準實戰應用控制預設攝像頭畫面影像畫面刺點配準人工標注控制點研發內容實景融合“實景”指三維模型，如：三維傾斜攝影模型、三維城市建筑物模型、三維BIM

模型。將視頻拍攝的視頻畫面，抽取幀，

基于每幀的SIFT特征，從模型中尋找特征點，然后實現特征點匹配。最終，該功能實現將視頻融合投射到三維場景中，進而彌補現有基于攝像機擺設位置和姿態參數不準確導致的投射效果差的問題。計劃基礎準備1臺電腦1個攝像頭一個室內3DMax模型預計時間4個人月預期成果一套模型一套代碼一篇碩士論文一個專利研發內容目標檢測基于人工智能技術中的對抗神經網絡構建多特征組合的神經網絡，經多樣本采集、打標簽、訓練，形成模型成果。模型成果可以應用到城市建筑物、城市部件、城市攤點、地塊要素、行人等的多特征標簽提取。然后換算空間位置，實現對象的空間化表達。（1）面向小尺度的室內場景，通過目標檢測+視覺+多攝像頭BIM+立體人流量檢測與表達+視頻，面向地鐵公安，實現客流三維檢測。視頻 YOLO模型目標檢測錨點提取錨點提取預設機位投射參數錨點落地地理場景投射BIM模型客流三維檢測系統DEMO模型構建預設機位室內測量實施流程計劃基礎準備1臺DL電腦1個攝像頭1個BIM模型預計時間4個人月預期成果一套模型一套代碼一個可體驗的系統GTC大會現場體驗一個碩士論文一篇SCI研發內容對象標注（2）面向大尺度的室外場景：慧眼守土（預計采用無人機的方式采集4萬個樣本，其中有效樣本不低于2萬，訓練目標對象含：挖掘機/渣土車/工地板房/動土/鋼筋和磚瓦組合，應用于河道污染檢測、森林防火檢測和城市積水檢測等等。無人機采集多類型打標簽歷史樣本SSDYOLOFasterRCNN標簽易網站VOC2007數據集構建生成模型模型預測適應度評價超參調整模型服務API服務調取實施流程計劃基礎準備1臺DL電腦1個無人機預計時間4個人月預期成果一套模型一套代碼一個開工跡象服務研發內容影像分割基于SuperMap10i平臺，將深度學習影像分割技術應用到高分遙感影像上，實現三調地類變化識別和分析；面向大尺度的室外場景，定制三調一級大類（13類）的樣本數據，預計在北方和南方各找一個縣，分秋冬兩個季節，訓練出三調分類的通用模型。另外再找其他地區（2個縣）的數據做預測，判別本模型的效果。（13類*2個縣*2個季節+2個縣預測）數據收集影像數據矢量數據數據質檢樣本分割模型訓練模型預測適應度評價調參三調地類分類地類合并歷史三調地類分類難點地類變化檢測支撐應用和數據生產其他圖層數據融入，如：微波遙感/Liadar模型改進服務API 輸出業務模型實施流程計劃基礎準備1臺DL電腦預計時間2-4個人月預期成果一套模型一套代碼一個碩士論文一篇SCI研發內容軌跡追蹤與定位多目攝像頭中目標對象的三維空間前方交會，反算人所在的空間位置，并根據對象標注實現對象ID化，模擬實現軌跡刻畫。針對軌跡結果評價精度變化。集成第三方廠商的應用。多粒度網絡架構。ResNet-50主干在res_conv4_1殘塊之后被分成三個分支:全局分支、part2分支和part3分支。在測試過程中，所有減少的特征被連接在一起作為行人圖像的最終特征表示。注意，在每個分支中，用于降維的1×1卷積和用于身份預測的全連接層并不彼此共享權重。從特征到特定損失函數的每條路徑代表一個獨立的監控信號。彩色效果最佳。多粒度網絡(MGN)

–網絡結構網絡邏輯直觀有效、易復現，易遷移。StructureInput:

384*128Base:

resNet-50Branchesfrom

res_conv4_1Global Branch &Part-NBranchStride?inresconv5_1blockFeature

Map

size(見下表格)Splitfeaturestomulit

stripesMax-pooling2048-dim->256-dimSoftmax & triplet jointtraning輸出成果基于Flask的GeoAI產品API服務（代碼模塊）GeoAI產品體驗發表發明專利3個集成到創新成果共享平臺階段性工作進展2.1.1技術研發---GeoAI服務自然資源調查監測“四位”包括：應用模式、技術架構、智能引擎、資源業務，“一體”即增效賦能。階段性工作進展2.1.1技術研發---國圖地理智能引擎技術架構設計上從目標用戶群出發，分而治之，形成：線上、線下服務模式兼容的技術架構體系。該技術架構實現了“B/S技術架構以監測微服務化為中心+C/S技術架構以影像數據高性能處理為中心。階段性工作進展2.1.1技術研發---國圖地理智能引擎以自然資源業務應用為抓手，形成“大規模樣本量、透視業務規則、持續學習更新”三大特色的地理智能引擎。階段性工作進展2.1.1技術研發---基于分類網絡的自然資源要素核查省級自然資源主管部門需定期對地方開展的土地復墾、退耕還林、不動產調查等工作進行進度和質量核查工作。此類省級核查工作的檢查區域明確，判斷標準清晰，適用于人工智能技術的自動判別，可以將待核查工作抽象成

“是不是”的判斷工作。階段性工作進展2.1.1技術研發---自然資源影像分割樣本庫構建多區域、多分辨率、多標簽樣本庫設計，目前已經和地信中心協調了60余個區縣的三調數據和3個區縣的年度土地利用變化數據，用于樣本構建。從公司自然資源優勢領域出發，構建面向自然資源調查監管業務的領域樣本庫。多區域多分辨率多標簽階段性工作進展2.1.1技術研發---基于影像分割網絡的自然資源要素提取開展了基于影像分割神經網絡（

如：

UN

ET

網絡、M

ask

RC

NN

網絡）的自然資源要素特征分類的技術研發，

已能對水系、林地、耕地、道路、農房和建設用地等要素進行分割，并形成了一套基于影像的要素特征分類提取技術流程和系列成果。階段性工作進展2.1.1技術研發---基于多時態影像建設用地動態變化監測將多年的遙感影像進行差值，然后傳入UN

ET

模型，

預測出來的柵格結果，并經過柵格簡化、柵格轉矢量、矢量數據優化等過程，

最后形成一套變化區域深度學習檢測矢量化結果。04

能力應用04-1

影像分割應用展示：影像分割+年度變化監測國圖自然資源影像特征智能提取平臺：

土地整理中心省級自動復墾核查第一階段：全省影像拼接第一階段：項目地塊裁剪功能開發第一階段:數據集制作第一階段:模型訓練與預測第二階段：復墾地塊在線判讀系統開發第二階段：驗證數據集制作制作(葛磊)第三階段:技術方案調優——驗證數據集重新制作在線系統及模型優化判讀結果統計上圖第一階段：深度學習助力耕地判讀第二階段：樣本集重新制作第二階段：模型問題分析與總結工程部署與應用第三階段:技術方案調優——工作流程重新設計第三階段:建立新的三調地類圖斑樣本數據集第三階段:自動化判讀模型成效總結第二階段：在線判讀系統的成效總結第二階段:模型訓練與精度評定第三階段:在線判讀系統成效總結項目轉化---支撐2地項目1

、配合政務中心，服務江蘇省廳土地整理中心，

開展增減掛和土地增補平衡全省26

萬個項目圖斑自動化判別耕地和非耕地工作，

此項工作成功后，后繼類似檢查類任務仍有多個。2

、配合政務中心，將影像分割Web

G

IS

系統集成到煙臺時空信息云平臺項目中。3

、《Geo

AI技術增效賦能自然資源調查監測業務》推文策劃審核中。土地整理中心省級自動復墾核查現使用2000張實際復墾圖斑進行精度評價，其中預測耕地準確率是88%，預測非耕地準確率在93%。準確區分出耕地/非耕地共884張。耕地預測準確率12%

預測正確數量88%預測錯誤數量93%7%非耕地預測準確率預測正確數量 預測錯誤數量8%總體預測準確率預測正確數量92%預測錯誤數量可自動化判讀比例達到44.2%，其深度學習模型準確率在91.8%。土地整理中心省級自動復墾核查針對人工分類數據，開發了針對復墾項目的在線分類網站，在線分類網站的人工分類速度可達到1000—1200張/小時，較傳統基于GIS軟件上的逐一判讀工作方式提升效率6倍。對改造過后的復墾核查項目流程，在確保任務準確率的前提下，按照預估整個復墾項目剩余14.5萬個，共需140-180人·時即可核查完畢。遙感影像數據待核查矢量待核查圖斑分深類度數學據習特征模糊數據在線分類網站04-2

目標檢測目標檢測基于100GB慧眼守土數據開展的標簽標定工作開發目標檢測在線體驗平臺，支持多類型開工跡象的檢測，實現目標檢測模型的優化，實現多模型串并聯，提升目標檢測的精度和效率。安排了4個研究生提取了2周，打標簽1周。最終提取有效的樣本數據量為3000多個。基于Google

2019

effectiveDet構建的目標檢測模型比當前SOTA小4倍、計算量少9倍，谷歌最新目標檢測器EfficientDet。目標檢測目標檢測應用接口文檔

V

0.1軟件技術研究所-智慧地理研究室功能描述精準識別"慧眼守土"各種開工跡象，服務自然資源全天候監管保護。接口調用說明接口版本V

0.1請求參數data=

{‘filename’:filename}files={‘image’:file}序號參數名稱參數

code類型是否必選備注1檢測圖片imagestrY需要檢測的圖片的base64

數據流，各種照片格式轉碼成base64

的即可。2圖片名稱filenamestrN輸出結果序號名稱類型參數

code備注1圖片名strfilename2圖片寬intwidth3圖片高intheight4檢測結果strresult0:沒有檢測出挖掘機1：檢測出挖掘機5結果圖片strresultImg帶有標注的

base64

圖片流6缺陷名稱strclass該模型檢測出的具體缺陷名稱7方框位置listposition[左上角

x,右上角

y，方框寬，方框高]8檢測類別strclass其他說明無接口調用示例基于gevent模型實現模型服務化；基于DOCK的方式實現離線部署；提供江陰、安徽桐城慧眼守土項目調用；目標檢測整體流程構建了多種建設用地施工跡象分類樣本數據，如：堆土、板房、堆磚、挖掘機、工程車輛等。目標檢測技術對于高塔攝像機所獲取到的視頻、圖片數據的智能化識別，相較于人眼識別具有更高的準確性和更快的識別效率。應用展示：目標檢測04-3

實景融合AR地圖面向智慧城市、公共安全的實景融合技術應用AR地圖設計與實現實景融合與AR地圖都是將視頻數據與地理空間數據融合展示。不同的是實景融合是在三維模型上融合視頻數據，而AR地圖是在視頻數據中融合點、線、面構成的空間數據。在實景融合的技術基礎上，將影像和DEM數據作為視頻的承載物與視頻數據融合，同時使用實體構建的方式，在攝像頭旋轉過程中動態加載與影像匹配的矢量數據，以減少系統的性能壓力，為面向自然資源監管等領域提供新的解決方案。RTSP/RTMPHLS人工建模地理空間數據實時視頻流數據三維數據模型標準計算機視覺三維GIS平臺視頻流標準技術支撐數據基礎應用領域面向智慧城城市領域面向公共安防領域面向自然資源監管領域設備傾斜建模點線面影像、DEM球機槍機融合應用碼流 模型數據矢量數據柵格數據商業客流分析城市全景還原輔助城市路徑規劃園區可視化管理地鐵、高鐵人流監測道路安全事故預警大型安保輔助決策重點安防區域布控違規建設開工監測自然資源保護監測生態環境污染監測

違法建設用地監測實景融合

AR地圖

地視頻與三維模型融合

視頻與矢量數據動態融合

理視 （x,y,z）

視頻融合DEM、影

空水平面

Pitch

ViewPoint TP頻 Direction

像

間正北方向融 場景 參數 實時聯動旋轉投射

融合

構建矢量實體

數構建GIS三維 求解視頻投射視角 視頻與影像動態合 據模型切片服務 視覺特征匹配 云臺設備PTZ值求解 DEM數據疊加影像

構建矢量數據服務與模型數據

H5S視頻傳輸

地理數據

視頻實現了二三維一體化GIS技術架構AR地圖延伸應用---地理圍欄面向自然資源、智慧城市、公共安全的AR地圖技術應用地理圍欄精度驗證與評價593米249米E=9米118米E=1米地理圍欄精度驗證與評價取測試點間隔約7米，緯度值保持不變，藍色為原始點，紅色為計算點，相機拍攝方向方向從左到右，點位，展示如圖所示，隨著視距變遠，原始點與計算點的誤差逐漸增大。地理圍欄精度驗證與評價04-4

其他應用部隊《訓練場三維建模及變化識別與更新》項目某戰區部隊《訓練場三維建模及變化識別與更新》項目的總體建設方案編制、實驗調研與預研、實地現場踏勘、實證報告編制、設計計算書編制。多源采集數據三維建模流程大尺度三維地理場景POS導入SIFT匹配Ransic去噪提取特征點深度構建關鍵特征點連接特征點加密空三解算 深度提取 Tin網構建

紋理貼賦紋理計算紋理貼賦緩存生成訓練場應用與管理基于雙目目標檢測與空間定位實時目標檢測與定位基于雙目目標檢測與空間定位地理目標識別與空間定位組合模型（YOLO-SITCOL）的構建與實現? 模型集成硬件設計兩臺可變焦槍式相機，實現雙目；雙目連接桿用于固定兩臺攝像機，代表攝影基線；固定桿用于將電動云臺固定在雙目連接桿上，實現電動云臺對相機姿態角的實時獲取；計算機用于連接攝像機，實現程序運行與遠程監控基于雙目目標檢測與空間定位整張監控像片邊界框信息、標簽、置信度YOLO模型(X,Y)識別框檢測格網分割中心點檢測地理目標識別與空間定位組合模型（YOLO-SITCOL）的構建與實現? 基于YOLO的地理目標識別模型基于雙目目標檢測與空間定位地理目標識別與空間定位組合模型（YOLO-SITCOL）的構建與實現? 空間坐標定位誤差因素分析針對坐標分量的誤差評估方法一般包括絕對誤差、相對誤差和中誤差。絕對誤差反應的是測量值對真值偏離的絕對大小，中誤差則多應用標準差的計算方法衡量觀測精度，主要反應一組值的精度。根據攝像機測距誤差估計公式，初步確定定位誤差因素包括如下幾個：投影中心到目標的距離雙目攝像機圖像的左右視差基線長度 焦距實景融合技術支撐某地公安大數據智慧服務中心實景融合技術已在國內多地支撐項目應用。實景融合2.0---三維空間中實時