基于哈希技術(shù)的跨模態(tài)數(shù)據(jù)檢索方法評(píng)測(cè)對(duì)比研究開題報(bào)告一、研究背景及意義隨著“萬物互聯(lián)”及“互聯(lián)網(wǎng)+”的大力發(fā)展，圖像、文本、視頻和音頻等多模態(tài)數(shù)據(jù)隨處可見，數(shù)據(jù)規(guī)模呈現(xiàn)爆炸式增長(zhǎng)。例如，F(xiàn)acebook有接近19億的月活躍用戶，他們每小時(shí)分享的圖片可達(dá)上千萬張，Youtube每天上傳視頻大約有6萬小時(shí)。用戶每天都會(huì)接觸到如此海量的多模態(tài)數(shù)據(jù)，如何從中快速檢索到所需要的信息，已經(jīng)成為迫在眉睫的問題。許多高科技企業(yè)對(duì)此做出了不懈努力，比如谷歌和百度等搜索引擎巨擘在原來基于文本的檢索服務(wù)下，相繼推出了以圖識(shí)圖等應(yīng)用，阿里巴巴在圖片這一垂直領(lǐng)域推出了拍立淘等應(yīng)用。數(shù)據(jù)檢索的核心是最近鄰檢索問題，即已知一個(gè)待檢索數(shù)據(jù)，并給定一個(gè)多媒體數(shù)據(jù)集，首先采用一定的方法計(jì)算出待檢索數(shù)據(jù)和數(shù)據(jù)集中所有數(shù)據(jù)的距離，然后返回和待檢索數(shù)據(jù)最近的前若干個(gè)數(shù)據(jù)即可。由于嚴(yán)格解決最近鄰檢索需要線性掃描整個(gè)數(shù)據(jù)集，實(shí)際應(yīng)用中為了提高運(yùn)行效率，通常使用近似最近鄰檢索。傳統(tǒng)的近似最近鄰方法主要基于樹結(jié)構(gòu)。當(dāng)數(shù)據(jù)維度較高時(shí)，這種方法的時(shí)間和空間復(fù)雜度呈現(xiàn)指數(shù)增長(zhǎng)，其檢索效率嚴(yán)重下降。近年來，基于哈希的近似最近鄰檢索方法[7,8]憑借對(duì)海量高維數(shù)據(jù)的高效處理能力受到廣泛關(guān)注。哈希檢索的本質(zhì)是將高維的數(shù)據(jù)用少量位數(shù)的二進(jìn)制碼表示，即把數(shù)據(jù)投影到漢明空間，然后利用這些二進(jìn)制碼進(jìn)行最近鄰檢索。該過程中最重要的是對(duì)二進(jìn)制碼進(jìn)行有效約束，使其能夠保持原始高維數(shù)據(jù)間的相似性關(guān)系。由于漢明空間由緊湊的0、1數(shù)值組成，通過異或操作和位運(yùn)算就能得出漢明距離（HammingDistance），所以哈希檢索具有較快的檢索速度。另外，由于二進(jìn)制碼維度較低，所以哈希檢索只需要少量的存儲(chǔ)空間。然而，目前檢索任務(wù)除了存在數(shù)據(jù)量大和維度高這兩個(gè)問題，還面臨多模態(tài)特性。對(duì)應(yīng)同一主題或事件，通常有不同模態(tài)的信息對(duì)其進(jìn)行描述。而在這些多模態(tài)數(shù)據(jù)間進(jìn)行跨模態(tài)檢索變得越來越普遍。跨模態(tài)檢索能夠幫助人們從不同的視角認(rèn)識(shí)事物，對(duì)人們了解世界、事件具有十分重要的意義。由于不同模態(tài)數(shù)據(jù)的底層特征差異巨大，如何獲取具有高級(jí)語義的特征，以便將具有相同語義的多模態(tài)數(shù)據(jù)耦合起來，成為跨模態(tài)哈希檢索的難點(diǎn)。二．國內(nèi)外研究現(xiàn)狀隨著互聯(lián)網(wǎng)時(shí)代的到來，信息的存儲(chǔ)和檢索變得更容易實(shí)現(xiàn)。信息檢索這個(gè)概念誕生于20世紀(jì)50年代，信息檢索通常被認(rèn)為是處理信息的表示、存儲(chǔ)和訪問的計(jì)算機(jī)科學(xué)的子領(lǐng)域。過去幾十年來，信息檢索技術(shù)的便捷性惠及到越來越多的人，每一天都有許多檢索系統(tǒng)被大量的用戶使用，現(xiàn)在人們也習(xí)慣于利用互聯(lián)網(wǎng)的搜索引擎來檢索想要的信息。信息檢索系統(tǒng)的提出主要就是為了幫助管理大型數(shù)據(jù)。在這個(gè)大數(shù)據(jù)時(shí)代，信息檢索的重要性不言而喻。如今信息檢索已被應(yīng)用到各個(gè)領(lǐng)域，主要有數(shù)字圖書館、搜索引擎、多媒體檢索。信息檢索通常涉及到從大型數(shù)據(jù)庫中搜索和檢索信息。信息檢索是表述、存儲(chǔ)和搜索數(shù)據(jù)集合的過程總和，其目的為了挖掘知識(shí)信息，響應(yīng)用戶的檢索請(qǐng)求。信息檢索的實(shí)現(xiàn)過程一般包括以下步驟：1.抽取信息的關(guān)鍵信息，以摘要或者更簡(jiǎn)潔的形式將信息存儲(chǔ)在數(shù)據(jù)庫中。2.對(duì)比用戶輸入的關(guān)鍵信息與數(shù)據(jù)庫中的關(guān)鍵信息，篩選掉無關(guān)信息，并將相關(guān)信息按照相關(guān)強(qiáng)度系數(shù)排序。一個(gè)信息檢索系統(tǒng)有三個(gè)基本過程：信息文檔的表示；用戶的需求信息的表示；兩個(gè)表示的匹配。圖1展示一個(gè)基本的信息檢索過程，圖中直角方框表示數(shù)據(jù)，圓角方框表示處理過程。從上圖1能夠看出，信息檢索過程中有兩個(gè)重要的處理過程：原始信息文檔的索引化和用戶需求信息的公式化。哈希方法一直是索引化方法的一種重要方法，它能在最大限度保持每個(gè)文檔的關(guān)鍵信息的同時(shí)極大的減小原始文檔所需要的存儲(chǔ)空間。而且哈希方法在檢索時(shí)的匹配速度也是它的一大特優(yōu)勢(shì)。本文主要的研究目標(biāo)就是基于哈希的思想提出一種新的信息檢索方法。MessinaA等人在2015年NIPS會(huì)議上提出了一個(gè)基于深度置信網(wǎng)絡(luò)的多模態(tài)深度學(xué)習(xí)算法來學(xué)習(xí)多模態(tài)數(shù)據(jù)之間的共享表示，從而實(shí)現(xiàn)多模態(tài)檢索。該方法利用深度置信網(wǎng)絡(luò)的降維與重構(gòu)數(shù)據(jù)的特性，先針對(duì)不同的數(shù)據(jù)模態(tài)，訓(xùn)練出針對(duì)各個(gè)模態(tài)的不同的DBN，再在每個(gè)DBN的最后一層之上，加上一個(gè)隱層，利用受限玻爾茲曼機(jī)的特性來訓(xùn)練一個(gè)有雙可視層的受限玻爾茲曼機(jī)，最后將該隱層視為不同模態(tài)數(shù)據(jù)的共享表示。LiK等人于2015年ICCV會(huì)議上提出基于卷積神經(jīng)網(wǎng)絡(luò)的多模態(tài)網(wǎng)絡(luò)m-CNN。HaJW等人在2017年ACMICMR會(huì)議上提出了基于生成對(duì)抗網(wǎng)絡(luò)的多模態(tài)數(shù)據(jù)表示學(xué)習(xí)模型CGANs，該模型能夠?qū)崿F(xiàn)圖像文本交叉翻譯。臧虎等人在2015年的IJCAI會(huì)議上提出基于卷積神經(jīng)網(wǎng)絡(luò)的文本哈希模型。該模型中，作者首先將關(guān)鍵字特征嵌入到有局部保持約束的緊湊二進(jìn)制碼中，同時(shí)將詞語特征和位置特征一起輸入到卷積網(wǎng)絡(luò)中用來學(xué)習(xí)隱性特征，這些隱性特征將與顯性特征相結(jié)合來微調(diào)預(yù)訓(xùn)練的二進(jìn)制碼。該方法是基于文本的深度哈希代表方法。三、主要研究?jī)?nèi)容1緒論1.1研究背景及意義1.2研究?jī)?nèi)容及方法2跨模態(tài)哈希檢索2.1引言2.2多模態(tài)數(shù)據(jù)的特征提取2.2.1手工設(shè)計(jì)的特征提取2.2.2基于深刻學(xué)習(xí)的特征提取2.3常用的跨模態(tài)的哈希檢索方法3基于關(guān)聯(lián)耦合的跨模態(tài)哈希檢索3.1引言3.2基于關(guān)聯(lián)耦合的落寞太哈希檢索3.3實(shí)驗(yàn)結(jié)果與分析4基于深度耦合的跨模態(tài)哈希檢索4.1引言4.2基于深度耦合的跨模態(tài)哈希檢索4.3實(shí)驗(yàn)結(jié)果與分析總結(jié)參考文獻(xiàn)四、研究進(jìn)度1.2019年11月21日-12月10日，查閱相關(guān)資料，完成文獻(xiàn)綜述。2.2019年12月10日-12月15日，完成開題報(bào)告。3.2020年1月01日-2月3日，確定文章大綱，構(gòu)建論文框架體系。4.2020年2月5日-3月31日，完成文章初稿。5.2020年4月01日-4月30日，文章檢查、完善、修改、定稿。6.2020年5月01日-答辯前，文章最后完善與答辯準(zhǔn)備。參考文獻(xiàn)[1]馮方向.基于深度學(xué)習(xí)的跨模態(tài)檢索研究[D].2015.[2]石理想.結(jié)合ITQ的跨模態(tài)的多媒體信息檢索[D].2015.[3]劉卓錕,劉華平,黃文美,etal.視聽覺跨模態(tài)表面材質(zhì)檢索[J].智能系統(tǒng)學(xué)報(bào),2019,14(03):423-429.[4]邵曦[1],郁青玲[1].基于典型相關(guān)的音樂跨模態(tài)檢索[J].計(jì)算機(jī)技術(shù)與發(fā)展,2015(7):76-81.[5]宣瑞晟,歐衛(wèi)華,宋浩強(qiáng),etal.圖約束的半監(jiān)督對(duì)抗跨模態(tài)檢索方法研究[J].貴州師范大學(xué)學(xué)報(bào):自然科學(xué)版,2019(4):86-94.[6]劉瑤.融合CCA和Adaboost的跨模態(tài)多媒體信息檢索[D].2016.[7]臧虎.基于深層網(wǎng)絡(luò)的多模態(tài)特征融合問題的研究與應(yīng)用[D].北京郵電大學(xué),2015.[8]胡輝,胡松,黃思博,etal.海量跨媒體數(shù)據(jù)智能分析系統(tǒng)的研究[J].科技尚品,2016(5).[9]劉霄翔.異質(zhì)人臉識(shí)別理論與方法研究[D].2017.[10]金漢均,段貝貝.基于深度視覺特征正則化的跨媒體檢索研究[J].電子測(cè)量技術(shù),2018(12).[11]MessinaA,MontagnuoloM.Ageneralisedcross-modalclusteringmethodappliedtomultimedianewssemanticindexingandretrieval[C]//Proceedingsofthe18thInternationalConferenceonWorldWideWeb,WWW2009,Madrid,Spain,April20-24,2009.ACM,2009.[12]LiK,QiG,YeJ,etal.LinearSubspaceRankingHashingforCross-ModalRetrieval[J].IEEETransactionsonSoftwareEngineering,2016,PP(99):1825-1838.[13]HaJW,KimBH,LeeB,etal.LayeredHypernetworkModelsforCross-Modal[13]A