




版權說明:本文檔由用戶提供并上傳,收益歸屬內容提供方,若內容存在侵權,請進行舉報或認領
文檔簡介
深度卷積神經網絡中張量分解的CP與Tucker分解算法對比摘要張量是矩陣的高階推廣,是分析高維數據的有力數據,張量的研究主要集中在張量的特征值與張量分解兩大領域,目前針對張量分解的研究已經相當成熟,但是對于張量分解的矩陣分解、秩的估計、優化算法等還需要解決。本文首先對張量分解、深度神經網絡,CP分解和Tucker分解的概念做出了具體的界定,之后論文以張量分解在卷積神經網絡中的實際應用進行了探討。具體地,文本首先使用張量分解思想對Resnet卷積神經網絡進行分解,對FashionMNIST時尚數據集進行識別,驗證了分解過后的卷積神經網絡識別精度更好。實驗以貓狗大戰數據集作為訓練集,具體研究了張量分解中CP分解和Tucker分解的方法、代碼實現和訓練結果精確度,對其進行了深入的研究和探討,驗證了CP分解和Tucker分解的效率和準確性。關鍵詞:張量分解;卷積神經網絡;CP分解;Tucker分解;Python目錄1緒論 11.1研究背景及意義 11.2研究主要內容 12理論基礎 22.1張量縮并 22.2張量分解 22.3深度神經網絡 22.4CP分解 32.5Tucker分解 43代碼實現過程 63.1整體邏輯介紹 63.2訓練、測試數據的打包和處理 63.3CP分解和Tucker分解的實現 73.4主函數功能的實現 84結果分析 10結語和展望 16參考文獻 171緒論1.1研究背景及意義對于張量的研究主要集中于張量的特征值與張量分解這兩大領域。張量分解最初是由Hitchcock在上個世紀三十年代提出的[1],其研究有著上百年的歷史,所以張量分解相較張量特征值來說研究更廣泛也更久(陳思涵,張若琳,2022)。張量分解的應用可以追溯到盲源分離,即在未知源信號和系統混合參數的情況下,依據源信號的特性,僅從觀測的混合信號中分離或提取各個源信號的方法。盲源分離,高維數據的低維表示都對應于張量分解(方景軒,湯俊杰,2023)[2]。張量分解一般有兩大作用,其中之一就是通過分解的模式將復雜的數據進行分離和分析,具體提取數據中的特征點和描述;另一種則是通過低秩的不斷向高秩逼近來處理大量的數據,降低系統的處理壓力,以便能夠以更高精度同時更高效率地分析處理各類數據[3]。張量研究已取得一定的成果,但仍有較多亟待解決的問題(駱明哲,汪嘉誠,2021)。對于矩陣的特征值,有著明確的定義,但對于張量,存在多種特征值定義[4]。矩陣的秩有明確的物理意義,但張量的秩目前物理意義不明確。對于張量分解,因為對于張量秩的求解是一個NP-hard的問題[5],所以張量分解的研究大多是張量近似分解,但對于對稱張量的秩估計已經有了一定了理論基礎,針對對稱張量展開理論研究,利用優化算法[6],基于已確認的成果可推導出相關結論進行數值求解,對于一般張量的精確分解也是一個亟待解決的問題(程俊熙,鄒嘉豪,2021)。所以對張量分解在深度神經網絡中的具體分析和效率研究有著很重要的研究意義。1.2研究主要內容本論文研究的主要內容是在構建一個有效的深度神經網絡的基礎上,通過訓練集對該深度神經網絡進行訓練,之后利用張量分解的兩種算法:CP分解和Tucker分解算法分別進行訓練[7],通過對比兩種算法下的訓練時間、綜合性能等來評判兩種算法的優劣,最終得出張量分解在深度神經網絡模型中的具體應用和性能對比結果[8]。2理論基礎2.1張量縮并張量縮并是一種求跡的推廣,類似應力張量有9個分量,不變量是三個主應力[9]。通過張良縮并,研究者可以很好的將二階的不變量轉化為定值,這一定值具體指的是零階的不變量,這一方法一定程度上與求跡的方式是非常類似的,其中很顯著的一個例子就是黎曼曲率的縮并。同時,縮并是張量的一個上標和一個下標相同的運算,其結果是一個比原來張量低二階的新張量(靳志遠,何靜怡,2024)[10]。同時必須明確,這在一定程度上傳達不是所有張量都可以進行縮并的,例如最典型的無法縮并的張量就是協變或者逆變指標數目為0的張量。可見,縮并是協變和逆變的相互抵消(類似一順一逆,正好抵消)。因為是值之間的相互抵消,所以縮并后,張量的指標數都是少2N個,N是正整數。比如5階張量縮并,可以得到三階張量或者一階張量(李明軒,楊柳青,2019)[11]。2.2張量分解張量具體指的是一種高階的多變矩陣,它是將向量、矩陣和標量向跟高的階層推廣的結果。其中將標量、向量和矩陣分別被稱為零階、一階、二階張量[12],而更大的例如xI1…xIN張量盡管和微分幾何的關系最密切,但張量計算公式和矩陣計算公式很類似。很多理論基礎都是一樣的,比如線性空間、對偶坐標系[13],可以認為張量本質與線性代數有著異曲同工之妙(舒俊熙,秦正陽,2020)。此外,張量的指標可以根據實際需求具體變化,在此特定情境下事實昭然若揭其與周期和頻率的關系道理相同,指標的升高降低類似于用一個其他的坐標來代替原坐標,因此如果用對偶坐標系表示的話,它的順逆必須改變。這也就是協變指標和逆變指標的得名由來(程俊馳,屈明杰,2019)[14]。2.3深度神經網絡深度神經網絡是機器學習領域中一項很常用的技術,也是深度學習的基礎內容之一。如果想要模擬人腦的運算,使用單個的神經元是遠遠不夠的,需要多個神經元之間的協調操作,多個神經元通過特定的方式進行連接就構成了神經網絡(周羽,陳慧玲,2021)。神經網絡具體是一種基于感知機的向外擴展[15],而深度神經網絡具體就是將很多隱藏層顯現出來,按照不同層的位置進行劃分,深度神經網絡可以分為輸入層、隱藏層和輸出層,通常情況下深度神經網絡的第一層是輸入層、最后一層是輸出層、中間層均為隱藏層,神經元之間的結構如圖2.1所示(邵志杰,樊慧君,2021)。圖STYLEREF1\s2.SEQ圖\*ARABIC\s11神經元結構圖在深度神經網絡中,這在一定程度上展現了每一層之間都是相互連接的,即為第n層的某個神經元會與n+1層的任意某個神經元相連[16],雖然深度神經網絡的隨機性導致其非常復雜。但是如果拿一塊小的局部模型來說,其感知機制原理還是一樣的,即一個線性關系再加上一個激活函數構成(魏星羽,付芝和,2023)[17]。感知機制是一種前饋神經網絡,于輸入層和輸出層之間轉換,將數據存放在一個線性可分空間里,通過多層感知機制對深度神經網絡進行非線性學習,用來計算進而得到想要的結果(林子謙,江雅琳,2021)。與前文綜述里的成果相對比,本階段的研究成果和計算結果大體相似。首先,這體現了本研究在方法論上的有效性與可靠性。這種一致性既為先前研究的結論做了背書,也為現有理論框架加固了支撐。憑借嚴謹周密的研究設計、數據收集和分析流程,本文得以復現前人關鍵性發現,并在此根基上深挖拓展。這不僅讓研究假設更令人信服,也證明了所選研究方法的科學性。此外,這種相似性為跨研究比較搭建了橋梁,有助于整合出更全面、系統的理論體系。神經網絡通常需要激活函數,通常來說常用的激活函數有sigmiod,tanh,relu,prelu函數等[18]?;谝陨嫌懻撈渲凶畛R姷暮瘮稻褪莝igmiod函數,該函數的定義為:,將實數在0-1上映射,如果值越小則越趨近于0,可以理解為興奮則輸出1,抑制則為0。2.4CP分解CP分解的具體含義就是將一個張量分解分成多個單秩張量的和,即將一個高階的張量分解為若干個一維的因子矩陣,例如將三階張量分為三個一維的矩陣。這是一種從低維向高維不斷逼近的特征提取模式[19],如果給定一個三階張量,則可以將CP分解具體表示為如(2-1):(2-1)具體張量分解的三階表示圖如下:圖STYLEREF1\s2.2三階張量CP分解圖2.5Tucker分解Tucker分解在1996年就已經被提出了[20]。通過Tucker分解可以將一個三階的張量分解為三個因子矩陣以及一個核張量,每個維度上的因子矩陣都是張量在該維度上的基矩陣。所以Tucker分解又被稱為高階PCA或者高階SVD[11],上述介紹的CP分解也是一種特殊的Tucker分解形式。在這個條件下如果各個維度是相同而且呈對角狀態,Tucker分解即為CP分解,三階張量的Tucker分解如下圖所示2.3。圖STYLEREF1\s2.3三階張量Tucker分解圖Tucker分解在現階段有著多種多樣的的應用,這種分解方法具體對于降噪、特征提取和張量學習等有關方面有著重要的應用意義,同時也可以將其認為是PCA進行多線程分解時的特殊版本,本論文將Tucker分解作為一種對比方法進行深度神經網絡學習,以對比張量分解在深度神經模型中的應用和效率(熊澤光,唐小曼,2023)。3代碼實現過程3.1整體邏輯介紹本論文的訓練數據集選擇的是貓狗大戰訓練數據集,數據集為開源,通過官網發送郵件收得,通過數據集進行epoch的訓練,次數越多精度越高,由于本論文的硬件限制,基于這一前提條件僅僅實驗了重復五次;在進行訓練后通過測試集數據進行貓狗識別的測試,最終通過CP和Tucker兩種方法分別進行貓狗識別,以對比兩種方法的識別準確性(陳澤明,成曉茜,2017)。總體來說,訓練是遍歷向網絡里添加數據集,不斷通過自動計算來調整神經網絡的權重,并將生成的卷積網絡層進行具體分解,將一個整體分解為向下的兩個層,當圖片傳入到網絡中時,透過此見本質也是按照這樣的模式來進行卷積層操作的。3.2訓練、測試數據的打包和處理首先需要對數據進行處理和打包,所以本文創建dataset.py文件實現這一操作,另外,該文件還要實現對圖片數據的處理,將其調整為分析所適合的樣式。實現數據的處理和打包需要引用到numpy模塊(用于數組的矩陣運算)、torch模塊(用于進行形狀——本文中為貓狗大戰數據中的圖片的切片和分析)、PIL模塊(用于圖片處理)、glob模塊(用于定位計算機中特定格式的文件)和OS模塊(實現一些基本功能,這點透露出重要信息通常用于文件的開閉、目錄的識別等)(邵嘉逸,樊慧瑩,2021)。本功能的實現具體邏輯為:調用Python各種庫、模塊、方法,分別對訓練數據和測試數據進行標準化處理和封裝。本文創建了loader函數,將其作為用于封裝訓練數據的訓練函數,具體方法是首先利用名叫torchvision.transforms.Normalize的方法將相關數據進行標準化處理,然后將數據進行封裝。函數中還需要定義一些設定類的函數,具體用于實現(周文韜,高子凡,2024):(1)確定同時訓練多少數據的參數batch_size;(2)是否選擇打亂數據的shuffle函數;(3)設定多線程num_workers,確定同時幾個線程進行程序處理;(4)設定用于儲存的參數pin_memory。上述定義都需要在調用函數時給出數值,確定其具體的運行形式,例如:loader(path,batch_size=32,num_workers=4,pin_memory=True)在此之后,本文定義了test_loader函數,對需要測試的數據進行封裝,與函數loader相同,需要對數據進行標準化,基于已確認的成果可推導出相關結論再將其打亂后封裝入數據對象中,之后同樣設定相關參數,除了內容不同,這兩個函數的基本思路保持一致(魯智淵,嚴子凡,2023)。在數據收集過程中,本文采用了多種方式,如問卷調查、實地訪談和文獻查閱等,以確保數據的多樣性和準確性。通過對這些數據進行深入的分析和整理,本文能夠有效地驗證研究假設,并揭示數據中的模式和潛在關系。盡管本研究取得了一些進展,但本文也清楚地認識到,任何研究都有其局限性。未來的研究可以在現有基礎上進一步拓展,特別是在樣本的選擇、方法的改進以及理論框架的完善等方面仍有很大的提升空間。3.3CP分解和Tucker分解的實現在對數據進行了簡單的處理封裝后,本論文將進行CP分解和Tucker分解的具體實現,定義了decompositions.py文件,該方法的實現除了進行數據打包和封裝用到的numpy和torch模塊外,還要用到tensorly模塊(專門為張量學習、張量分解、張量代數進行Python設計的庫,使張量分解的具體分析變得更加簡單)(韓天宇,許靜雅,2021)。本功能實現的基本邏輯為,主要利用Python實現張量分解的tensorly庫,分別編寫CP方法、Tucker方法函數,這在一定程度上傳達實現兩種方法的數據處理和分析,在使用函數對數據進行分析后利用VBMF對矩陣進行排序,估計矩陣的秩并將其返回,用于之后的數據分析(劉飛揚,張文靜,2021)。首先,定義函數CP_decomposition_conv_layer,該函數的主要目的是獲取轉換層和分析目標的具體排名,之后返回帶有分解的nn.Sequential對象,具體實現邏輯如下(許浩然,吳泰寧,2020):首先對層權重進行張量CP分解,再設置卷積核、步長、padding的具體參數并從s到r逐點對層次進行定義,處理卷積層,之后再分別從深度垂直和深度垂直方向逐點進行卷積處理;在理論框架的檢驗與修正事務里,本文聚齊了大批且細致的數據資料。這些數據既覆蓋了繁多的研究對象,又橫亙了各異的時間節點與社會背景,為理論框架的全面驗證給予了強勁助力。借助統計分析手段對量化數據予以處理,能夠穩準地查驗原理論框架中各項假設的合理性,并揪出其中潛伏的不足。后續探究會斟酌納入更多變量或啟用更大體量樣本,以進一步強化理論框架的解讀力與預測本事。之后,對r到t的卷積層進行定義并將偏差字段增加到層中,對其進行CP處理,通過張量變換先垂直處理再水平處理,之后提取張量對其進行壓縮,輸出新的張量分解后的卷積層并將其返回用于數據分析;另外需要定義Tucker方法的實現函數Tucker_decomposition_conv_layer,該方法的實現相對來說較為簡單,先獲取數據矩陣的秩并將其層次權重信息和獲得的秩輸入,在將通道由S減少到R3的基礎上對數據進行卷積處理并輸出具有R3輸入通道的常規2D卷積層和R3通道,這清楚體現了之后逐點卷積將通道由R4增加到T,在進行權重處理后輸出利用Tucker方法處理的層(李文瑤,王浩宇,2021)。之后需要定義排序函數estimate_ranks,用于將兩種張量方法下的輸出結果展開,利用VBMF對矩陣進行排序并估算其矩陣的秩。實現CP方法和Tucker方法的函數雖然實現的過程略有差異但是總體的方法都行相同的(陳嘉偉,趙梓萱,2022):首先獲取轉換層,再返回CP或者Tucker方法下分解得到的nn.Sequential對象,并利用VBM對排名進行估算。3.4主函數功能的實現主函數用于具體實現功能,調用的新增庫有operator庫(實現運算和數據識別功能)和argparse庫(用于命令向選項和參數解析的模塊)以及itertools庫(實現迭代器的功能,延遲計算,提升整體張量分解分析的運行效率,盡可能的保證結果精確)。在數據處理階段,過往研究的閱歷提醒本研究需強化新興分析工具與技術的運用。隨著信息技術的迅猛發展,像大數據分析、機器學習算法這類前沿工具,正逐步成為科研領域的重要構成。這些技術不僅能助力本文更高效地應對海量數據,還能挖掘出傳統手段難以察覺的深層信息與規律。故而,在后續探究里,本研究應積極探尋將這些前沿技術融入分析體系,以此提高研究結果的精準度與洞察力。該方法實現的具體邏輯為:首先對數據進行讀取,調用上述封裝、訓練數據方法的py文件,將數據簡單處理,之后具體對深度神經網絡模型(卷積神經網絡)進行訓練,得到訓練結果后利用張量分解的CP方法和Tucker方法分別進行處理,在處理過程中可以根據實際需求對處理參數進行微調,以在滿足硬件需求的條件下盡可能得到精確地結果(劉志強,張慧君,2023)。首先定義類ModifiedResnetModel,對模型進行定義,在類中的初始函數中,需要定義二分類分類器部分的結構,具體定義如下(馮雨澤,楊怡琳,2022):nn.Dropout()實現dropout的隨機失活,防止分析過程中出現過擬合的現象;nn.Linear(25088,4096)來進行全連接層設計,函數需要輸入的兩根數據分別為輸入和輸出的節點數,通過對這兩項內容的具體設計可以良好的根據實際情況設計具體的計算大小;nn.ReLU(inplace=True)作為激活函數(陳嘉偉,吳萱,2021);定義Trainer用于類的訓練,在該函數中同時進行訓練數據、測試數據路徑的初始化。在此特定情境下事實昭然若揭首先在類的初始函數中對cnn模型使用交叉熵進行優化,在分別調用了數據集后設置模型、設定交叉熵之后對函數進行訓練;之后利用test函數對數據進行測試并輸出準確率,準確率的計算為在構建模型后分別對正確數和樣本總數進行計算和統計,并在統計分析時間的基礎上對準確率進行測試,輸出浮點數類型的準確率計算時間并打印平均預測時間;在測試準確率后創建訓練函數train對模型進行訓練,對設定好的訓練數據集進行循環訓練并不斷打印訓練的目前進度(具體位置訓練的批次數),在訓練完后執行測試函數,輸出分析結果(劉俊豪,蔣夢珍,2022)。另外,這在一定程度上展現了還需要定義train_batch函數和train_epoch函數分別進行訓練批次的設計以及對數據集的內容進行逐個訓練。在實現了張量分解的具體功能之后還需要實現參數的設定、訓練的判斷和具體的方法實現等。定義get_args函數用于根據實驗者輸入的參數確定具體的功能,參數內容具體包括(李澤剛,蔣夢琪,2022):訓練、降維、是否微調、儲存路徑設定、測試字段的路徑來源,另外定義了默認值,即默認不進行張量分解、不進行微調、默認使用Tucker方法。本研究框架模型的一大特征是其靈活調整與擴展能力。鑒于不同研究背景和需求的多樣性,本文在設計模型時,盡力保持各組件的模塊化特性,從而可以根據實際情況靈活調整或替換特定部分,而不影響整體架構的穩定性和有效性。這種設計思路不僅提升了模型的實際應用價值,還為后續研究者提供了一個開放平臺,激勵他們在現有基礎上進行二次開發或改進。在編寫完成實現本論文需要所有功能的類和函數后,需要對主函數進行初始化,即在運行后自動進行判定程序如何運行,由此可以洞悉判定的類型有三種(郭雅靜,劉子豪,2020):如果字段進行過訓練,則執行模型的構建并對其進行訓練。首先初始化卷積神經網絡模型,之后利用SGD設置優化器的參數,再對訓練器的參數進行設置。本論文設置訓練集循環十次,在訓練后將模型進行保存;如果含有張量分解的字段,則直接進行張量分解。載入張量分解的模型,使用CPU進行張量分解,獲取特征數對其進行分解,利用降維的方法進行循環分解,不斷去除對應的卷積層并利用Tucker方法處理卷積層,如果滿足條件則退出循環(郭子豪,劉婉君,2020);如果降維已經完成選擇是否調整模型的各個參數。加載模型并獲取參數的梯度,如果是CP分解則優化函數設置將學習率設定為0.000001,如果是Tucker分解則將學習率設定為0.001。4結果分析在完成代碼后測試完畢后,本論文也具體引用貓狗大戰的數據集對其進行張量分解的測試分析。首先論文利用已經明確貓、狗分類圖片的訓練集來進行訓練之后,論文再引用測試集進行具體的分析,訓練集和測試集的引用數據截圖如圖4.1和4.2:圖4.1貓狗大戰訓練集部分截圖圖4.2貓狗大戰測試集部分截圖由于本文計算機硬件條件和論文的時間條件,卷積神經網絡總共進行五輪訓練,訓練過程如圖4.3:圖4.3訓練過程截圖在訓練過后,向卷積神經網絡中加入張量分解的辦法進行繼續訓練,論文分別以CP分解和Tucker分解進行訓練,基于以上討論訓練過程以Tucker訓練的過程為例,Tucker分解訓練過程部分如圖4.4和4.5,由圖中我們可以明顯的對比看出,加入張量分解后訓練的平均時間更短,之前平均為3.8s左右,在加入了張量分解之后僅僅需要2.9s左右(劉瑞陽,魏芝和,2022):圖4.4貓狗大戰訓練集部分截圖圖4.5加入張量分解的訓練過程截圖在對卷積神經網路進行訓練后,本論文首先將未經過張量分解的卷積神經網絡識別準確度和經過CP、Tucker張量分解的卷積神經網絡識別準確度分別運行結果運行最高值進行對比,三種方法的準確度運行輸出結果如圖4.6、4.7、4.8(蔡鵬宇,鄧雪麗,2022):圖4.6不加入張量分解的準確度結果圖4.7加入CP分解的準確度結果圖4.8加入Tucker分解的準確度結果通過準確度結果,我們可以看出張量分解的準確度提高較為明顯,未經張量分解的卷積神經網絡識別準確度結果為76.80%,在這個條件下而CP分解和Tucker分解分別的結果為82.84%和84.42%,其中Tucker的準確度略微高于CP分解。之后本文專門分別利用CP分解和Tucker分解進行不同情況下的指標性能分析,分析的結果具體如下表4.1(貝俊豪,蔣夢婷,2021):表4.1CP分解和張量分解準確率統計表算法名稱最高識別準確率(TOP-1)平均識別準確率(TOP-1)最高識別準確率(TOP-5)平均識別準確率(TOP-5)應用CP張量分解的卷積神經網絡61.15%58.74%82.84%82.27%應用Tucker張量分解的卷積神經網絡67.43%65.83%84.42%83.91%其中,最高識別準確率為在經過五次分解中得到的準確度最高的結果,平均識別準確率指的是在進行相應的分解算法后測試五次的平均值;另外,TOP-1具體指的是數量比例最高的第一類指標測試成功的準確率結果,TOP-5為前五類指標的測試準確率結果,其中測試準確率分別為第一類或者前五類的準確樣本數除以總樣本數(高月明,鄭彤彤,2021)。本文同樣基于已有的理論根基塑造了此次的框架模型,不管在信息流轉還是數據分析技巧方面,都展現出對前人科研成果的尊崇與延續,并在此根基上展開了創新。最先,在信息流規劃板塊,本文吸納了經典信息處理理論的精髓,確保信息從采集、傳輸到分析的每個環節都能高效且無誤地開展。憑借對數據來源的嚴苛篩選和標準化處理流程,信息質量得以有效確保,從而更能凸顯信息流的透明度與可追溯性。通過對結果的分析,基于這一前提條件我們可以看到四個準確率分析結果Tucker算法均高于CP算法,其中僅僅比較TOP-1時最高識別準確率差別較大,Tucker算法可以達到67.43%,而CP算法僅僅可以達到61.15%,而TOP-5時兩者的差距較小,平均識別準確率分別為83.91%和82.27%(趙宇航,劉振宇,2019)??傮w來說,通過本論文的實例運行,本文發現Tucker算法的表現明顯優于CP算法,另外,在完成降維后,也可以選擇進行模型的微調,以優化測試結果,微調的過程如下圖(具體調整了SGD的數值):對模型進行微調采用了SGD隨機的梯度下降是廢,這一算法每一次訓練都是使用相同的樣本集,在每個批次的訓練中均會采用所有的樣本來進行計算,這其中有些數據對于該次計算是償付的,透過此見本質有些計算是沒有意義的,而SGD更新模型參數的方法是在每一次新的訓練里都去隨機地選擇一個新的樣本,因此SGD的每次學習都是比較快的,并且可以進行即時更新(孫志恒,楊慧萍,2019)。雖然SGD相比來說更好,但是它也有其缺點:可能無法按照預計的正確方向來就進行,,并可能由此產生優化擾動。擾動可能使得學習迭代次數變多,同時使得收斂速度減緩。這點透露出重要信息但是凡事都有兩面性,從另一個方面來看,這個擾動帶來的最大好處就是在處理局部出現很多極小點的時候,它的這個特點就可以使當前參數的優化方向從局部的極小點轉到一個更佳的局部極小點,從而使其收斂于一個全局極小點,從而獲得更好的效果(王浩宇,許雅婷,2017)。圖4.9對Tucker算法模型微調過程截圖結語和展望本論文具體研究了張量分解在卷積神經網絡中的應用,最終通過對比分析明確了在貓狗大戰數據集下的Tucker分解效率總體高于CP分解效率。論文首先對張量分解、深度神經網絡,CP分解和Tucker分解的概念做出了具體的界定,之后明確了代碼實現的具體流程:先構建卷積神經網絡、再利用訓練集對網絡進行訓練,之后分別利用CP分解和Tucker分解對神經網絡進行訓練,通過分析的準確率具體分析兩種方法的效率;之后論文分別介紹了代碼三大功能的實現過程,之后利用代碼具體進行了分析,其中Tucker分解的最高準確率為84.42%,高于CP分解的最高準確率82.84%,由此本文得出結論:Tucker分解的表現效果優于CP分解。雖然本論文實現了設計的全部功能,但是依舊存在一定的缺陷:由于硬件原因,訓練次數僅僅為五次,同時由于數據量和CPU性能的影響,代碼的實現耗費了大量的時間,只能調整參數以犧牲一定的準確性來得到分析結果??傮w來說,論文基本實現了驗證的功能,本文希望可以通過本論文的研究為今后的相關研究提供充分的理論基礎和實踐參考。參考文獻[1]陳思涵,張若琳.基于卷積神經網絡的短文本分類方法研究[D].西南大學,2016.劉偉.基于卷積神經網絡的視頻分類檢索[D].浙江大學,2022.[2]方景軒,湯俊杰.基于遺傳算法的卷積神經網絡參數優化方法[C].中國自動化學會、濟南市人民政府.2017中國自動化大會(CAC2017)暨國際智能制造創新大會(CIMIC2017)論文集,2023:5.[3]Y.Taigman,M.Yang,M.Ranzato,etal.Deepface:Closingthegaptohuman-levelperformanceinfaceverification[C].2014I(靳志遠,何靜怡,2024)ConferenceonComputerVisionandPatternRecognition,CVPR2014,Columbus,oH,USA,June23-28,2014,2014,1701-1708[4]駱明哲,汪嘉誠,等.基于VQ-GMM的音頻分類[J].信息工程大學學報,2021,9(4):423-426.[5]Y.Sun,X.Wang,X.Tang.Deeplylearnedfacerepresentationsaresparse,selective,andro-bust[C].I(靳志遠,何靜怡,2024)ConferenceonComputerVisionandPatternRecognition,CVPR2015,Boston,MA,USA,June7-l2,2015,2015,2892-2900[6]WELLINGM,WEBERM.Positivetensorfactorization[J].PatternRecognitionLetters,2001,22(12):1255-1261.[7]H(李澤剛,蔣夢琪,2022)NT,POLAKS,ShashuaA.SparseImageCodingUsinga3DNon-NegativeTensorFactorization[C]//TenthI(靳志遠,何靜怡,2024)InternationalConferenceonComputerVision.I(靳志遠,何靜怡,2024)ComputerSociety,2005:50-57.[8]A.Krizhevsky,I.Sutskever,G.E.Hinton.Imagenetclassificationwithdeepconvolutionalneuralnetworks[J].Commun.ACM,2017,60(6):84-90[9]ZHANGZK,LIUC.Hypergraphmodelofsocialtaggingnetworks[J].JournalofStatisticalMechanics,2010,2010(10):181-181.[10]J.Dean,G.Corrado,R.Monga,etal.Largescaledistributeddeepnetworks[C].AdvancesinNeuralInformationProcessing劉飛揚,張文靜tems25:26thAnnualConferenceonNeuralInformationPro-cessing劉飛揚,張文靜tems2012.ProceedingsofameetingheldDecember3-6,2012,LakeTahoe,
溫馨提示
- 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯系上傳者。文件的所有權益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網頁內容里面會有圖紙預覽,若沒有圖紙預覽就沒有圖紙。
- 4. 未經權益所有人同意不得將文件中的內容挪作商業或盈利用途。
- 5. 人人文庫網僅提供信息存儲空間,僅對用戶上傳內容的表現方式做保護處理,對用戶上傳分享的文檔內容本身不做任何修改或編輯,并不能對任何下載內容負責。
- 6. 下載文件中如有侵權或不適當內容,請與我們聯系,我們立即糾正。
- 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。
最新文檔
- 設計定金協議書
- 銷售投資協議書
- 鉤機入股協議書
- 飯店補貼協議書
- 代公司貸款協議書
- 2025至2030中國網絡安全行業發展狀況與前景動態研究報告
- 2025至2030中國精裝書行業銷售態勢及競爭格局研究報告
- 2025至2030中國等離子噴涂材料行業需求態勢及投資前景研究報告
- 2025至2030中國硒代半胱氨酸行業發展規劃及應用潛力研究報告
- 2025至2030中國電腦數控注塑機產業運行態勢及投資潛力研究報告
- 河北省石家莊市2025屆普通高中高三教學質量檢測(三)英語試卷及答案
- 江西省豐城市第九中學2024-2025學年高二下學期期中考試英語試卷(含答案無聽力原文及音頻)
- 康復技術考試試題及答案
- 安全生產月活動查找身邊安全隱患人人講安全個個會應急課件
- 2025年新工人入場安全培訓考試試題附完整答案(奪冠)
- 河北名校2025屆高考生物全真模擬密押卷含解析
- 血站考試試題及答案
- (三模)南通市2025屆高三第三次調研測試英語試卷(含答案解析)
- 2025年高考化學三輪沖刺:實驗綜合大題 刷題練習題(含答案解析)
- 寧夏銀川市2023?2024學年高一下學期期中考試 數學試卷(含解析)
- 浙江浙達環境科技有限公司年收集、貯存及轉運危險廢物5000噸的搬遷項目環評報告
評論
0/150
提交評論