1、Hans漢斯Advances in Applied Mathematics 應(yīng)用數(shù)學(xué)進(jìn)展，2018, 7(8). 1119-1126Published Online August 2018 in Hans, /journal/aam http$:/doior”1012677/aam2(H878129A Sparse Factorization Strategy for ThirdOrder Tensors and Its ApplicationLiang WangSchool of Applied Mathematics, Guangdong Univ

2、ersity of Technology, Guangzhou GuangdongEmail: 1065035870Received: Aug. 10th, 2018; accepted: Aug. 23rd, 2018; published: Aug. 30th, 2018AbstractThis paper mainly studies the decomposition algorithm of tensor and its application. TST-SVD algorithm is proposed on the basis of T-SVD 1 algorithm of te

3、nsor, and it solves the case that the T-SVD algorithm may not be able to retain its main information when decomposing However, our TST-SVD can keep its main information well through the soft threshold method, and achieve a good denoising effect for noise images. It also has a good performance in ima

4、ge recognition and reconstruction.KeywordsT-SVD Algorithm, TST-SVD Algorithm, Soft Threshold, Image Recognition and Reconstruction一個(gè)三階張量的稀疏分解方法及其應(yīng)用汪亮廣東工業(yè)大學(xué)，應(yīng)用數(shù)學(xué)學(xué)院，廣東廣州Email: 1065035870收稿日期：2018年8月10 口：錄用日期:2018年8月23 :發(fā)布日期 2018年8月30 口摘要本文主要研憲張量的分解算法及其應(yīng)用.在張量的T-SVD 1算法的基礎(chǔ)上提出TST SVD算法，并且解決 TT-SVD算法在分解時(shí)可

5、能無(wú)法保留其主要信息的情況.而我們的TST-SVD則通過(guò)軟閾值的方法可以很 好地保留其主要信息，并且對(duì)于噪音圖片也可以達(dá)到很好去噪效果在圖片的識(shí)別和重構(gòu)方面也有著不 錯(cuò)的表現(xiàn)文章引用：汪亮.一個(gè)三階張嵌的稀疏分解方法及梵應(yīng)用J應(yīng)用數(shù)學(xué)進(jìn)展,2018,7(8):11194126.DOI: 10.12677/aam.2018.78129汪亮關(guān)鍵詞T-SVD算法，TST SVD算法，軟閾值.圖片的識(shí)別和重構(gòu)Copyright © 2018 by author and Hans Publishers Inc.This work is licensed under the Creative C

6、ommons Attribution International License (CC BY). http:/creativecommons.Org/licenses/by/4.0/Open Access1. 引言張量分解早在19世紀(jì)就被提出來(lái)了，隨著計(jì)算機(jī)的發(fā)展張量活躍在各個(gè)領(lǐng)域。例如在神經(jīng)彫像.信 號(hào)處理，化學(xué)統(tǒng)計(jì)學(xué)，計(jì)算機(jī)視覺(jué)，心理測(cè)驗(yàn)學(xué)，數(shù)據(jù)挖掘，圖像處理等領(lǐng)域有著極其重要的應(yīng)用.由 于數(shù)據(jù)的逐朵性以及我們所需雯的一些特征，這就需婆我們研究張量的內(nèi)部結(jié)構(gòu)特征。張量的經(jīng)典分解 有CP分解2和Tucker分解2, CP分解表示為由一系列秩-的向量外積之和，Tucker表示一個(gè)核張量2與因

7、子矩陣的n模積.Tamara G Kold和Brett W Bader在？007發(fā)表了一篇關(guān)于張量的分解和應(yīng)用的綜述2,文章講解了 什么是張量，如何做張量分解以及張量的一些應(yīng)用。文章也提到了經(jīng)典的CP分解和Tucker分解，也列 舉了其他的些分解方法，并且用對(duì)比試驗(yàn)分析了它們的優(yōu)缺點(diǎn)，給予研究人員很大的啟發(fā)。General Allen 3提出了一種稀疏的CP分解算法，基于張量乘積的稀疏CP分解算法，創(chuàng)新性的使用軟閾值操作 以達(dá)到分解成分稀疏的效果.EncC Chi和Tamara G Kolda4提出了基于泊松分布的張昴:分解模型，利 用非線性Gauss-Seidel來(lái)構(gòu)造優(yōu)化函數(shù)加入一些約束條

8、件得出KKT條件求得鮫優(yōu)解。經(jīng)過(guò)迭代到收斂得 岀新的稀蔬非負(fù)的分解。Will Wei Sun 5等人在GeneveraI Allen在稀疏CP分解的基礎(chǔ)上提出了截?cái)嗟?張量CP分解，也取得J"不錯(cuò)的效果。Misha E Kilmer 1等人提出了對(duì)張量做矩陣操作的張量T-SVD分 解方法.這些算法在不同情況下己經(jīng)被證實(shí)可以取得不錯(cuò)的效果.這篇文章中我們提出了一個(gè)新的張戢分解TST-SVD，它是在Misha E Kilmer等人的基礎(chǔ)上對(duì)英篦 法缺點(diǎn)做了修改并且實(shí)驗(yàn)結(jié)果也達(dá)到了預(yù)期的效果。針對(duì)T-SVD算法中直接對(duì)重構(gòu)張戢進(jìn)行斥縮處理 而導(dǎo)致某些巫耍信息缺失的情況，我們對(duì)分解出的成分做

9、軟閾值操作以達(dá)到稀疏效果和保留巫要信息 的作用。本文的組織結(jié)構(gòu)如下：第2聚介紹張鼠：第3章介紹張量的T-SVD并且詳細(xì)討論T-SVD算法及英 總流程：第4章詳細(xì)講解我們新的算法(TST-SVD)；第5章為實(shí)驗(yàn)設(shè)置和結(jié)果分析：第6章總結(jié)全文。2. 張張量是一個(gè)多維數(shù)組?, 一個(gè)零階張量對(duì)應(yīng)一個(gè)標(biāo)量，一個(gè)一階對(duì)應(yīng)一個(gè)向量，一個(gè)二階對(duì)應(yīng)一個(gè) 矩陣。一個(gè)三階對(duì)應(yīng)一個(gè)立方體如圖1, 一個(gè)”階張量表示為XeR ' .Figure 1. Third order tensor A 疋從 圖L3階張(a) Horizontal 切片:Xn(b) Lateral 切片：Xr(c) Frontal 切片：F

10、igui e 2 Slices of a 3rd-ordertensor 圖23階張雖的切片向星的第個(gè)元素表示為q，矩陣的第（V）個(gè)元素表示為同樣三階張量的第燈個(gè)元素可以 表示為。弘，髙階張量以此類(lèi)推。張量的切片如圖:!所示。3張的T-SVD分解它是在傅里葉域中-種基于矩陣的新的分解形式，類(lèi)似與矩陣的奇異值分解他們有一些相似的性質(zhì)。 這對(duì)于張量是一個(gè)很實(shí)用的方法。張戢的T-SVD分解，是一個(gè) wz 的實(shí)數(shù)張量，則S可以表示為：3.1.定義1由張量Frontal切片組成的塊循環(huán)矩陣：嚴(yán)）力"circ(j4) =八)-爐(2) 対才）其中肚必計(jì)冷的張量，是張量戲的"1X

11、4;的frontal切片，circ（/l）是一個(gè)xn2n3的塊循環(huán)矩陣。 我們定義MatVec操作，MatVec"）的作用是把的張量變成了 -個(gè)的塊矩陣,fold 操作是對(duì)MatVec的一個(gè)還原。兩個(gè)操作如下：MatVec (斫» fold(MatVec(-4)= A32定義2我們來(lái)定義一個(gè)張鼠的t-product：(4)*5 = fold(circ() MatVec(E)英中SeF'fr, B w站葉吟33傅里葉變換前面我們對(duì)矩陣做了一些操作使其具備了某些性質(zhì)：塊矩陣可以通過(guò)傅里葉變換變成塊對(duì)角矩陣。 這就意味著，當(dāng)AeR，v，ni , F是一個(gè)止則化的n3 x&

12、#171;3的DFT (Discrete Fourier Transform)矩陣，則存在勺 個(gè)W1xn2的矩陣耳使得：(F®Z)circ(y4)(F<®Z)= blockdiag(D1,D2,-,Z),J(5)3.4.張的 T-SVD抿晟是f-diagonal (對(duì)角)時(shí)，則他的毎個(gè)frontal slice都是對(duì)角的。同樣地，當(dāng)張量是f-upper triangular 或f-lower tn angular時(shí)，則張量的frontal slice是上三角或者下三角.定理1：力是一個(gè)巾x”2><”3的實(shí)數(shù)張最，則川的分解為：A=UStJ(6)其中(7,7

13、分別是Wj xxn3 filwj xnj xn3的正交張量,S是_個(gè)xn3 xn3的f-diagonal張量。這就是張量 的T-SVD分解6。證明：首先我們把X變換成公式C)的傅里葉域中，接著我們計(jì)算毎個(gè)的SVD,則£), = U；ET(r = l,2,-,n3)(7)由公式(2)可得(6)式.3.5.張的T-SVD的算法算法1：1) 輸入珂 a 的張量a。2) 把*映射到傅里葉域中,D = #(A,3).3) 對(duì)張量刀的每一個(gè)frontal slice做矩陣的奇異值分解，紂到的每個(gè)u,s,v都分別存儲(chǔ)在 U(:,：,i),S(：,：“/(：,：,】)中.4) 在分別對(duì)U,S,V做一

14、個(gè)傅里葉逆變換。就可以得到張量乂的奇異值分解。3.6.張的T-SVD的截?cái)喽ɡ硪粋€(gè)勺x”2x®張量的4它的T-SVD分解為A = USV上vmin(p“)，則有 仏=£"：兒：)2(認(rèn))吵(：八丁(8)37張的T SVD的載斷算法算法2：1）輸入Mj x x n3的張量4截?cái)嗌稀?）用算法 1 得出（譏:）”（:：） °3）分別計(jì)算吃.）的屁個(gè)奇異值分解,S（譏:）叨（丿:）的上2個(gè)奇異值分解。>tol 6當(dāng)滿(mǎn)足條件時(shí),可以得出張量A的截?cái)郥-SVDo3.8.新視角下的張量我們定義兩個(gè)操作squeeze和twist。1）squeeze 可以把張量矩

15、陣化，X = squeeze（x） =>X（?j） = x（i,lJ）。2）twist 把矩陣張量化，twist（squeeze（x）= x。其中皿必叫。我們可以用它們來(lái)構(gòu)造圖片的張戢矩陣，當(dāng)M為圖片的平均值矩陣，則 山（：J：） = twist（X丿-M）,j =。其中是張量的 lateral slice, £ 是第丿張圖片。4.張的TST-SVD算法張雖的TST-SVD是張雖的T-SVD算法和張貳的軟閾值CP分解算法的基礎(chǔ)卜.改進(jìn)的。張戢的 TST-SVD在張量截?cái)郥-SVD算法的基礎(chǔ)上合理的引入J軟閾值操作。由于張量的T-SVD算法在去噪方 而對(duì)于某些特征圖片并沒(méi)有很好地

16、優(yōu)化，因此加入了軟聞值操作可以很好地平滑去噪。TST-SVD在人臉 識(shí)別方面與傳統(tǒng)的PCA和T-SVD相比有著較好的效果。4.1. 軟閾值操作軟閾值操作的公式為S（,Q）= sign（）（|-p）+* 3,U = sign（U）（U-puIu） + US = “gn（S）（同-R“s） + S r=agn（r）（|r|-/v*4）+ 其中Q是軟閾值參數(shù)，在這里通過(guò)多次試驗(yàn)當(dāng)久, = 0 001時(shí)軟閾值效果最好。丿是元素全為1的張最并且 與它們各自的規(guī)模相同。4.2. 張> TST-SVD的算法步驟算法3：1）輸入x w2 x n3的張截?cái)嗌稀?）用算法 1 得出 U（：,f,：）,S伸,

17、：）,"（,：）3）分別計(jì)算的焜個(gè)奇異值分解，Sg,:）2（厶:）的勺個(gè)奇異值分解。4）計(jì)算卜"（孑川 嚴(yán)L >tol 6當(dāng)滿(mǎn)足條件時(shí)，得出U,S,V5）分別對(duì)USV做軟閾值$（/）操作，得出最終的張MTST-SVD分解。43張量TST-SVD在人臉識(shí)別上的算法步嚥由于是止交的，S是C/的止交集合。并且"U：是一個(gè)止交投影，它把圖片投彫到更小的空間 維度中。我們對(duì)張量4的lateralslice進(jìn)行投影：必幾:片4 7：以（:丿:）=£久2（/丿）（9）其中C（ =C就是我們圖片投影的系數(shù)。當(dāng)做人臉識(shí)別時(shí)，我們只需比較訓(xùn)練圖片的投影系數(shù)與測(cè)試圖片的

18、投影系數(shù)即可。算法4：1）輸入訓(xùn)練集圖片1衛(wèi)=2、N:測(cè)試圖片幾2）計(jì)算訓(xùn)練集圖片的均值，得出均差圖片£。然后把每張圖片以©T月（丿）的形式存儲(chǔ)到張量蟲(chóng) 的 lateral slice 中。3）由算法3得出（7的軟閾值q, UA表示訓(xùn)練集的正交投影。4）對(duì)測(cè)試圉片做均值處理，再做一個(gè)twlst（J-2/）->T（：,l,：）的變換，對(duì)T（：,l,.）做正交投影 BlUpT得出測(cè)試圖片的投影系數(shù)C。5）對(duì)測(cè)試圖片的系數(shù)與訓(xùn)練圖片的系數(shù)做2-范數(shù)，直到收斂。6）找出2范數(shù)最小的那個(gè)就可以找出訓(xùn)練集圖片的位逬，從而達(dá)到識(shí)別的效果。5實(shí)驗(yàn)設(shè)置和結(jié)果分析為了比較張屋的TST-S

19、VD 法的性能，本文將TSTSVD算法，TSVD算法和經(jīng)典的PCA算法用 于Yale faces 7的人臉識(shí)別實(shí)驗(yàn)，并對(duì)實(shí)驗(yàn)結(jié)果進(jìn)行結(jié)果對(duì)比分析。5.1. 實(shí)驗(yàn)設(shè)我們選取10個(gè)不同的人，每個(gè)人有10種不同的表情，圖片的大小100 px X 100 pxo第一組我們 隨機(jī)選取每個(gè)人的3個(gè)表情作為訓(xùn)練集的30張圖片，剩下的70張圖片作為測(cè)試集。第二組我們隨機(jī)選 取毎個(gè)人的4個(gè)表情作為訓(xùn)練集的40張圖片，剩下的60張圖片作為測(cè)試集。第三組我們隨機(jī)選取每個(gè) 人的5個(gè)表情作為訓(xùn)練集的50張圖片，剩下的50張圖片作為測(cè)試集。第四組我們隨機(jī)選取每個(gè)人的6 個(gè)表情作為訓(xùn)練集的60張圖片，剩下的40張圖片作為測(cè)

20、試集。第五組我們隨機(jī)選取每個(gè)人的7個(gè)表情 作為訓(xùn)練集的70張圖片，剰下的30張圖片作為測(cè)試集.分別使用上述的三種算法，針對(duì)每個(gè)組進(jìn)行實(shí) 驗(yàn)。并記錄實(shí)驗(yàn)結(jié)果的人臉識(shí)別率和人臉重構(gòu)的借況。實(shí)驗(yàn)平臺(tái)為MATLAB R” 14氣5.2. 實(shí)驗(yàn)結(jié)果分析為了使實(shí)驗(yàn)更加有效每組做20次實(shí)驗(yàn)所得的人臉識(shí)別率取平均值其中人臉識(shí)別率等于識(shí)別正確的 個(gè)數(shù)與測(cè)試集總數(shù)Z比。在多次實(shí)驗(yàn)中TST-SVD的軟閾值操作U的閾值為0 001時(shí)實(shí)驗(yàn)效果敲好，在這 里我們也取 = 0 001 （表1）。我們?cè)賮?lái)比較TST-SVD PCA的重構(gòu)圖片效果如何。重構(gòu)圖片的公式為：+8由圖3可以看出在相同訓(xùn)練集和測(cè)試集的情況下TST-SV

21、D的識(shí)別率更離。國(guó)4可以看出在圖片重構(gòu) 方面TT-SVD也有著不錯(cuò)的表現(xiàn)。Table 1. The average face recognition probability ofTlie TST-SVD, T-SVD and PCA舉1. TST-SVD, T-SVD和PCA的平均人臉識(shí)別率算法3040506070TST-SVD0 78570 83330 76000 95000 7333T-SVD0.71000 80100.70000 90000 6900PCA0 60000 75000 67770 85000 6333二個(gè)并法人臉識(shí)別率對(duì)比圖0.30.2 00 IA丄R1A11A101020

22、30405060708090100訓(xùn)練圖片的個(gè)數(shù)Figuie 3. Companson of algorithm recognition rates of TST-SVD, T-SVD and PCA圖3TSTSVD, T-SVD和PCA的算法識(shí)別率對(duì)比圖TST-SVDPCAFigure 4. Companson of reconstructed images of TST-SVD and PCA圖4. TST-SVD與PCA的重構(gòu)圖片對(duì)比圖6.結(jié)語(yǔ)原T-SVD算法的截?cái)嗖僮饔锌赡軙?huì)&致丟失重要的信息，而我們的TST-SVD算法找到了一種可以 更好保留重要信息的能力，因?yàn)樗尤肓塑涢撝?/p>

23、操作可以對(duì)巫要仁息進(jìn)行平滑的去噪。在圖像識(shí)別方而 也取得了不錯(cuò)的效果。當(dāng)重構(gòu)圖片時(shí)，加入軟閾值之后的正交投影可以更好地重構(gòu)圖片的主要信息.在 跟PCA算法做Ifi構(gòu)圖片對(duì)比時(shí)，TST-SVD重構(gòu)的圖片明顯比PCA更好。致謝文章感謝王麗娟老師在寫(xiě)作期間給予我的幫助和鼓勵(lì)，感謝同門(mén)的陪伴和關(guān)懷.參考文獻(xiàn)1 Kilmer, M E , Braman, K , Hao, N. and Hoover, RC (2013) Third-Order Tensors as Operators on Matrices A Theoretical and Computational Framework with

24、Applications in Imaging SIAM Journal on Matnx Analysis and Appbca tions. 34, 148-172. https/doi oig/10 1137/1108377112 Kolad, T and Bader, B (2009) Tensor Decompositions and Applications SIAM Review, 51, 455-500. https doi org/l 0 1137/0707011IX3 Allen. G (2012) Sparse Higher-Order Pnnapai Components Analysis Proceeds爭(zhēng) of the Fifteenth Inteinational Conference on Amficial Intelligence and Statistics, 22, ?7364 Chi, E C and Kolda. T G (2012) On Tensors, Sparsity, and Nonnegat