1、 基于神經網絡的隱寫指數估計算法 岳普，李學明作者簡介：岳普（1992-），男，碩士研究生，主要研究方向：數字圖像隱寫通信聯系人：李學明（1969-），男，博導，主要研究方向：多媒體通信，圖像處理，機器學習. E-mail: （北京郵電大學數字媒體與設計藝術學院）2.02.02.02.02.02.0School of Digital Media and Design Arts, Beijing University of Posts and Telecommunications；School of Digital Media and Design Arts, Beijing Universit

2、y of Posts and Telecommunications北京郵電大學數字媒體與設計藝術學院;北京郵電大學數字媒體與設計藝術學院100876;100876;北京市海淀區西土城路10號北京郵電大學;北京市海淀區西土城路10號北京郵電大學;岳普（1992-），男，碩士研究生，主要研究方向：數字圖像隱寫;李學明（1969-），男，博導，主要研究方向：多媒體通信，圖像處理，機器學習岳普;李學明YUE Pu;LI Xue-Ming李學明2.02.02.02.02.02.02.02.02.02.02.02.02.02.02.01*|*期刊*|*Kessler G C, Hosmer C.An Ov

3、erview of Steganography.J.2011, 83: 51107.<CR>2*|*論文集*|*Shrivastava G, Pandey A, Sharma K.Steganography and Its Technique: Technical OverviewA.2012.<CR>3*|*論文集*|*Holub V, Fridrich J.Designing Steganographic Distortion Using Directional FiltersA.2012.<CR>4*|*期刊*|*Sharifzadeh M , Aga

4、rwal C , Aloraini M , et al. Convolutional Neural Network Steganalysis's Application to SteganographyJ. 2017.<CR>5*|*論文集*|*Diouf B, Diop I, Farssi S, etal.Minimizing Embedding Impact in Steganography using Polar CodesA.2014<CR>6*|*期刊*|*Filler T, Fridrich J.Minimizing additive distort

5、ion functions with non-binary embedding operation in steganographyJ.2010.<CR>7*|*期刊*|*Li B, Wang M, Huang J, etal.A new cost function for spatial image steganographyJ.2015: 4206-4210.<CR>8*|*期刊*|*Holub V, Fridrich J, Denemark T. Universal distortion function for steganography in an arbit

6、rary domainJ. Eurasip Journal on Information Security, 2014, 2014(1):1.<CR>9*|*論文集*|*Fridrich J, Filler T.Practical methods for minimizing embedding impact in steganographyA./ Electronic ImagingC.2007.<CR>10*|*期刊*|*Filler T, Fridrich JJ.Gibbs Construction in SteganographyJ2010, 5(4): 705

7、-720.<CR>11*|*期刊*|*Fridrich J, Kodovsky J.Rich Models for Steganalysis of Digital ImagesJ.2012, 7: 868-882.基于神經網絡的隱寫指數估計算法|Steganographic Index Estimation Algorithm Based on Neural Network|1|岳普|YUE Pu|北京郵電大學數字媒體與設計藝術學院|School of Digital Media and Design Arts, Beijing University of Posts and Te

8、lecommunications|岳普（1992-），男，碩士研究生，主要研究方向：數字圖像隱寫|北京市海淀區西土城路10號北京郵電大學|100876|<CR>*|2|李學明|LI Xue-Ming|北京郵電大學數字媒體與設計藝術學院|School of Digital Media and Design Arts, Beijing University of Posts and Telecommunications|李學明（1969-），男，博導，主要研究方向：多媒體通信，圖像處理，機器學習|北京市海淀區西土城路10號北京郵電大學|100876|摘要：現今大多數隱寫算法只關注如何在

9、給定圖像中選擇適合修改的像素，很少有關注圖像內容對隱寫影響。本文研究了載體圖像內容與載體圖像嵌入能力的關系,發現隱寫指數可以有效地評價載體圖像隱寫性能,又設計了一種基于淺層神經網絡計算圖像隱寫指數的算法。本文設計的隱寫指數估計算法包含修改代價計算，代價特征提取和隱寫指數估計三個步驟。實驗結果顯示,ImageNet 數據集使用 0.4bpp（bit per pixel）負載的 HILL 算法進行驗證(SRM+EC 檢測器)隱寫指數在 0,10 區間的圖像在隱寫后,錯誤率為 0.084,這部分圖像均不太適合隱寫,隱寫指數在 50,60 區間的圖像在隱寫后,錯誤率為 0.4401,這部分比較適合作隱

10、寫圖像。BOSSBase 數據集測試,基于神經網絡的隱寫指數算法計算的嵌入指數與目標值的相關系數高達 0.99955。 關鍵詞：隱寫術；隱寫指數；神經網絡 中圖分類號：TP37 Steganographic Index Estimation Algorithm Based on Neural Network YUE Pu, LI Xue-Ming(School of Digital Media and Design Arts, Beijing University of Posts and Telecommunications)Abstract: Most of today's ste

11、ganographic algorithms focus only on how to select pixels that are suitable for embedding in a given image, rather than the impact of image content on steganography. In this paper, the relationship between the content of the carrier image and the image embedding ability of image is studied. It is sh

12、own that the steganographic index can effectively evaluate the steganographic performance of the carrier image, and an algorithm based on the shallow neural network to calculate the image steganographic index is proposed. The steganographic index estimation algorithm designed in this paper contains

13、three steps， modification cost calculation, cost feature extraction and steganographic index estimation. The experimental results are as follows, BOSSBase dataset and ImageNet dataset are used with 0.4bpp-payload(bit per pixel) HILL algorithm (with SRM+EC detector). The images with index value in th

14、e 0,10 interval, which are unsuitable to embed, are steganized, and the error rate is 0.084, the images with index value in the 50, 60 interval, which are suitable to embed, are steganized, the error rate is 0.4401. In the BOSSBase dataset, the correlation coefficient between the target value and st

15、eganographic index calculated by the neural network-based steganography index algorithm is as high as 0.99955.Key words: Steganography; Steganographic Index; Neural Network0 引言隱寫術1, 2主要用于實現隱蔽消息傳輸，隱蔽通信可以大大降低通信被竊聽或被攻擊的概率，特別是在通信被監測的情況下。當通信處于被監測狀態下，直接傳輸加密信息已經不再安全，并且會直接將接收方與發送方暴露。將信息嵌入隱寫載體后，最大程度上保證通信安全及通

16、信雙方的安全。自適應隱寫算法是一大類方法，主要特點是可以根據圖像的內容確定消息嵌入的位置。一般情況下，自適應隱寫算法將消息嵌入在紋理豐富且復雜的地方，檢測器相對難以發現在上述區域進行的小幅度修改。自適應隱寫算法往往都用到最小化嵌入失真的理念，該理念認為修改每一個像素都會帶來不同的失真（可以用標量度量），算法負責找到一條嵌入路徑或是一個嵌入消息的像素的子集，使得嵌入消息的累計嵌入失真最小。大多自適應隱寫算法致力于尋找效果更優的像素損失（或稱為修改代價），算法中的修改代價區別不同算法的核心部分。目前優良設計的自適應隱寫算法大多需要比較準確的識別出紋理較為豐富復雜的區域，圖像濾波器在識別紋理方面有較

17、好的效果，因此隱寫算法往往通過濾波器分配像素修改代價，高通濾波器可以獲得紋理區域，低通濾波器可以將獲得的紋理區域適當平滑并加以適當擴散。WOW（Wavelet Obtained Weights）算法3使用多種濾波器計算修改代價。有些隱寫算法通過卷積神經網絡輸出修改代價4，包含大量卷積核的網絡既可以為每個像素生成一組修改代價，也可以生成多組代價，之后由人工組合生成一組修改代價。在實際嵌入的場景中，STC編碼5, 6負責根據修改代價寫入制定消息，無需修改代價即可提取嵌入消息。該編碼使用維特比算法進行修改像素的選擇，在計算速度和嵌入效果之間達到平衡，使用該碼隱寫得到的圖像抗檢測性能與理論仿真的結果極

18、為接近，因此被廣泛使用。1 圖像隱寫過程與隱寫容量1.1 圖像隱寫過程空域數字圖像隱寫算法一般要對圖像的某些像素進行修改，以實現消息嵌入。在自適應隱寫算法中，不同像素被修改的可能性一般不相同，像素修改代價可以描述像素被修改后引入的失真。一般來講，修改代價影響這像素的修改概率，像素修改代價大的像素被修改的概率較小，像素修改代價小的像素被修改的概率較大。修改概率直接影響可以嵌入消息長度，在給定嵌入消息長度的情況下，修改概率唯一確定。消息嵌入過程往往分成兩個場景，只嵌入場景和嵌入提取場景。只嵌入場景中，當像素以一定的概率被修改，則認為信息嵌入到圖像中，只不過嵌入的消息無法提取。只嵌入場景中，嵌入過程

19、主要有三個步驟：計算修改代價，計算修改概率，隨機嵌入。詳見圖1。圖1 只嵌入場景下隱寫嵌入過程Fig. 1 the embedding process of embed-omly mode嵌入提取場景用于實際隱寫任務，STC編碼是該場景下常用的編碼方法。算法根據圖像的修改代價和消息，在圖像選擇一條最累計失真最小的路徑嵌入消息，提取過程使用矩陣乘法直接提取消息。雖然嵌入提取場景更接近實際情況，但是只嵌入場景更便于分析隱寫算法的理論性能，因此本章的研究均使用只嵌入場景。隱寫嵌入過程主要是由兩個步驟計算修改代價和計算修改概率。修改代價的計算方法多種多樣，WOW算法，HILL算法7，SUNIWARD算

20、法8。1.2 隱寫容量圖像中每個像素就是一個子信道，每個像素的信道容量由信道不同符號的出現概率決定。在三元嵌入的情況下，有三種嵌入的可能性I=-1, 0,+1，沒有任何限制的情況下，單個像素的信道容量可以由式1計算得到。但是在±1等概率嵌入的情況下，單個像素的信道容量就僅與像素被修改的概率有關。 假設像素被修改的概率為p（即嵌入-1或+1 ），那么像素嵌入-1與嵌入+1的概率均為p/2，不改變（即嵌入0）的概率為（1-p），則該像素的容量也能寫成式2的形式。c=yIp(y)log21p(y) c=plog22p+(1-p)log2(11-p) 隱寫圖像的信道容量可以認為是所有像素構成

21、的子信道容量的和，給定嵌入負載后，需要嵌入的信息長度M由式3計算，圖像的信道容量C可以表示為式4中的形式。一般要求信道容量等于嵌入消息的長度，可以表示成式5的形式。M=m×l×payload 其中圖像的寬m像素，高l像素，payload為指定負載。 C=i=1mj=1lyi,jIi,jp(yi,j)log21p(yi,j) 其中y（i, j）表示對（i, j）位置像素修改，修改的種類僅限于I i, j中的修改，I i, j=-1, 0,+1。 m×l×payload=i=1mj=1lyi,jIi,jp(yi,j)log21p(yi,j) 每個像素修改的修

22、改概率是根據修改代價計算，式6給出了一種有修改代價到修改概率的計算9, 10。 pyi,j=exp(-i,j(X,yi,j)yi,jIi,jexp(-i,j(X,yi,j) 其中i,j(X,yi,j)為在（i, j）位置嵌入yi,j的修改代價。在計算像素修改概率時，必須滿足式5中的條件，因此給定嵌入負載與像素修改概率，就會唯一確定一個（> 0），使得圖像信道容量等于嵌入信息的長度。的求解主要使用迭代法，假設的值，判斷當前是否滿足式5中的要求。由式6可知，在給定修改概率的情況下，修改概率是的減函數，由式2，結合實際情況中像素修改概率大多落在0,2/3區間的條件，可知像素容量是修改概率的增函

23、數。所以信道容量是的減函數。的計算正是利用像素信道容量與的單調性。在給定嵌入負載的情況下，二分查找滿足負載要求的。首先需要確定的上界，當趨于正無窮時，信道容量趨于0。當信道容量剛剛低于設定的容量，此時的取值為其上界。在尋找上界的時候，為了加速尋找的過程，的增長策略采用翻倍增長，同時設定翻倍增長的最大迭代次數，此值為經驗值，設為20。當確定上界后，使用二分搜索確定滿足負載要求的。設定二分查找的精度和最大查找步數分別為千分之一和10。算法需要以像素+1的修改代價和像素-1的修改代價作為參數送入函數，像素未修改的代價設為0。給定修改代價計算的過程最多迭代30次。目前最小嵌入失真框架下，HILL算法作

24、為效果最好，計算最快的隱寫算法之一，有廣泛地使用基礎。本文采用HILL算法的修改代價作為計算過程中使用的修改代價。同時考慮到隱寫圖像通常承載大量信息，在仿真中0.4bpp是常用的負載，使用0.4bpp的負載計算更能貼近實際使用場景。本文出現的亦在0.4bpp負載下進行計算。2 載體圖像隱寫指數與隱寫能力評價由上一章可知，在給定修改代價與嵌入負載的情況下，可以計算得到唯一的，從而計算得到修改概率，得到隱寫圖像。但實際情況是，每張圖像計算得到不同修改代價，不同的修改代價和指定的負載可以計算得到不同，從而計算得到不同的修改概率。圖像以指定嵌入負載寫入消息后，被檢測到的概率不相同。本章主要研究圖像與圖

25、像隱寫能力之間的聯系。上一章計算得到的在每一個數據集上都有分布，有些圖像的偏大，有些圖像的偏小。不同的圖像，隱寫嵌入之后被檢測器檢測出的概率也不相同。本節分析了BOSSBase數據集和ImageNet數據集上的分布。為了減少其他因素對實驗結果的影響，對數據集做如下處理。BOSSBase數據集含10000張無壓縮灰度圖像，圖像尺寸為512$times$512像素，將每張圖像裁剪為8張256×256像素得到80000張圖像，圖2所示為八種不同的切割位置，前四種分割方式沒有重疊部分，而后四種分割方式有1/4的重疊區域。ImaeNet數據集是尺寸不固定的彩色壓縮圖像，為了排除圖像尺寸及色彩對

26、實驗的影響，將圖像裁剪成256×256像素大小并轉換成灰度圖像。實驗數據涵蓋壓縮圖像與無壓縮圖像。圖2 將512×512圖像裁剪為8張256×256圖像的分割方式Fig. 2 one way to crop 1 image with size 512×512 to 8 images with size 256×256在兩個數據集下，使用0.4bpp負載計算，大部分落在0,60區間。BOSSBase中有70838張圖像其小于60,占數據集的88.55%，ImageNet中有28449張圖像其小于60，占數據集的59.90%。選取60作為研究范圍的

27、上限有以下兩個原因：l 錯誤率區分不明顯。當大于60時，檢測器對于這部分圖像檢測的錯誤率接近0.5，即隨即猜測。ImageNet中有約40%的圖像的大于60，這部分圖像的錯誤率幾乎不隨的變化而變化，此時再對進行區間劃分意義不大。l 圖像數量較少，錯誤率無法保證精度。BOSSBase是無壓縮的數據集，大于60的圖像數量比較少，按照量化區間為5設置，后續區間內圖像數量少于2000。少量圖像無法保證檢測錯誤率的精確。在兩個數據集下的分布見圖3。兩個數據集的分布均呈現長尾的分布，大部分圖像分布在較小的范圍內，少數圖像的較大。的分布是數據庫的特性，不同的數據庫，圖像嵌入指數分布的尾的長短是不一致的。BO

28、SSBase數據集下圖像的落在0, 60區間較多，且大多集中在較低的值，直方圖對應部分峰較尖，在5,20的區間內集中了大量的圖像，約占總體的61.27%。ImageNet數據集下圖像的分布非常均勻在較大的區間還有較多的圖像,在5,20的區間的圖像數量約占總體的34.05%。圖3 值在兩個數據集中的分布,截取0,60的區間，左側的直方圖為BOSSBase數據集下的分布，右側的直方圖為ImageNet數據集下的分布Fig. 3 the distribution of within 0, 60, the left shows BOSSBase and the right ImageNet圖4與圖5分

29、別展示WOW算法與HILL算法在不同圖像子集上的錯誤率，檢測器為SRM+EC檢測器11。圖4 WOW算法在不同值區間的檢測錯誤率式Fig. 4 WOW error rate of images with different 由圖4可知，無論是高負載還是低負載,無論在BOSSBase數據集還是ImageNet數據集，檢測器錯誤率(針對WOW算法)隨增加而增加，具有一定的正相關性。特別高(例如在55, 60區間范圍內)的圖像用不同負載嵌入后，檢測錯誤率都較高，特別低(例如在0, 5區間范圍內)的圖像用不同負載嵌入后，檢測錯誤率都較低。落在中間范圍內圖像隱寫后，錯誤率受負載的影響較為明顯，例如0.1

30、bpp負載時，錯誤率上升最快的部分為10, 15區間，0.4bpp負載時，BOSSBase數據集下錯誤率上升最快的部分為15, 20區間，ImageNet數據集下錯誤率上升最快的部分為20, 25區間。圖5 HILL算法在不同值區間的檢測錯誤率式Fig. 5 HILL error rate of images with different 圖5使用HILL算法驗證對載體圖像的區分效果，曲線的整體趨勢與圖4中的曲線的趨勢相同。落在中間范圍圖像對不同的隱寫算法表現略有不同。在無壓縮的BOSSBase數據集上，HILL算法優于WOW算法，但在壓縮的ImageNet數據集上相反。上述現象屬于數據集的差

31、異，但明顯地看出在0,10區間內兩種算法被錯誤檢測的概率都非常低（均低于0.02，遠遠低于全數據集上的錯誤率），而在50,60區間內兩種算法被錯誤檢測的概率都很高（均高于0.42，遠遠高于全數據集上的錯誤率）。落在兩端的圖像隱寫后的錯誤率對隱寫算法不明顯，適合作為載體圖像的評價指標。圖6展示了一些圖像。圖6 不同區間范圍內的圖像實例，上面的圖像在0,5之間，三張圖像由左至右分別為，下面的圖像在55，60之間，三張圖像由左至右分別為，Fig. 6 some images with different interval of , the three above with within 0, 5,

32、namely , , , the three above with within 55, 60, namely , , .上面一行的圖像的較低，在0,5范圍內，下面一行的圖像比較高，在55,60范圍內。通過觀察，上面的圖像亮度整體偏低，圖像內容也較為單一，紋理區域較少。例如左圖中黑色背景占據構圖的絕大部分，花朵整體亮度不高，并且花朵的邊緣不清晰。中間的圖中包含大量無紋理平面，雖然有光照陰影，但陰影的變化也非常規律，臺燈附近的紋理比較豐富，但臺燈所在的區域只占圖像很小一部分。右圖的內容相對豐富，相比左側兩張圖，亮度有明顯提升，但圖像焦點在近處的方臺上，遠處的物體處于虛焦狀態，并且遠處的物理同樣包

33、含大量平面。這些圖像均不適合做載體圖像。而下面的圖像亮度適中，內容和紋理也比較豐富。例如左圖森林中的針葉占據構圖的大部分，松針相互交疊產生大量類似紋理的效果。中間的圖中，石頭近似平面，但石面較為粗糙還有不同顏色的斑塊，除此之外石塊與草地的交界處也非常復雜。右圖整體非常清晰，近處的樹林與遠處的天空都沒有虛焦，占據近一半畫幅的樹林與山石區域與本行左圖有相似之處。這些圖像比較適合選作載體圖像。的值不受具體嵌入消息的影響，給定負載與修改代價可以唯一確定一個，是反映圖像本身性質的量，本文稱為隱寫指數，表示圖像的嵌入能力。3 基于神經過網絡的隱寫指數估計算法第一章中詳細介紹了傳統方法中，傳統計算隱寫指數需

34、要迭代查找隱寫指數的精確值，不斷計算信道容量。本節提出了一種基于神經網絡的隱寫指數算法，該算法實現了輸入載體圖像，直接輸出隱寫指數,只需一次前向計算即可得到較為精確的值。隱寫指數算法主要分為三個模塊，即修改代價計算模塊，代價特征提取模塊和隱寫指數嵌入模塊，分別實現像素修改代價計算，全局修改代價特征提取和載體圖像隱寫指數計算。三個模塊之間的關系見圖7。圖7 基于神經過網絡的隱寫指數估計算法框架Fig. 7 the framework of steganographic index estimation algorithm based on neural network像素修改代價是像素級別的概念

35、，而載體圖像隱寫指數是圖像級別的概念。由上節可知，隱寫指數可以感知全部像素修改代價的整體水平，因此計算隱寫指數首先需要對全局的像素修改代價有一定的了解。隨后使用神經網絡學習修改代價全局特征與隱寫指數之間的關系，訓練完成后可以直接計算修改代價，提取全局修改代價特征，計算載體圖像隱寫指數。3.1 圖像修改代價計算隱寫指數從某種角度來講是整幅圖像修改代價的抽象，因此圖像修改代價計算是非常基礎的一步。本文提出的隱寫指數采用HILL算法的修改代價。本節主要使用一個卷積網絡計算修改代價，網絡中三個卷積層對應HILL算法中三個濾波器，該卷積網絡所有卷積核都是已知的，通過一次前向計算得到HILL算法的修改代價

36、。網絡的結構圖如圖8所示。圖8 HILL算法修改代價計算網絡架Fig. 8 the network of HILL cost computation網絡第一層為PADDING層，使用對稱PADDING向四周填充尺寸1。PADDING層是卷積網絡中經常使用的層，主要用于維持卷積結果的尺寸，常見的PADDING方式有三種，分別是常量填充，循環填充和對稱填充。第二層為卷積層，卷積核3×3的高通核。第三層為絕對值層，該層為輸入的每一個元素取絕對值，隨后輸出。第四層為PADDING層，PADDING的參數與第一層相同。第五層為卷積層，卷積核3×3的低通核，每個元素的值均為1/9。第六

37、層為倒數層，該層為輸入的每一個元素取倒數，如果輸入包含0值，則會導致網絡輸出異常，為了防止上述情況發生，在輸入時為每個元素加上微小偏移，網絡中微小偏移設置為10-20。第七層為PADDING層，由于第八層卷積層的卷積核尺寸為15×15，若要卷積后保持尺寸不變，需要向四周填充7個像素，仍使用對稱填充。一般來講，當卷積的滑動步長為1時，保證卷積后尺寸不改變，PADDING的尺寸sizePADDING滿足， sizePADDING=floor(sizePADDING/2)。第八層為卷積層，卷積核15×15的低通核，每個元素的值均為1/225。第八層輸出的結果即為HILL算法的修改

38、代價。3.2 全局修改代價特征提取像素修改代價往往受周圍像素的影響，并且和像素所處位置有較密切的聯系，如果像素位于紋理比較豐富的區域，一般像素修改代價就很小，如果像素位于相對平坦的區域，一般像素修改代價都很大。但修改代價的全局特征應該與圖像內容沒有直接關系，僅與所有像素的修改代價直接關聯。為了便于后續計算，要求特征的維數固定，并且不同尺寸的輸入修改代價均需得到相同維數的特征。卷積神經網絡是普遍認為簡潔有效的特征提取方法。輸入數據通過一系列卷積核卷積，最終得到指定維數的特征。帶全連接層的卷積神經網絡可以保證特征維數固定，但要求輸入圖像的尺寸固定。不帶全連接層的卷積神經網絡對輸入圖像尺寸沒有要求，

39、但是不同尺寸的輸入得到的特征維數不固定。本節主要提出一種全局修改代價特征提取算法，該特征可以從圖像全局層面了解修改代價水平，并且滿足特征維數固定，不受修改代價尺寸影響。借鑒直方圖特征對觀測值在不同區間內出現頻次做統計的思想，本節提出的全局修改代價特征對不同比例的修改代價統計均值，作為全局修改代價特征。特征的計算步驟如下。首先將輸入修改代價排序，全局修改代價特征并不關注修改代價在空間上的分布，只關注修改代價的數值，排序后可以直觀地呈現修改代價增長趨勢。然后選取特定比例的修改代價，計算修改代價的均值，作為特征的一個維度。本節選取修改代價的規則如下，選取修改代價最小的1%的點（是數量上的占比），計算

40、均值后作為特征的第一維度。選取修改代價的數量等差增長，第二個維度由修改代價最小的2%的點計算，以此類推，第99個維度由修改代價最小的99%計算。設定比例計算修改代價均值的方法，既可以通過設定選取的比例控制特征的維數，也可以除去修改代價尺寸對特征提取的影響。本節的特征維度是99維，選擇99維特征一是出于高維特征的所包含的信息要比低維特征多，便于后續隱寫指數的擬合，二是要保證每不同的比例之間有一定的差異性，每次引入的點的數量要足夠多。一方面要求特征維數越高越好，另一方面要求特征維數低些好，綜合兩個方面，將特征維數設定為99。圖9展示了三個不同的修改代價特征，方塊線描述的修改代價整體較高，并且含有大

41、量修改代價極高的點，虛線描述的修改代價相對較低，而實線描述的修改代價整體非常低，并且還有大量修改代價極低的點。圖9 部分圖像的全局修改代價特征Fig.9 samples of whole scale cost feature3.3 載體圖像隱寫指數估計神經網絡（也稱人工神經網絡）起源于上世紀中葉，是一類模仿人腦學習過程的數學模型。神經網絡內每一個神經元完成的工作很簡單，僅僅對多個輸入按照權重整合，激活后輸出到其他神經元，相當于每個神經元完成一個映射，但是數目龐大的神經元相互連接，便可以以非常高的精度逼近現實中非常復雜的映射，解決復雜的數學問題。神經網絡的應用非常廣泛，在計算、識別、決策和控制方

42、面都有優異的表現。全局修改代價特征包含了載體圖像修改代價信息，并且由第一章可知，隱寫指數與全局修改代價的關系。因此，通過全局修改代價特征學習隱寫指數是可行的?？紤]到神經網絡較強的逼近已知函數的特點，本節使用一個三層的神經網絡學習全局修改代價特征與隱寫指數之間的關系。網絡的結構見圖10所示。圖10 隱寫指數估計網絡Fig.10 steganographic index estimation network神經網絡輸入層包含99個節點，隱藏層包含10個神經元，每個神經元都采用SIGMOID函數作為激活函數，見式7，輸出層含有一個神經元，采用線性恒等函數作為激活函數,見式8。隱藏層使用SIGMOID

43、函數作為激活函數，這樣可以提升神經網絡擬合非線性關系，而擬合目標有較廣的變化范圍，使用線性恒等函數作為激活函數?？紤]到網絡擬合的任務相對簡單，并為了網絡有良好的泛化性能，隱藏層應含有盡量少的神經元，又因為輸入神經元數目較大，綜合考慮將隱藏層神經元數目定為10，該網絡經交叉驗證，表現出良好的準確性與泛化性。y=fu=11+e-cu 其中c為調整曲線變化率的參數。y=fu=u 3.4 實驗結果本節的實驗均在ImageNet數據集與BOSSBase數據集上完成，ImageNet數據集的驗證集包含50000張彩色壓縮圖像，為了便于計算修改代價，將所有圖像轉換為單通道灰度圖像，并裁剪成256×

44、256大小。選取數據集中40%的圖像用于訓練，共20000張圖像，選取30%的圖像用于交叉驗證，共15000張，剩下30%的圖像用于測試，共15000張。學習的標簽為0.4bpp時計算出的隱寫指數，采用均方誤差作為損失函數。神經網絡訓練過程使用Levenberg-Marquardt算法（LM算法）進行參數優化。LM算法利用泰勒展開，忽略掉二階以上的導數項，優化目標方程轉化為線性最小二乘問題，兼具高斯-牛頓算法以及梯度下降法的優點。如果損失函數下降太快，使求解更接近高斯牛頓法，如果下降太慢，使之更接近梯度下降法。一般來講，LM算法是最快收斂的優化算法，但占用內存相對較大。算法內部參數均使用默認參

45、數。圖11展示了訓練過程損失函數的變化。圖11 隱寫指數計算網絡在訓練集、驗證集和測試集上的誤差Fig.11 errors of steganographic index estimation network on train set, validate set and test set訓練初期損失函數下降非常快，在10個epoch后，訓練集、驗證集下的誤差就降至15左右，測試集的損失就降至30左右。隨后損失下降比較慢，但是在64個epoch后，三個集下的損失又有明顯下降。最低誤差出現在第73個epoch后，約為12，訓練大約在80個epoch后結束。圖12展示了訓練結束時，訓練集、驗證集、測

46、試集和全數據集下，神經網絡輸出的擬合結果與擬合目標的相關系數。圖12 隱寫指數計算網絡在訓練集、驗證集和測試集上的表現Fig.12 performance of steganographic index estimation network on train set, validate set and test set在訓練集下，神經網絡輸出與擬合目標的相關系數高達0.99988，并且擬合直線的斜率近似為1，偏移也非常小，網絡充分學習到全局修改代價特征與隱寫指數之間的關系。神經網絡在驗證集下的表現與訓練集上相仿。網絡在測試集上的表現也非常理想，相關系數高達0.99984。擬合直線的斜率近似為1

47、，偏移為0.037，具有非常優秀的泛化性能。在全數據集下，大部分的隱寫指數都落在較小的區間內，只有極個別特別大的隱寫指數，在隱寫指數較大的區域數據點比較稀疏，但是神經網絡在較廣范圍內，對任意區間的隱寫指數都可以有效估計，使用場景非常廣泛?；谏窠浘W絡的隱寫指數估計算法不僅在精確度上表現良好，而且在計算速度大幅提升，在MATLA仿真軟件中，開啟11個worker的情況下，傳統迭代法計算一張圖像（圖像尺寸為512×512）的隱寫指數平均需要0.387秒，基于神經網絡的計算方法計算一張圖像（圖像尺寸為512×512）的隱寫指數平均僅需0.077秒，計算時間減少79.63%，因此，基于神經網絡的隱寫指數估計算法非常適合海量圖像的相關處理。4 結論本文主要介紹了隱寫指數并介紹一種基于神經網絡的隱寫