1、去噪自編碼深度卷積網(wǎng)絡(luò)實(shí)戰(zhàn)地震去噪實(shí)戰(zhàn)案例講解很多同學(xué)都有個(gè)疑問：前面一直都是對(duì)理想數(shù)據(jù)進(jìn)行處理，這樣有多大用處呢？那用在實(shí) 際中是怎樣應(yīng)用的呢？第一節(jié)課我們講過，自編碼可以用在預(yù)訓(xùn)練、自動(dòng)創(chuàng)作、自動(dòng)填 充、去除噪聲、數(shù)據(jù)降維等等方向。今天我們就從最常見的降噪這項(xiàng)應(yīng)用開始講解。一、降噪自動(dòng)編碼的由來降噪自動(dòng)編碼器（Denoising AutoEncoder）最初的應(yīng)用是為了讓自動(dòng)編碼網(wǎng)絡(luò)有更強(qiáng)的魯 棒性（Robust）。這是什么原理呢？就是將原始的完整數(shù)據(jù)以一定概率分布（通常使用二項(xiàng)分布）去擦除，然后將處理后的結(jié)果 作為輸入的訓(xùn)練數(shù)據(jù)。這樣訓(xùn)練出來的網(wǎng)絡(luò)抗干擾能力更強(qiáng)，預(yù)測(cè)的結(jié)果往往更好。就比

2、如下圖：/o區(qū)。o o o o 3oooo原始的數(shù)據(jù)是X，首先我們隨機(jī)的去掉了乂中的兩個(gè)數(shù)據(jù)形成了乂，然后我們用這個(gè)有破損 （術(shù)語叫Corruputed）的數(shù)據(jù)x作為訓(xùn)練數(shù)據(jù)來訓(xùn)練自編碼網(wǎng)絡(luò)y,訓(xùn)練過程中計(jì)算出的結(jié) 果是z,然后將z與原始x做誤差迭代不斷優(yōu)化網(wǎng)絡(luò)y。最后訓(xùn)練出來的y就有了更好的性 能。為什么訓(xùn)練破損的數(shù)據(jù)更能激發(fā)網(wǎng)絡(luò)的魯棒性呢？有論文解釋說神經(jīng)網(wǎng)絡(luò)通過從破損數(shù)據(jù)中學(xué)習(xí)到有效特征數(shù)據(jù)，從而恢復(fù)完整的數(shù)據(jù)。這個(gè)訓(xùn)練過程是增強(qiáng)了神經(jīng)網(wǎng)絡(luò)特征提取的 能力。就是說學(xué)習(xí)破損數(shù)據(jù)的過程相當(dāng)于一個(gè)簡化的PCA，本質(zhì)是進(jìn)行降維提取。而降維 就是神經(jīng)網(wǎng)絡(luò)最擅長的工作之一。二、降噪自動(dòng)編碼在地震去噪

3、領(lǐng)域的應(yīng)用那含有噪聲的數(shù)據(jù)，也是前面提到了通過訓(xùn)練破損的數(shù)據(jù)，可以提高自編碼網(wǎng)絡(luò)學(xué)習(xí)能力。 一種破損的數(shù)據(jù)，同樣可以使用自編碼網(wǎng)絡(luò)進(jìn)行降噪處理。在地震勘探領(lǐng)域，伴隨地震數(shù)據(jù)采集過程中，由于人為或環(huán)境因素的影響，不可避免地會(huì)引 入隨機(jī)噪聲。受污染的地震資料嚴(yán)重影響了后續(xù)的地震資料處理和成像。因此，抑制隨機(jī)噪 聲可以有效地提高地震資料的信噪比，有利于提高成像質(zhì)量。比如我們常常會(huì)將左圖的含噪數(shù)據(jù)進(jìn)行降噪處理，變成右圖的樣子。自編碼網(wǎng)絡(luò)天生就有很強(qiáng)的特征信息提取能力，因此特別適合降噪的處理這一類的應(yīng)用。那 到底效果如何呢？我們通過案例來告訴你。三、降噪自動(dòng)編碼實(shí)戰(zhàn)案例這個(gè)部分，我們帶領(lǐng)大家來實(shí)戰(zhàn)操作地

4、震去噪的整個(gè)處理過程。1.網(wǎng)絡(luò)結(jié)構(gòu)Conv4輸入 層Coru7Ctnv6CcnvSMaaP CorviConv2MaxF出 層 2B*2SUpSa m p nMaxF colinsConvSS個(gè) 3*3網(wǎng)絡(luò)結(jié)構(gòu)這部分和前面課程是一樣的。實(shí)現(xiàn)了一個(gè)卷積自動(dòng)編碼網(wǎng)絡(luò)。主要使用了卷積 層、最大池化層、上采樣層等結(jié)構(gòu)，形成鏡像的關(guān)系。其中卷積和池化成對(duì)，通過層層堆 疊形成了深度學(xué)習(xí)關(guān)系。2.數(shù)據(jù)準(zhǔn)備 我們的目標(biāo)是這個(gè)工區(qū)的數(shù)據(jù)進(jìn)行去噪處理。Noise0204060我們首先要準(zhǔn)備訓(xùn)練數(shù)據(jù)集。我們準(zhǔn)備了多個(gè)無噪聲的訓(xùn)練數(shù)據(jù)，加上了噪聲對(duì)神經(jīng)網(wǎng)絡(luò) 模型進(jìn)行訓(xùn)練。3.網(wǎng)絡(luò)訓(xùn)練(1)訓(xùn)練數(shù)據(jù)和標(biāo)簽數(shù)據(jù)準(zhǔn)備自己寫

5、了 getPathAddNoise的程序，將多個(gè)地震訓(xùn)練數(shù)據(jù)合成了一個(gè)含噪聲的訓(xùn)練集。這 個(gè)程序比較復(fù)雜就不細(xì)講了，最后結(jié)果就是生成了 3400個(gè)64x64的地震訓(xùn)練數(shù)據(jù)。X_testfloatS4 (34W, 64, 64, 1) f 言駕擺蚩斜L - W. zbobji iyi j干凈的地震數(shù)據(jù)是怎樣加上噪聲的呢？我們對(duì)干凈的地震仿真數(shù)據(jù)加上隨機(jī)噪聲，程序是 這樣寫的。注增規(guī)隨機(jī)噪聲noi5e_factor=.15data = data/abs(data)data = data 4- naise_f actor * np . random. randn(*dai:a .shape)這里的主

6、要步驟：首先是要將地震信號(hào)歸一化到-1至1的取值空間。然后加上了 15%的隨機(jī)噪聲。(2)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)input_iing = kerasInpu (shape=(64j 64j 1)持磷k = Layers.Co-nvSDtlLS (33)j activatiQn= relu , p目dding= same ) (input_imgk = layers . MaKPooling2D( (2 2) f paddlng= sarre ) (x)k = layers . Conv2DBj (3_) 3 J , actlva_tlcn= relu 1 j paddlrig= same 1 ) ( k

7、Jk = layers . MaKPooling：2D 2 2) t padding= same ) (x)x = layers.Co-nv2D(8j (33J), activ3tion= 1 reLu j padding= 53me)(,) encoded = Layers ,MBKPKling2J( (2_ 2) j padding= same)(k)x = layers.CGnv2D(8j (33). activstion=reLuj padding=same)(encoded)茸中間房k = layers . Llp-SamplinDjJ (2j 2) (x)k = layers. C

8、o-nv2D(Sj (3 BJ, actiwation= reLu j padding= same ) (kJk = layers . LlpSanpling：2D( (2j 2) (x)k = layers. ConvSDflS (3_, 3), 3ctivatron= reLu j padding= same )k = layers . LlpSanpling2D( (2j 2) (x)decoded = Layers .ConvSDflj (3j 3), activation= tanh j. padding=1 same)fx)autoencflder = keras.Model(in

9、put_imgj. decided) crwtffejicoder.匚omp tL或叩timizer= 1 adarn, t?55= mean_absQlute_曰rro-r1) autoencoder . compllef o-pimlzer= 1 adadelta 1 j loss = inean_squarecl_error ) autoencoder.s ummarY()這里的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)與上節(jié)課非常類似。但有兩點(diǎn)不同，一是優(yōu)化器從adam改為了 adadelta,這個(gè)優(yōu)化器有個(gè)特點(diǎn)就是速度較快。二是loss函數(shù)改為mean_squared_error， 這個(gè)損失函數(shù)在處理無異常值的情

10、況下，效果更好。接下來我們通過30個(gè)周期迭代，讓模型進(jìn)行了深度的學(xué)習(xí)。郵溯墟模壑Epochs=B0H=autoencoder.fit(K_teetX_teet epoch s=Epoclis,b3tch_size=LZ8j shuffle=True喜 construct a plot that pLntsN = nparange(lj Epochs-H)pitstyle. jss( ggplot)pitfigure)pit.plot(Nj H.historyloss j label=train_Loss)plt.title( Training Loss Jpit.xlabel(Epoch )p

11、it .yl3bel( Lo5S,r)pit. legend(Loc=rbest1)這里有個(gè)很有意思的地方是，我們的訓(xùn)練數(shù)據(jù)和標(biāo)簽數(shù)據(jù)都用的是一個(gè)，就是含噪聲的訓(xùn) 練數(shù)據(jù)。這個(gè)訓(xùn)練方式和有監(jiān)督學(xué)習(xí)不太一樣。這種訓(xùn)練方式稱為自監(jiān)督學(xué)習(xí)。即我們不 需要標(biāo)簽數(shù)據(jù)，直接從唯一的訓(xùn)練集中學(xué)習(xí)數(shù)據(jù)特征。為了體現(xiàn)自編碼網(wǎng)絡(luò)強(qiáng)大的學(xué)習(xí)能 力，我們直接用含噪聲的數(shù)據(jù)集來訓(xùn)練，看看它能不能從中學(xué)習(xí)到有效的信號(hào)。在整個(gè)網(wǎng)絡(luò)的調(diào)優(yōu)過程中，有以下幾個(gè)經(jīng)驗(yàn)分享給大家：一是訓(xùn)練數(shù)據(jù)的尺寸盡量小一些，從28至64的范圍比較合適，再大的話數(shù)據(jù)量就會(huì)較 大，造成訓(xùn)練速度較慢。二是訓(xùn)練數(shù)據(jù)的數(shù)量盡量多一些，訓(xùn)練周期長一些，這樣學(xué)習(xí)

12、質(zhì)量比較高。一般來說數(shù)量 在1萬以上比較好，比如Mnist的訓(xùn)練數(shù)據(jù)是6萬，訓(xùn)練周期在50次以上。本次教程限于 原理呈現(xiàn)，只用了 3000多個(gè)訓(xùn)練數(shù)據(jù)，訓(xùn)練了 30個(gè)周期，還未體現(xiàn)自編碼更好的效果。 三是最后一層的激活函數(shù)為tanh，而不是前面的sigmoid。因?yàn)榈卣饠?shù)據(jù)遠(yuǎn)比Mnist圖片數(shù) 據(jù)復(fù)雜，使用邏輯激活函數(shù)不能滿足要求。4.結(jié)果檢驗(yàn)從訓(xùn)練過程來看，loss值持續(xù)下降并逐步收斂，證明構(gòu)建的網(wǎng)絡(luò)結(jié)構(gòu)比較有效，參數(shù)設(shè)置 正確。Training LassEpoch現(xiàn)在我們來構(gòu)造測(cè)試的數(shù)據(jù)。我們制作了和訓(xùn)練數(shù)據(jù)不同的一個(gè)測(cè)試仿真數(shù)據(jù)，然后加上了 15%的隨機(jī)噪聲。左圖是清晰 數(shù)據(jù)，右圖是噪聲

13、數(shù)據(jù)。ClearNoise程序是這樣寫的：import segyiolist=data/test/testl.sgyrf = s e gyio. ope n (list j ignore_geMiiet ry=True) f.ranap()切data = np.asarrayfnp.copyfx) for k in f.trace:) data = data0s64j0:64|noise_factor=6.15data = data/abs(data) .maxOf -1 j -) data_test = data + noise_factor * nprandom. randn(*data

14、. shape左歸一建箭基礎(chǔ)上云噪聲明慮 data test = np,reshape(data test(lj 64丁 641)首先，加載測(cè)試仿真數(shù)據(jù)。然后把數(shù)據(jù)進(jìn)行歸一化，加上15%的隨機(jī)噪聲。最后構(gòu)造為1x64x64x1 的結(jié)構(gòu)。data_cons= autoencoder.predict(data_test) clip =況g屋示苞囹,宓禽擺才磨.殍虛 vmirij wnax = -clip clip# Figurreolor=rkr jf姑10):沒貿(mào)圖形的X小figj axs = pit subplots (nrow5=l ncols=3j f i.gsize=figsizej f

15、acecolor= w , edgec squeeze=zalsejShareK=Truejdpi=l)axs = axs.ravel()data_cons = np.reshape(data_consj (64j 64)data_teet = np.rehape(data_tetj (64, 64)axs0.imshowfdataj cmap=plt.cmJ seismicj vmin=vminj vmaK=vmaK)aws0.set_title(Clear)axs0.grid(False)clip = le-0顯示應(yīng)鼠塹值越太越明顯axsl . imshow(data_tetj cmap=

16、plt. cm. seismiCj vmin=wiinj vmaK=wiaK)1,set_title(Noise) axsl.grid(False)clip = le-0建示盤島塹憧越*越明顯wninj vnax = -clip clipaxs2 . imshow(data_consj cmap=plt. cm. seismiCj vmin=vininj vmaK=vmaK)axs2.set_title(denoise )axs2.grid(False)我們把測(cè)試數(shù)據(jù)放入到訓(xùn)練好的模型進(jìn)行預(yù)測(cè)處理。最后我們使用matplotlib來畫出地震 數(shù)據(jù)處理的效果圖。現(xiàn)在我們來看看最后的處理效果。左邊是干凈的原始測(cè)試信號(hào)，中間是加上了隨機(jī)噪聲的信號(hào)，右邊是去掉噪聲的信號(hào)。從上 面的結(jié)果來看，這次的實(shí)驗(yàn)加的噪聲比較大，噪聲對(duì)原始信號(hào)造成了較大的干擾。神經(jīng)網(wǎng)絡(luò) 模型對(duì)信號(hào)噪聲去除效果比較明顯。不過處理