圖像信息是人類視覺感知信息的重要部分，隨著計(jì)算機(jī)、電子技術(shù)日益進(jìn)步，大規(guī)模運(yùn)算和信息的數(shù)-模轉(zhuǎn)換走入現(xiàn)實(shí)，由此催生出分為圖像識(shí)別、分割、重建等領(lǐng)域的數(shù)字處理技術(shù)蓬勃發(fā)展。作為圖像分割的典型應(yīng)用場(chǎng)景，人像分割是進(jìn)行人像美化、背景處理、人臉識(shí)別等領(lǐng)域?qū)罄m(xù)處理有必要作用。本文以深度學(xué)習(xí)中的卷積神經(jīng)網(wǎng)絡(luò)為基礎(chǔ)，研究如何利用U-Net模型在人像照片較有限的情況下達(dá)到人像分離合格的準(zhǔn)確率。最終實(shí)現(xiàn)模型的IOU在92.1%左右，Dice系數(shù)在95.7%左右。對(duì)比早期的分割方法，卷積神經(jīng)網(wǎng)絡(luò)U-Net模型通過類似編碼器—解碼器的“U”型結(jié)構(gòu)實(shí)現(xiàn)更簡(jiǎn)便、穩(wěn)定地提取數(shù)據(jù)的特征，且能更加有效的提高分割的準(zhǔn)確度。information.Withtfinformationcomeintoreality,Therefore,thedigitalprocessingbeautification,backgroundprocessing,facerecognitionandsoon.Therefore,itisnecefhumanimage.TheIOUofthefinalmodelisabout92.1%,andtheDicecoefficient1廣東東軟學(xué)院本科生畢業(yè)設(shè)計(jì)(論文)第一章緒論 1.1課題背景及國(guó)內(nèi)外研究現(xiàn)狀 11.2研究目的和意義 11.3研究主要內(nèi)容 21.4本文章節(jié)安排 2 32.1人工神經(jīng)網(wǎng)絡(luò)簡(jiǎn)介 32.2卷積神經(jīng)網(wǎng)絡(luò) 32.2.1卷積 42.2.2池化 52.2.3激活函數(shù) 62.3U-Net模型 7 7 82.4Tensorflow框架簡(jiǎn)介 92.5keras框架簡(jiǎn)介 9 3.1系統(tǒng)環(huán)境配置 3.2數(shù)據(jù)集選擇 3.3數(shù)據(jù)預(yù)處理 3.3.1Mask(掩膜)合并處理及轉(zhuǎn)換數(shù)組形式 廣東東軟學(xué)院本科生畢業(yè)設(shè)計(jì)(論文)3.4搭建u-net卷積神經(jīng)網(wǎng)絡(luò) 3.5模型訓(xùn)練與結(jié)果 第四章人像分割的設(shè)計(jì)與實(shí)現(xiàn) 4.1加載模型及測(cè)試集 4.3預(yù)測(cè)圖片呈現(xiàn) 第五章總結(jié)與展望 5.1總結(jié) 5.2展望與不足 參考文獻(xiàn) 致謝 11.1課題背景及國(guó)內(nèi)外研究現(xiàn)狀人類從視覺感知的信息占整體感知信息的70%左右，除了文本信息、視頻信息等，圖像信息也占了視覺感知信息很大一部分。隨著計(jì)算機(jī)、電子技術(shù)日益進(jìn)步，圖像分割即把圖像分割成若干不重疊的部分，這些部分圖像之間要么存在需分割出來研究的目標(biāo)物體，要么存在所需的物體部分與整體之間的相互關(guān)系。早在1963年，為了分割出圖像的不同部分Roberts邊緣檢測(cè)器被提出。自此始，圖像分割領(lǐng)域逐漸進(jìn)入蓬勃發(fā)展期，涌現(xiàn)出了各種各樣的分割方法。發(fā)展出了諸如基于區(qū)域、閾值、邊緣檢測(cè)以及重要的深度學(xué)習(xí)分割方法。而現(xiàn)有的圖像分割理論主要發(fā)展為主要包括屬于有監(jiān)督分割算法的深度學(xué)習(xí)、屬于無監(jiān)督分割模型的模糊集理論、小波變換等幾個(gè)大類。作為計(jì)算機(jī)視覺的重要部分，2014年圖像分割在上采樣部分使用反卷積。后來U-net模型(創(chuàng)造了一整套編碼解碼器)、SegNet模型(轉(zhuǎn)換Maximumpooling為解碼器)、DeepLab模型、PSPNet模型等被相繼提隊(duì)的劉恒其畢業(yè)論文中提出了基于藍(lán)色向量聚類特征的人像提取技術(shù)和基于先驗(yàn)知人發(fā)表Deepautomaticportraitmatting論文，在文中構(gòu)造了用是將圖像分為背景、人像、不確定標(biāo)簽三類，其二作用是通過前向傳播和后像傳播得到人像信息。區(qū)別于傳統(tǒng)的分割方法即還需要用戶手動(dòng)提供tri-map,該模型1.2研究目的和意義圖像分割是計(jì)算機(jī)視覺領(lǐng)域的重要組成部分，而人像分割是圖像分割領(lǐng)域的重中的目標(biāo)信息，為下一步精確且有效率地對(duì)目標(biāo)進(jìn)行分析打好基礎(chǔ)。就像人的眼睛2一樣，首先要通過鎖定視覺中的目標(biāo)物體，然后才能精準(zhǔn)地進(jìn)行下一步行動(dòng)。圖像人像分割是進(jìn)行人像美化、背景處理、人臉識(shí)別等領(lǐng)域的重要前提。例如人像系統(tǒng)上。然而現(xiàn)在的人像背景替換合成還有不少需進(jìn)步的地方。第一點(diǎn)是圖像分割功能的自動(dòng)化程度不高且處理效率較低，因?yàn)榇蟛糠中枰斯ねㄟ^軟件切割出人像以致得到的合成圖像讓人感覺不太真實(shí)、自然。因此通過人像分割從圖像中精確且完整地提取出人像目標(biāo)，對(duì)后續(xù)處理有必要作用。因?yàn)槠浞指钚Ч暮脡臅?huì)直接影響后面的輸出結(jié)果，因此研究便捷精確的人像分割模型具有重要意義。1.3研究主要內(nèi)容本文以深度學(xué)習(xí)中的卷積神經(jīng)網(wǎng)絡(luò)為基礎(chǔ)，研究如何利用U-Net模型在人像照片較有限的情況下達(dá)到人像分離合格的準(zhǔn)確率。對(duì)比早期的分割方法，卷積神經(jīng)網(wǎng)絡(luò)U-Net模型通過類似編碼器—解碼器的“U”型結(jié)構(gòu)實(shí)現(xiàn)更簡(jiǎn)便、穩(wěn)定地提取數(shù)據(jù)的特征，且能更加有效的提高分割的準(zhǔn)確度。1.4本文章節(jié)安排第一章：緒論。本章主要介紹了課題的研究背景與國(guó)內(nèi)外研究現(xiàn)狀，闡述了本第二章：卷積神經(jīng)網(wǎng)絡(luò)、U-Net模型及框架介紹。本章簡(jiǎn)單介紹了卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)，介紹了時(shí)下主流的幾種深度學(xué)習(xí)框架以及要用到的U-Net模型。配置，數(shù)據(jù)集的選擇和預(yù)處理及U-Net模型的構(gòu)建和訓(xùn)練。第四章：人像分割的設(shè)計(jì)與實(shí)現(xiàn)。這一章節(jié)編寫了如何通過訓(xùn)練好的U-Net對(duì)第五章：總結(jié)與展望。總結(jié)回顧論文與實(shí)驗(yàn)的各個(gè)部分，并說明了研究實(shí)驗(yàn)的3第二章卷積神經(jīng)網(wǎng)絡(luò)、U-Net模型及框架介紹人類大腦以計(jì)算機(jī)無法做到的方式來解釋現(xiàn)實(shí)世界的環(huán)境和情況。人工神經(jīng)網(wǎng)絡(luò)是一種模擬人腦工作的方法，這樣計(jì)算機(jī)就能像人腦一樣學(xué)習(xí)和做決定。人工神經(jīng)網(wǎng)絡(luò)是一種用于分類、回歸和聚類問題的機(jī)器學(xué)習(xí)算法。它是深層神經(jīng)網(wǎng)絡(luò)的基各種數(shù)據(jù)通過輸入層輸入，然后數(shù)據(jù)經(jīng)處理進(jìn)入隱藏單元，將數(shù)據(jù)轉(zhuǎn)換為輸出單元輸出輸入隱含層輸入神經(jīng)元網(wǎng)絡(luò)圖2-1生物神經(jīng)元與神經(jīng)元網(wǎng)絡(luò)元之間強(qiáng)度的值。這些是在學(xué)習(xí)過程中會(huì)逐漸改變的值。然后將偏差值與前面的總和相加。在所有這些累加之后，神經(jīng)元對(duì)這個(gè)值應(yīng)用一個(gè)激活函數(shù)。這基本上就是神經(jīng)元的工作。接收來自連接神經(jīng)元的數(shù)值，將其乘以各自的權(quán)重，將它們相加，然后應(yīng)用激活函數(shù)然后它把它傳遞給其他神經(jīng)元。每個(gè)神經(jīng)元從一個(gè)神經(jīng)元層完成后，就會(huì)傳遞到下一個(gè)神經(jīng)元層。最后，獲得的最后一個(gè)值應(yīng)該能夠預(yù)測(cè)期望的輸出。起初，神經(jīng)網(wǎng)絡(luò)的預(yù)測(cè)是隨機(jī)的。但是，隨著每個(gè)時(shí)期的進(jìn)行，并按照輸出應(yīng)有的模型進(jìn)行訓(xùn)練，預(yù)測(cè)值將越來越接近正確值。單個(gè)神經(jīng)元的上述工作應(yīng)該在整個(gè)網(wǎng)絡(luò)中進(jìn)行，并通過前向傳遞以及反向傳播的過程以確定最佳的參數(shù)。其中，權(quán)值優(yōu)化，使神經(jīng)網(wǎng)絡(luò)可以學(xué)習(xí)如何正確地映射隨機(jī)輸入到輸2.2卷積神經(jīng)網(wǎng)絡(luò)4卷積神經(jīng)網(wǎng)絡(luò)是一種用于圖像識(shí)別和處理的人工神經(jīng)網(wǎng)絡(luò)，是專門設(shè)計(jì)成處理大量的圖像數(shù)據(jù)中使用。神經(jīng)網(wǎng)絡(luò)的神經(jīng)元模擬了我們的神經(jīng)細(xì)胞之間相互連接的通訊方式，CN具有類似的結(jié)構(gòu)。使CNN與其他神經(jīng)網(wǎng)絡(luò)不同的是卷積運(yùn)算，它將濾波器應(yīng)用到前面輸入的每個(gè)部分，以便特征提取和映射。卷積層：通過濾波器來進(jìn)行特征提取及映射。在識(shí)別圖像過程中，不是直接一次性識(shí)別出整幅圖像，而是先提取局部圖像中的特征，然后進(jìn)入下一次層次的全局綜合運(yùn)算，來獲取全局信息。非線性激活層：激活函數(shù)對(duì)特征圖進(jìn)行非線性運(yùn)算。激活功能是對(duì)輸入體積進(jìn)池化層：池化層負(fù)責(zé)壓縮數(shù)據(jù)和減少參數(shù)的數(shù)量級(jí)。通常，它們?cè)谄渌麑?即卷積和非線性層)的多個(gè)階段之后使用，以便通過網(wǎng)絡(luò)逐步降低計(jì)算要求，并最大程度降低過度擬合的可能性。全連接層：經(jīng)多次卷積、激活和池化后，到達(dá)全連接層。卷積網(wǎng)絡(luò)中的全連接層實(shí)際上是多層感知器，是僅次于卷積層的第二耗時(shí)層。此層主要作用是將樣本從特征空間一一對(duì)應(yīng)到標(biāo)簽中。卷積是用于特征提取的一種特殊類型的線性運(yùn)算，其中在輸入上應(yīng)用一小串稱為卷積核的數(shù)字?jǐn)?shù)組，這是一組稱為張量的數(shù)字?jǐn)?shù)組。在張量的每個(gè)位置計(jì)算卷積核的每個(gè)元素與輸入張量之間的元素乘積，并將其求和以獲得在輸出張量的相應(yīng)位置的輸出值，稱為特征圖。重復(fù)此過程，應(yīng)用多個(gè)卷積核以形成任意數(shù)量的特征圖，這些特征圖代表輸入張量的不同特征；因此，不同的卷積核可以被認(rèn)為是不同的特征提取器。定義卷積運(yùn)算的兩個(gè)關(guān)鍵超參數(shù)是卷積核的大小和數(shù)量。前者通常為35×3,但有時(shí)為5×5或7×7。后者是任意的。應(yīng)該注意的是，步幅和濾波器大小是超參數(shù)，這意味著模型不會(huì)學(xué)習(xí)它們。所以必須應(yīng)用科學(xué)思維來確定這些數(shù)量中的哪些值最適合實(shí)驗(yàn)的模型。圖2-3卷積運(yùn)算示意圖(左輸入，中過濾器，右輸出)對(duì)于卷積，還需要理解的概念是填充。如果圖像無法在整數(shù)次內(nèi)與濾波器擬合 (將步幅考慮在內(nèi)),那么必須填充圖像。可通過兩種方式實(shí)現(xiàn)此操作：VALID填填充丟棄了圖像邊緣的所有剩余值。也就是說，如果濾波器為2x2,步幅為2,圖像的寬度為3,那么VALID填充會(huì)忽略來自圖填充向圖像邊緣添加值(通常為0)來增加它的維數(shù)，直到過濾器能夠擬合整數(shù)次。這種填充通常以對(duì)稱方式進(jìn)行的(也就是說，會(huì)嘗試在圖像的每一邊添加相同數(shù)量的列/行。2.2.2池化池化其實(shí)是降采樣的一種形式，包括最大池化、平均池化、全局池化等。池化操作是在特征圖的每個(gè)通道上滑動(dòng)二維濾波器，并對(duì)位于濾波器覆蓋區(qū)域內(nèi)的特征進(jìn)行匯總比如經(jīng)常見到的最大池化就是先把特征圖分為很多個(gè)矩形單元，從過濾器覆蓋的單元要素圖區(qū)域中選擇最大元素。因此，最大池化層之后的輸出將是一個(gè)包含先前特征圖最突出特征的特征圖。6X圖2-4最大池化樣本圖15311622271348046384池化的作用1.用于減小要素圖的尺寸。因此，它減少了要學(xué)習(xí)的參數(shù)的數(shù)量以及網(wǎng)絡(luò)中執(zhí)行的計(jì)算量；2.通過減少空間信息，也意味著減少的參數(shù)，因此減少了過度擬合的機(jī)會(huì)池化層匯總了由卷積層生成的特征圖區(qū)域中存在的特征。因此，對(duì)摘要特征執(zhí)行進(jìn)一步的操作，而不是對(duì)卷積層生成的精確定位的特征進(jìn)行操作。這使模型對(duì)輸入圖像中特征位置的變化更加具有魯棒性。2.2.3激活函數(shù)激活函數(shù)是卷積神經(jīng)網(wǎng)絡(luò)的必要組成部分。它用于創(chuàng)造卷積神經(jīng)網(wǎng)絡(luò)的非線性映射能力。假設(shè)沒有激活函數(shù)，那么即便有更多的卷積池化層，網(wǎng)絡(luò)層與層之間還是線性映射。也就是激活函數(shù)的加入有助于創(chuàng)建CNN的非線性模型能力。1.ReLU激活函數(shù)圖2-5ReLU激活函數(shù)在所有激活函數(shù)中，這是最類似于線性函數(shù)的函數(shù)：對(duì)于非負(fù)值，保持不變；對(duì)于負(fù)值，它返回0。用數(shù)學(xué)的話這意味著所有負(fù)值都將變?yōu)?,而其余值將保持原樣。這是一種生物學(xué)啟發(fā)的功能，因?yàn)榇竽X中的神經(jīng)元將“發(fā)射”(返回正值)7或不發(fā)射(返回0)。注意，與偏置結(jié)合使用，就實(shí)際上過濾掉了某個(gè)閾值以下的任何值。假設(shè)我們的偏置為-b。加上偏置后，任何小于b的輸入值都將變?yōu)樨?fù)值。Sigmoid函數(shù)采用任何實(shí)數(shù)作為輸入，并返回0到1之間的值。由于它是連續(xù)的，因此可以有效地“模糊”值：如果將Sigmoid應(yīng)用于3,則得到0.95。將其應(yīng)用到10,您將獲得0.999...并且它將一直逼近1而從未達(dá)到它。在負(fù)方向上也會(huì)發(fā)生同樣的情況逐漸收斂到如圖所示，當(dāng)x接近無窮大時(shí)，它接近1;如果x接近負(fù)無窮大，它接近0。它也是對(duì)稱的，當(dāng)輸入為0時(shí)，其值為1/2。由于它的取值介于0到1之間，因此2.3.1U-Net網(wǎng)絡(luò)結(jié)構(gòu)與提出背景8圖2-7U-Net模型結(jié)構(gòu)圖如U-Net模型結(jié)構(gòu)圖所示，每個(gè)特征圖用一個(gè)藍(lán)色塊顯示，對(duì)特征圖進(jìn)行的不同的操作用五種不同顏色的箭頭表示。頂部的數(shù)字代表該特征圖的通道數(shù)，該特征圖的尺寸表示在在藍(lán)色塊的左下角。整張圖的左半部分是下采樣的部分(特征提取部分),右半部分是上采樣部分。通過反復(fù)的卷積獲得輸入圖像的特征信息，并且將其映射到高維。使得圖像最豐富的特征信息存在于整個(gè)模型的高維。不同于FCN,u-net模型不直接對(duì)與原始圖像大小相同的輸出圖像進(jìn)行池化，反而通過反卷積，將特征從高緯重新映射到低維。在上采樣過程中，將下采樣網(wǎng)絡(luò)中同一維度的圖像進(jìn)行融合，以增強(qiáng)分割的精度。為了解決融合過程中維度翻倍的問題，需要再進(jìn)行卷積，使得與原維度相同以進(jìn)行下一次反卷積，再進(jìn)行下一次的卷積降維，直至輸出與原維度相同的圖像。(1)適用于小規(guī)模的數(shù)據(jù)集。這一點(diǎn)主要還是針對(duì)于醫(yī)學(xué)數(shù)據(jù)來說的，對(duì)于圖像分類任務(wù)或者去噪之類的任務(wù)數(shù)據(jù)集還是很充足的。(2)不使用全連接層。搭建網(wǎng)絡(luò)時(shí)，全連接層的應(yīng)用始終受限，主要是由于其9假設(shè)輸入是一張尺寸為(224,224,3)的彩色圖片，并假設(shè)期望輸出的特征圖尺寸為(224,224,64)。如果采用全連接Linear,那么輸入特征數(shù)量為224*224*3=150528,輸出特征尺寸為224*224*64=3211264,參數(shù)的數(shù)量為150528*3211264=483,385,147,392,這甚至比很多大型網(wǎng)絡(luò)參數(shù)都多；而如果使用卷積Conv(假設(shè)用3x3的卷積核),那么需要的卷積核為64個(gè)3x3x3的卷積核，總參數(shù)數(shù)量為64*3*3*3=1728,所以相比于全連接，卷積層大幅度減少了網(wǎng)絡(luò)的參TensorFlow是一個(gè)開源機(jī)器學(xué)習(xí)庫，它使用符號(hào)數(shù)學(xué)進(jìn)行數(shù)據(jù)流編程和可微分編程。TensorFlow由Google開發(fā)并于2015年發(fā)布，是ML的新來者，由于其易用的API和與前代產(chǎn)品相比的簡(jiǎn)單性，已在全球范圍內(nèi)廣受歡迎。TensorFlow最常用的ML應(yīng)用是神經(jīng)網(wǎng)絡(luò)，它可以分析筆跡并識(shí)別人臉。盡管TensorFlow是用Python編寫的，但由于JavaScript的近期流行，可以使用JavaScript端口。1.功能增強(qiáng)。盡管Keras具有許多用于ML和深度學(xué)習(xí)的常規(guī)功能，但TF卻更為先進(jìn)，尤其是在諸如線程，隊(duì)列和調(diào)試之類的高級(jí)操作中。2.控制增強(qiáng)。你并不總是需要很多的控制，但是一些神經(jīng)網(wǎng)絡(luò)可能需要這樣的控制，這樣你才能更好地理解和洞察，特別是在處理像權(quán)重或梯度這樣的操作時(shí)。和TensorFlow一樣，Keras也是一個(gè)用Python編寫的開源ML庫。然而，最大的區(qū)別在于Keras包裝了其他機(jī)器學(xué)習(xí)和數(shù)據(jù)庫的功能，包TensorFlow、Theano科學(xué)家喜歡使用Keras,因?yàn)樗筎ensorFlow更容易操作，意味著用戶不太容易制作出提供錯(cuò)誤結(jié)論的模型。Keras構(gòu)建和訓(xùn)練神經(jīng)網(wǎng)絡(luò)是對(duì)用戶友好及模塊化的，所以可以更容易地進(jìn)行深層神經(jīng)網(wǎng)絡(luò)的實(shí)驗(yàn)。Keras是從快速模型設(shè)計(jì)到最新研究再到生產(chǎn)的所有產(chǎn)品的最佳選擇。使用Keras的主要優(yōu)點(diǎn)，特別是與TensorFlow相比，包括：易于使用。在Keras中，對(duì)于大多數(shù)錯(cuò)誤，可以得到清晰、可操作的反饋。模塊化組合。Keras模型幾乎可以沒有限制地連接可配置的構(gòu)建塊。高度靈活性和可擴(kuò)展性。用戶可以為新的研究編寫自定義塊，并創(chuàng)建新的層、損失第三章基于Tensorflow的神經(jīng)網(wǎng)絡(luò)搭建3.1系統(tǒng)環(huán)境配置配置環(huán)境、安裝所需工具包等，大大減少了用戶使用難度。配置好tensorflow00PNieniceting,grapiatalf04.L1圖3-1Anaconda主界面本次實(shí)驗(yàn)的環(huán)境是基于python3.7的tensorflow-cpu版本。安裝實(shí)驗(yàn)所需工具包：m2w64-m2w64-ApythonApythonmodulethatimplementsthejin圖3-2安裝工具包3.2數(shù)據(jù)集選擇我們本次選擇的是CelebA—HQ數(shù)據(jù)集，但囿于計(jì)算能力，我們僅使用前兩千張圖片及其對(duì)應(yīng)的掩膜(Mask),該數(shù)據(jù)集介紹如下：CelebA—HQ是大規(guī)模人臉圖像數(shù)據(jù)集，包含三萬張高分辨率人臉圖像(從CelebA數(shù)據(jù)集選擇而來)及人臉屬性分割蒙版。CelebA是CelebFacesAttribute的縮寫，意即名人人臉屬性數(shù)據(jù)集，為了為人臉語義分割和屬性操作打下更好的研究基礎(chǔ)，研究人員在CelebA的基礎(chǔ)上構(gòu)建了包含30000張高分辨率512×512的人臉圖片，包含了面部19類詳細(xì)的信息標(biāo)注。針對(duì)被部分遮擋的面部區(qū)域，標(biāo)注員還進(jìn)行了推斷補(bǔ)全了語義標(biāo)簽。到此可以了解到對(duì)應(yīng)蒙版細(xì)分到頭發(fā)耳眼鼻眉嘴等人臉屬性，所以需要在數(shù)據(jù)預(yù)處理時(shí)進(jìn)行合成。圖3-3數(shù)據(jù)集圖像3.3數(shù)據(jù)預(yù)處理3.3.1Mask(掩膜)合并處理及轉(zhuǎn)換數(shù)組形式打開mask文件夾可以看到許多不同的人臉屬性掩膜。廣東東軟學(xué)院本科生畢業(yè)設(shè)計(jì)(論文)99g圖3-4Mask文件夾圖像在代碼中，我們新建一個(gè)convert_image類，包含兩個(gè)函數(shù)read_images和to_npy,read_images函數(shù)用來讀取圖像及對(duì)圖像對(duì)應(yīng)的各人臉屬性掩膜合成并defread_images(inage_path,mask_path,image_size=(512,512)):forimginos.listdir(ha'.format(int(ing.split(.',1)[0]))+'_r_ear=[{0:05].format(int(img.split(.,1)[0]))+-1_ear=['{0:05]'.formatskin=[10:05]'.format(int(ing,split(.,1)[0])X+cloth{0:05}'.format(int(ing.split(neck=10:05}'.format(int(img.split('.,1)[0]))+nechair_inage=cv2.imread(os.path.join(mask_path,hair[0]+ifnotos.path.exists(os,path.join(mask_path,hair[0]+',png')):hair_image=np.zeros(image_dict[img]r_ear_image=cv2.inread(os.path.join(mask_path,r_ear[0]+ifnotos.path.exists(os.path.join(mask_path,r_ear[0]+'.png')):r_ear_image=np.zeros(image_dict[img]1_ear_image=cv2.inread(os.pifnotos.path.exists(os.path.join(mask_path,l_ear[0]+'.pnz')):skin_image=np.zeros(image_dictcloth_image=cv2.imread(os.path.join(mask_path,cloth[0]+*.png'))neck_inage=cv2.imread(os.path.join(mask_path,neck[0]+'.png'))ose_inagetskin_imagetcloth_imagetneck_imagereturn(inage_dict,mas圖3-5read_images函數(shù)代碼廣東東軟學(xué)院本科生畢業(yè)設(shè)計(jì)(論文)將圖片和掩膜轉(zhuǎn)換成數(shù)組形式并作長(zhǎng)久保存。41#轉(zhuǎn)換圖像及擅膜以ny文件保存42defto_npy(image_dict,mask_dict):45forimg,mskinzip(47mask,append(msk.astype('uint16'))48image=np.array(image)3.3.2訓(xùn)練集驗(yàn)證集劃分訓(xùn)練集驗(yàn)證集按照8:2劃分，也就是訓(xùn)練集驗(yàn)證集分別是1600和400張圖像及對(duì)應(yīng)掩膜。訓(xùn)練集的功能是通過設(shè)置分類器的參數(shù)來訓(xùn)練模型。當(dāng)與驗(yàn)證集結(jié)合訓(xùn)練驗(yàn)證時(shí)，將選出同一參數(shù)的不同值以分別擬合出多個(gè)分類器。驗(yàn)證集：用訓(xùn)練集訓(xùn)練出的多個(gè)模型來對(duì)驗(yàn)證集進(jìn)行預(yù)測(cè)，記錄下各個(gè)模型的準(zhǔn)確率，最后選出最好的模型及其對(duì)應(yīng)的參數(shù)，用來逐漸調(diào)整模型參數(shù)。測(cè)試集：是模型在前面訓(xùn)練驗(yàn)證一直沒接觸過的數(shù)據(jù)，是用來測(cè)試訓(xùn)練出來的最佳模型的性能。設(shè)置訓(xùn)練集、驗(yàn)證集、測(cè)試集主要是防止訓(xùn)練的模型逐漸過擬合。1練trn證a創(chuàng)x_train=X[:int(valid_split6y_train=np.expand_dims(y_train,axis=-1)78x_valid=X[int(valid_split10y_valid=np.expand_dims(y_valid,axis=-1)12returnx_train,y_tr圖3-7訓(xùn)練集驗(yàn)證集劃分代碼廣東東軟學(xué)院本科生畢業(yè)設(shè)計(jì)(論文)3.4搭建u-net卷積神經(jīng)網(wǎng)絡(luò)U-Net模型由FCN結(jié)構(gòu)發(fā)展而來，因其整體結(jié)構(gòu)似字母U而得名，在醫(yī)學(xué)圖像領(lǐng)域應(yīng)用廣泛。它由左半部分的下采樣的部分(特征提取部分),右半部分的上采樣部分組成。通過反復(fù)的卷積獲得輸入圖像的特征信息，并且將其映射到高維使得圖像最豐富的特征信息存在于整個(gè)模型的高維。不同于FCN,u-net模型不直接對(duì)與原始圖像大小相同的輸出圖像進(jìn)行池化，反而通過反卷積，將特征從高緯重新映射到低維。j590defunet_model(input_size=(512,512,3)):p1=MaxPooling2D((2,2))(cc2=Conv2D(32,(3,3),activation='elu',kernel_initializer='he_norp2=MaxPooling2D((2,2))(cp3=MaxPooling2D((2,2))(cp4=MaxPooling2D(pool_size=(2,2))(u6=Conv2DTranspose(128,(2,2),strides-(2,2),paddingu7=Conv2DTranspose(64,(2,2),strides=(2,2),padding='sameu7=concatenate([u7,e?=Conw2D(6h,),ativation='elu',kerneLinitializer='he3.5模型訓(xùn)練與結(jié)果(1)優(yōu)化器(2)損失函數(shù)損失函數(shù)也是本次模型訓(xùn)練中的必備參數(shù)。在訓(xùn)練過程中通過loss可以明關(guān)于訓(xùn)練塊(batch_size)的大小，經(jīng)過多次嘗試，最終選擇了4,迭代100次.fit_generator()函數(shù)通過“邊生成邊訓(xùn)練”的方法，讓該網(wǎng)絡(luò)與生成器將一經(jīng)過訓(xùn)練后。最終的模型驗(yàn)證集準(zhǔn)確率在85%左右。圖3-9模型損失函數(shù)圖像第四章人像分割的設(shè)計(jì)與實(shí)現(xiàn)34#讀取測(cè)試案及其利應(yīng)的施照6x_test=np.load(os.path.join(os.getewd(),"Test_Imagesl.npy"))6y_test=np.load(os.path.join(os.getcwd(),"Test_Masksl.npy"))圖4-1模型加載及讀取數(shù)據(jù)代碼4.2測(cè)試11#將像親值從評(píng)點(diǎn)數(shù)傳化為鑒數(shù) 測(cè)試單張圖片用時(shí)為：0.7931912423203116s圖4-2測(cè)試代碼4.3預(yù)測(cè)圖片呈現(xiàn)圖4-3部分預(yù)測(cè)圖片4.4計(jì)算10U及Dice系數(shù)人眼只能大概感知分割效果如何，那么如何理性地準(zhǔn)確量化呢?本實(shí)驗(yàn)采用IOU和Dice系數(shù)兩種指標(biāo)來評(píng)價(jià)模型最終的分割效果。所謂的分割效果也就是分割結(jié)果與標(biāo)準(zhǔn)Mask之間的相似程度。圖4-4IOU計(jì)算公式圖4-5Dice系數(shù)計(jì)算公式IOU(IntersectionOverUn交并比)在本實(shí)驗(yàn)中即分割出來的人像部分與Mask二者的交集除以二者的并集。最后算出本模型的IOU在92.1%左右，Dice系數(shù)在95.7%左右。廣東東軟學(xué)院本科生畢業(yè)設(shè)計(jì)(論文)t49t492…89l2#計(jì)察10U分?jǐn)?shù)iou=K,mean((intersection+snooth)/(uniintersection=K.sun(y_true*y_pred,axis=[1,2,3])union=K.sum(y_true,axis=[1,2,3])+K.gun(y_pred,axis=[1,dice=K.mean((2*intersection+smooth)/(iou_score=iou_coef(y_test,dilate_opt.astype('int64'))dice_score=dice_coef(y_test,dilate3print('DiceCoefficientDiceCoefficientonthe圖4-6計(jì)算I0U及Dice系數(shù)代碼五.總結(jié)與展望為了解放全人類，即讓人從必要而自身不感興趣的任務(wù)中逐漸解放出來，能夠讓機(jī)器像人一樣學(xué)習(xí)、思考、決策、行動(dòng)一直是部分人的夢(mèng)想。而機(jī)器做到這一切之前的前提就是他能像人一樣感知，即能夠解讀得到的信息。圖像信息就是其中一部分，而學(xué)會(huì)圖像分割是必要的。就像人的眼睛一樣，首先要通過鎖定整個(gè)視覺中的目標(biāo)物體，然后才能精準(zhǔn)地進(jìn)行下一步行動(dòng)。本文首先編寫了課題的研究背景與國(guó)內(nèi)外研究現(xiàn)狀、研究目的和意義，然后介紹了卷積神經(jīng)網(wǎng)絡(luò)、U-Net模型及框架等理論知識(shí)以及基于Tensorflow構(gòu)建U-Net模型，最后描述了如何通過訓(xùn)練好的U-Net對(duì)測(cè)試集圖片進(jìn)行預(yù)測(cè)。最終實(shí)現(xiàn)模型的IOU在92.1%左右，Dice系數(shù)在95.7%左右。對(duì)比早期的分割方法，卷積神經(jīng)網(wǎng)絡(luò)U-Net模型通過類似編碼器—解碼器的“U”型結(jié)構(gòu)實(shí)現(xiàn)更簡(jiǎn)便、穩(wěn)定地提取數(shù)據(jù)的特征，且能更加有效的提高分割的準(zhǔn)確度。通過本次課題的研究，讓我對(duì)卷積神經(jīng)網(wǎng)絡(luò)、U-Net模型、圖像分割以及tensorflow框架等都有更進(jìn)一步的了解。囿于自身能力、實(shí)驗(yàn)時(shí)間、硬件能力等原因，對(duì)于人像分割的研究實(shí)現(xiàn)還有由于使用的CelebA-HQ訓(xùn)練集有部分掩膜標(biāo)注不十分準(zhǔn)確，可以更換其他更因?yàn)殡娔X硬件原因，只能使用tenflowcpu版，訓(xùn)練的圖片量有限，之后可以升級(jí)硬件以改進(jìn)模型。由于時(shí)間有限，往后希望可以把模型加載進(jìn)一個(gè)小程序或軟件或網(wǎng)站，呈現(xiàn)參考文獻(xiàn)[1]趙明君李杰毛明禾.基于標(biāo)簽傳遞的人像分割[J].數(shù)據(jù)采集與處理，2019(01):179-186.[4]U-Net:ConvolutionalNetworksforBiomedicalImageSegmentation,Olaf-Ronneber[5]tps:///pdf/1505.04597.pdf[6]王珊，薩師煊.數(shù)據(jù)庫系統(tǒng)概論[M].高等教育出版社，2006.5:198-235.[7]李家興.基于卷積神經(jīng)網(wǎng)絡(luò)的圖像檢測(cè)技術(shù)研究.廣東工業(yè)大學(xué).[8]鄒鑫.基于卷積神經(jīng)網(wǎng)絡(luò)的圖像分類算法研究.西北師范大學(xué).致謝慣，這些習(xí)慣在我在以后的學(xué)習(xí)生活中仍然會(huì)有很大的幫助。想對(duì)身邊的同學(xué)、落有致的高樓矮房一切生靈和據(jù)說沒生命的事物，對(duì)這一切的一切說聲謝謝!四廣東東軟學(xué)院本科生畢業(yè)設(shè)計(jì)(論文)對(duì)我的照顧和認(rèn)可，蘇老師是一個(gè)嚴(yán)厲而不失親和的老師，在畢設(shè)的過程中，蘇老師能夠悉心指導(dǎo)我，同時(shí)又給我很大的自由發(fā)揮的空間，讓我能夠非常順利并且很愉快地完成畢設(shè)，同時(shí)我也對(duì)即將開始的事業(yè)生涯充滿期待。最后，雖落窠臼但不失真誠(chéng)地是要感謝自己的父母。他們雖目不識(shí)丁，唯知辛勤勞作以養(yǎng)家糊口，他們深深立足腳下，不知還有星空，但從來沒有阻止我去仰望、去追逐。對(duì)于我的學(xué)習(xí)、我的決定向來都是無條件的支持，在我為論文和工作的雙重壓力而焦頭爛額之際，叮囑我照顧好身體，安慰我順其自然，盡人事而聽天命。非有父母之生養(yǎng)，則無我今日之生命；非有父母之支持，則無我今日之學(xué)業(yè)有成。他們是我此生最愛的人。在大學(xué)四年即將結(jié)束的句點(diǎn)前，再一次感恩陪我度過美好四年的你們；未來，我們也一定都會(huì)更好!捷鍵與一些電腦小技巧這是高手最常用的第一快捷組合鍵。這個(gè)快捷鍵組合可以將桌面上的所有窗口瞬間最小化，無論是聊天的窗口還是游戲的窗口……只要再次按下這個(gè)組合鍵，剛才的所有窗口都回來了，而且激活的也正是你最小化之前在使用的窗口!其實(shí)，還有一個(gè)更簡(jiǎn)單的辦法，就是按winkey+r!如果打開的窗口太多，這個(gè)組合鍵就非常有用了，它可以在一個(gè)窗口中顯示當(dāng)前打開的所有窗口的名稱和圖標(biāo)●,選中自己希望要打開的窗口，松開這個(gè)組合鍵就可以了。而alt+tab+shift鍵則去摸鼠標(biāo)了!winkey指的是鍵盤上刻有windows徽標(biāo)的鍵●。winkey主要出現(xiàn)在這3個(gè)鍵大部分位于鍵盤的右上方。當(dāng)你選中一個(gè)文件的話，這意味著“重命名”F10或ALT放入回收站激活當(dāng)前程序的菜單欄打開開始菜單在win9x中打開關(guān)閉程序?qū)υ捒騽h除被選擇的選擇項(xiàng)目，如果是文件，將被放入回收站刪除被選擇的選擇項(xiàng)目，如果是文件，將被直接刪除而不是新建一個(gè)新的文件保存當(dāng)前操作的文件剪切被選擇的項(xiàng)目到剪貼板復(fù)制被選擇的項(xiàng)目到剪貼板粘貼剪貼板中的內(nèi)容到當(dāng)前位置ALT+BACKSPACE或CTRL+Z撤銷上一步的操作ALT+SHIFT+BACKSPACE重做上一步被撤銷的操作Windows鍵+D:最小化或恢復(fù)windows窗口Windows鍵+U:打開“輔助工具管理器”Windows鍵+FWindows鍵+BREAKWindows鍵+CTRL+F重新將恢復(fù)上一項(xiàng)操作前窗口的大小和位置打開資源管理器打開當(dāng)前活動(dòng)項(xiàng)目的快捷菜單在放入CD的時(shí)候按下不放，可以跳過自動(dòng)播放CD。在打開word的時(shí)候按下不放，可以跳過自啟動(dòng)的宏一個(gè)窗口)關(guān)閉當(dāng)前應(yīng)用程序打開程序最左上角的菜單切換當(dāng)前程序?qū)indows下運(yùn)行的MSDOS窗口在窗口和全屏幕狀態(tài)間切換將當(dāng)前屏幕以圖象方式拷貝到剪貼板將當(dāng)前活動(dòng)程序窗口以圖象方式拷貝到剪貼板關(guān)閉當(dāng)前應(yīng)用程序中的當(dāng)前文本(如word中)切換到當(dāng)前應(yīng)用程序中的下一個(gè)文本(加shift可以跳到前顯示前一頁(前進(jìn)鍵)顯示后一頁(后退鍵)在頁面上的各框架中切換(加shift反向)刷新強(qiáng)行刷新x:\DocumentsandSe戶臨時(shí)文件)下的所有文件(頁而文件)x:\DocumentsandSettings\用戶名\Recent\下的所有文件(最近瀏覽文件的快捷方式)x:WINDOWS\Temp\下的所有文件(臨時(shí)文件)x:WINDOWS\ScrvicePackFiles(升級(jí)sp1或sp2后的備份文件)x:WINDOWS\DriverCachei386下的壓縮文件(驅(qū)動(dòng)程序的備份文件)x:WINDOWS\SoftwareDistribution\download下的所有文件下以$u…開頭的隱藏文件4.然后對(duì)磁盤進(jìn)行碎片整理，整理過程中請(qǐng)退出一切正在運(yùn)行的程序個(gè)還原點(diǎn)”(最好以當(dāng)時(shí)的日期作為還原點(diǎn)的名字)7、在各種軟硬件安裝妥當(dāng)之后，其實(shí)XP需要更新文件的時(shí)候就很少了。刪除系統(tǒng)備份文件吧：開始→運(yùn)行→sfc.exe/purgecache近3xxM。(該命令的作用是立即清除"Windows文件保護(hù)"文件高速緩存，釋放出其所占據(jù)的空間)用的dI檔，只要你已拷貝了安裝文件，完全可以這樣做。硬件的可能性不大，所以也可以考慮將這個(gè)備份刪除，文件位于\windows\drivercachei386日錄下，名稱為driver.cab,你直接將它刪除就可以10、刪除不川的輸入法：對(duì)很多網(wǎng)友來說，W入法并不全部都合適自己的使用，比如IMJP81口文輸入法、IMKR61韓文輸入法這些輸入法，如果用不著，我們可以將其刪除。輸入法位丁11、升級(jí)完成發(fā)現(xiàn)windows\多了許多類似$NtUninstallQ311889$叫。。。都十掉!13、關(guān)閉系統(tǒng)還原：系統(tǒng)還原功能使用的時(shí)間一長(zhǎng)，就會(huì)占用大量的硬盤空間。因此有必要對(duì)其進(jìn)行于工設(shè)置，以減少硬盤占用量。打開"系統(tǒng)屬性"對(duì)話框，選擇"系統(tǒng)還原"選項(xiàng)，選擇"在所有驅(qū)動(dòng)器上關(guān)閉系統(tǒng)還原"復(fù)選框以關(guān)閉系統(tǒng)還原。也可僅對(duì)系統(tǒng)所在的磁盤或分區(qū)設(shè)置還原。先選擇系統(tǒng)所在的分區(qū)，單擊"配置"按釩，在彈出的對(duì)話框中取消"關(guān)閉這個(gè)驅(qū)動(dòng)器的系統(tǒng)還原"選項(xiàng)，并可設(shè)置用于系統(tǒng)還原的磁盤空間大小。14、休眠功能會(huì)占用不少的硬盤空間，如果使用得少不妨將共關(guān)閉，關(guān)閉的方法是的：打開"控制面板",雙擊"電源選項(xiàng)",在彈出的"電源選項(xiàng)屬性"組件有很大一部分是你根本不可能用到的，可以在"