深度學習及其在計算機視覺中的應用常見應用場景目錄01卷積神經網絡02生成對抗網絡03資源卷積神經網絡回顧：卷積空間相關與卷積回顧：卷積空間相關與卷積回顧：卷積離散卷積的邊緣效應回顧：卷積離散卷積的邊緣效應忽略這些點輸出尺寸<輸入尺寸使用常數填充圖像保證圖像不收縮，但會在邊緣產生梯度Zero-Padding其他方法填充圖像edge-paddingreflect-padding擴展：“學習”模板模板的參數是否可以進行學習？卷積神經網絡深度學習（DeepLearning）conv2d展成列向量spreadlinear(c_in,c_out)卷積神經網絡數據表示：矩陣，張量（Tensor）卷積神經網絡基本操作單元：卷積層卷積神經網絡基本操作單元：卷積層卷積神經網絡基本操作單元：卷積層卷積神經網絡基本操作單元：卷積層size=3c_in=3c_out=2stride=1padding=0卷積神經網絡基本操作單元：卷積層卷積神經網絡基本操作單元：卷積層擴展：深度學習基本操作單元：激活層ReLU卷積神經網絡基本操作單元：激活層卷積神經網絡基本操作單元：激活層卷積神經網絡基本操作單元：池化Pooling/降采樣層卷積神經網絡基本操作單元：池化Pooling/降采樣層卷積神經網絡池化Pooling/降采樣層卷積神經網絡基本操作單元：池化Pooling/降采樣層卷積神經網絡典型網絡結構卷積神經網絡典型網絡結構卷積神經網絡目標函數：損失Loss/誤差卷積神經網絡目標函數：損失/誤差卷積神經網絡目標函數：損失Loss/誤差優化方法梯度下降隨機梯度下降SGDAdamRMSprop...卷積神經網絡優化/訓練/學習卷積神經網絡卷積神經網絡優化/訓練/學習卷積神經網絡CNN以圖像的原始像素作為輸入，基于輸出層定義的損失函數使用反向傳播算法端到端(End-to-end)學習，從而自動學習得到圖像底層到高層的層次化語義表達卷積神經網絡深度特征學習L=||y-f(x)||1L=1,ify≠f(x)L=CE(y,f(x))交叉熵擴展：深度學習深度特征學習卷積神經網絡CNN模型結構變遷針對移動端的輕量型網絡LeNet(1998)AlexNet(2012)VGGNet(2014)NIN(2013)GoogLeNet(2014)ResNet(2015)DenseNet(2016)MobileNetV3(2016.04)ShuffleNet(2016.06)Xception(2016.10)SqueezeNet(2016.02)NAS(2018)研究課題舉例：人臉識別AlphaGo分布式系統：1202個CPU和176塊GPU單機版：48個CPU和8塊GPU走子速度：3毫秒-2微秒目標檢測（ObjectDetection）MaskRCNNOCR圖像生成DeepDream風格遷移對抗樣本研究課題舉例：醫學影像智能輔助診斷Zhu,Wentao,etal."DeepLung:3DDeepConvolutionalNetsforAutomatedPulmonaryNoduleDetectionandClassification."(2017).生成對抗網絡GAN是什么生成對抗網絡（GenerativeAdversarialNetwork,GAN）生成器G生成讓D無法判斷真假的樣本輸入z：從一個先驗概率分布取樣的隨機向量輸出G(z)：生成的樣本判別器D判斷樣本是真實的還是生成的輸入：真實樣本/G生成的樣本輸出：對真實樣本輸出1，生成樣本輸出0GAN是什么生成對抗網絡（GenerativeAdversarialNetwork,GAN）GD對抗GAN是什么DeepConvolutionGAN全部都是卷積層需要使用VirtualBatchNormalizationLeakyReLU作為激活函數DCGANGeneratorNetwork(Pytorch)DiscriminatorNetwork(Pytorch)GAN是什么

GAN是什么

DCGANDCGANsforLSUNBedroomsGAN是什么DensityEstimationDiscriminativemodel:p(y|x)y=0（大象elephant），y=1（馬，horse）Generativemodel:p(x|y)p(x|y=0)p(x|y=1)GAN是什么GAN是什么/jayleicn/animeGAN示例：生成小姐姐GAN是什么示例：生成人臉（PG-GAN,BigGAN,StyleGANetc.）GAN是什么ConditionalGAN(cGANorPix2Pix)GAN是什么ConditionalGAN(cGANorPix2Pix)GAN是什么U-Net(Pix2Pix)GAN是什么DiscriminatorStructure:PatchGAN(Pix2Pix)GAN是什么LossFunction:AdversarialLoss+L1ReconstructionLossGAN能干什么？ImageCompletion/Inpainting[17]IizukaS,Simo-SerraE,IshikawaH.Globallyandlocallyconsistentimagecompletion[J].ACMTransactionsonGraphics(ToG),2017,36(4):107.GAN能干什么？ImageSuper-Resolution圖像超分辨率重建SRGANESRGAN

[18]LedigC,TheisL,HuszárF,etal.Photo-realisticsingleimagesuper-resolutionusingagenerativeadversarialnetwork[C]//ProceedingsoftheIEEEconferenceoncomputervisionandpatternrecognition.2017:4681-4690.GAN能干什么？Anime4K：/bloc97/Anime4K開源算法，能在動畫播放中，實時把畫面變成4k，延時低至3毫秒。能把720p/1080p變成2160p，也能把480p變成1080pGAN能干什么？ConditionalGANGAN能干什么？自動上妝MakeupBeautyGANGAN能干什么？由左至右依次為：經修改的圖像、檢測到修改、自動還原后的圖像、原始圖像自動卸妝GAN能干什么？GAN能干什么？Text2ImageAttnGANStackGANStackGAN++GAN能干什么？圖像屬性編輯GAN能干什么？人臉轉正GAN能干什么？圖像修復圖像去雨/去霧圖像補全圖像超分辨率重建GAN能干什么？由左至右依次為：經修改的圖像、檢測到修改、自動還原后的圖像、原始圖像圖像合成GAN能干什么？視頻生成[21]WangTC,LiuMY,ZhuJY,etal.Video-to-videosynthesis[J].arXivpreprintarXiv:1808.06601,2018.GAN能干什么？FacePhoto-SketchSynthesis擴展：深度學習深度學習框架擴展：深度學習PytorchHub模型庫參考資料ComputerVision:AModernApproachbyDavidForsythandJeanPonce(2nded.)ComputerVision:AlgorithmsandApplications,byRichardSzeliski,/Book/計算攝影