解密：“無中生有”的計算機視覺計算機視覺（ComputerVision，CV）是一門研究如何使機器“會看”的科學。1963年來自MIT的LarryRoberts發表了該領域第一篇博士論文《MachinePerceptionofThree-DimensionalSolids》，標志著CV作為一門新興人工智能方向研究的開始。在發展了50多年后的今天，我們就來聊聊最近讓計算機視覺擁有“無中生有”能力的幾個有趣嘗試：超分辨率重建；

圖像著色；

看圖說話；

人像復原；

圖像自動生成?？梢钥闯?，這五個嘗試層層遞進，難度和趣味程度也逐步提升。由于篇幅有限，本文在此只談視覺問題，不提太過具體的技術細節，若大家對某部分感興趣，以后再來單獨寫文章討論。超分辨率重建（ImageSuper-Resolution）

去年夏天，一款名為“waifu2x”的島國應用在動畫和計算機圖形學中著實火了一把。waifu2x借助深度“卷積神經網絡”(ConvolutionalNeuralNetwork，CNN)技術，可以將圖像的分辨率提升2倍，同時還能對圖像進行降噪。簡單來說，就是讓計算機“無中生有”地填充一些原圖中并沒有的像素，從而讓漫畫看起來更清晰真切。大家不妨看看圖1、圖2，真想童年時候看的就是如此高清的龍珠啊！圖1《龍珠》超分辨率重建效果。右側為原畫，左側為waifu2x對同幀動畫超分辨率重建結果圖2waifu2x超分辨率重建對比，上方為低分辨率且有噪聲的動畫圖像，左下為直接放大的結果，右下為waifu2x去噪和超分辨率結果不過需要指出的是，圖像超分辨率的研究始于2009年左右，只是得力于“深度學習”的發展，waifu2x才可以做出更好的效果。在具體訓練CNN時，輸入圖像為原分辨率，而對應的超分辨率圖像則作為目標，以此構成訓練的“圖像對”（ImagePair），經過模型訓練便可得到超分辨率重建模型。waifu2x的深度網絡原型基于香港中文大學湯曉歐教授團隊的成果（如圖3所示）。有趣的是，這一研究指出可以用傳統方法給予深度模型以定性的解釋。在圖3中，低分辨率圖像通過CNN的卷積（Convolution）和池化（Pooling）操作后可以得到抽象后的特征圖（FeatureMap）?；诘头直媛侍卣鲌D，同樣可以利用卷積和池化實現從低分辨率到高分辨率特征圖的非線性映射（Non-LinearMapping）。最后的步驟則是利用高分辨率特征圖重建高分辨率圖像。實際上，這三個步驟與傳統超分辨率重建方法的三個過程是一致的。圖3超分辨率重建算法流程。從左至右依次為：低分辨率圖像（輸入）、經過若干卷積和池化操作得到的低分辨率特征圖、低分辨率特征圖經過非線性映射得到的高分辨率特征圖、高分辨率重建圖像（輸出）圖像著色（ImageColorization）

顧名思義，圖像著色是將原本“沒有”顏色的黑白圖像進行彩色填充。圖像著色同樣借助卷積神經網絡，輸入為黑白和對應彩色圖像的“圖像對”，但僅僅通過對比黑白像素和RGB像素來確定填充的顏色，效果欠佳。因為顏色填充的結果要符合我們的認知習慣，比如，把一條“汪星人”的毛涂成鮮綠色就會讓人覺得很怪異。于是近期，早稻田大學發表在2016年計算機圖形學國際頂級會議SIGGRAPH上的一項工作就在原來深度模型的基礎上，加入了“分類網絡”來預先確定圖像中物體的類別，以此為“依據”再做以顏色填充。圖