論3d轉(zhuǎn)3d的質(zhì)量控制

在電影三維造像的早期階段，2d-3d作為一種新的三維成像方法，在3d內(nèi)容不足的情況下，可以補(bǔ)充3d內(nèi)容的生產(chǎn)和創(chuàng)作。國(guó)內(nèi)的2D轉(zhuǎn)3D技術(shù)也悄然興起,不少制作公司和團(tuán)體都開始相關(guān)的3D制作與轉(zhuǎn)換研究,但國(guó)產(chǎn)3D影像的質(zhì)量卻難以達(dá)到較高的質(zhì)量,其根本原因在于制作技術(shù)與工作流程中存在著細(xì)節(jié)上的質(zhì)量問題,這些問題匯總在一起,導(dǎo)致我們的立體制作效果存在較大誤差,以致于難以被觀眾接受。概括地說,除了常規(guī)的背景修補(bǔ)工作之外,2D轉(zhuǎn)3D制作主要存在以下三個(gè)方面的問題。一、蒙板、roto的制作流程和質(zhì)量控制Rotoscope簡(jiǎn)稱Roto,是后期制作中一項(xiàng)相對(duì)簡(jiǎn)單的技術(shù)手段,它的工作內(nèi)容是將畫面中某些部分通過蒙板繪制的方式提取出來,為影像合成提供元素。Roto和摳像有著本質(zhì)上的區(qū)別,Roto是通過蒙板繪制來描繪通道,而摳像則是通過圖像中的顏色信息來提取有用的通道。在2D轉(zhuǎn)3D的圖像分層和元素提取過程中,這兩種手段各占一定比例,其中Roto工作占絕大多數(shù)。Roto看似簡(jiǎn)單,對(duì)制作人員的要求相對(duì)較低,和高端后期制作相比,Roto的成本相對(duì)低廉,但這是建立在完善的工作流程和質(zhì)量管理體制的基礎(chǔ)之上,如果沒有流程和質(zhì)量管理體系,Roto的質(zhì)量無法得到有效保證。完善的質(zhì)量控制流程下,多數(shù)Roto人員不需要有太多后期制作經(jīng)驗(yàn)。實(shí)際上Roto工作可以分為兩種情況,一種是無技巧的逐幀手繪蒙板;另一種是需要有一些處理經(jīng)驗(yàn)和技巧的通道提取和半自動(dòng)跟蹤提取。低成本的Roto多數(shù)屬于第一種情況,這些需要逐幀描繪蒙板的鏡頭,畫面中多數(shù)是運(yùn)動(dòng)的主體,例如打斗或運(yùn)動(dòng)中的角色等等。這部分工作相對(duì)簡(jiǎn)單,純手工繪制蒙板更多的是需要耐心細(xì)致的描繪和責(zé)任感,因此批量培訓(xùn)工人做Roto的鏡頭,是經(jīng)過嚴(yán)謹(jǐn)?shù)墓ぷ髁鞒毯Y選之后的鏡頭。經(jīng)過制作流程的篩選和質(zhì)量控制保障,這部分Roto的質(zhì)量能夠滿足要求,但對(duì)于稍復(fù)雜一些的電影級(jí)Roto來說,要求制作者不但要有常規(guī)后期制作的基礎(chǔ),還要對(duì)通道和蒙板有一定的理解,能夠達(dá)到對(duì)摳像工具靈活運(yùn)用,并適當(dāng)掌握影像的跟蹤,攝影機(jī)反求技術(shù)與跟蹤數(shù)據(jù)轉(zhuǎn)換等,因此這部分工作并不是經(jīng)過簡(jiǎn)單培訓(xùn)就可以解決的。要系統(tǒng)地掌握Roto技巧則有一定難度。在Roto的質(zhì)量評(píng)價(jià)中有三個(gè)主要指標(biāo),一是圖像跟蹤的精度,二是蒙板邊緣的精度,三是運(yùn)動(dòng)模糊邊界的模糊匹配。對(duì)電視圖像來說這些要求都不高,但對(duì)電影級(jí)后期合成來說,邊緣可能產(chǎn)生很多問題。手動(dòng)繪制的蒙板邊緣精度要低于經(jīng)過計(jì)算機(jī)跟蹤處理的邊緣精度,對(duì)沒有形變的固態(tài)物體邊緣來說,手動(dòng)描繪無法達(dá)到經(jīng)過子像素跟蹤計(jì)算的邊緣精度。例如手繪者很難達(dá)到半個(gè)像素的運(yùn)動(dòng)邊界匹配,而經(jīng)過較準(zhǔn)確的跟蹤,電腦可以計(jì)算出1/256像素,甚至更細(xì)致的運(yùn)動(dòng)。第二個(gè)問題是蒙板邊緣的羽化匹配,當(dāng)影像邊緣處于失焦或運(yùn)動(dòng)模糊狀態(tài)時(shí),清晰的蒙板邊界會(huì)為合成帶來嚴(yán)重的邊緣問題,即便是處于焦點(diǎn)范圍內(nèi)的物體邊緣,也并非絕對(duì)銳利,根據(jù)拍攝條件不同常會(huì)帶有輕微的邊緣模糊圈,這要求蒙板邊界要進(jìn)行適當(dāng)?shù)挠鸹ヅ洹Ｈ鐖D1所示為Roto后的單層蒙板邊緣羽化,圖2為多重蒙板的群組化整體羽化。畫面中的運(yùn)動(dòng)模糊則要求運(yùn)動(dòng)部分經(jīng)過分離后的邊緣不能摻雜背景影像,這些運(yùn)動(dòng)模糊多半是不均勻的,出現(xiàn)在運(yùn)動(dòng)速度較快的部分模糊程度也越大,同一個(gè)元素的不同邊界部分,模糊程度也是不同的。如圖3、圖4、圖5所示。電影級(jí)畫面的Roto要求在蒙板邊緣上再現(xiàn)這些模糊,使通道邊緣和影像本身的邊緣模糊程度趨于一致。如圖4、圖5所示為Mocha的非均勻邊緣質(zhì)量控制。在AfterEffects中的Mask繪制,目前CS5版本仍未提供獨(dú)立的單點(diǎn)模糊調(diào)節(jié),同樣的功能只能依靠插件解決,但通過使用插件使流程管理不太方便,工作量和成本也增加很多。這導(dǎo)致電影級(jí)的Roto要依賴于更專業(yè)的Roto工具來完成,例如Nuke、Shake或Mocha。圖6所示為Mocha的單點(diǎn)羽化控制。無論使用哪種工具來繪制蒙板,如果要完美地表現(xiàn)這些邊緣模糊,工作量都會(huì)倍增,高質(zhì)量的Roto難以推廣,與大多數(shù)后期制作任務(wù)一樣,這樣的矛盾總是客觀存在著,管理者只能嘗試尋找平衡點(diǎn),在時(shí)間和成本壓力下,Roto的質(zhì)量經(jīng)常處于質(zhì)量要求的下限,在國(guó)內(nèi)很難找到真正采用逐點(diǎn)運(yùn)動(dòng)模糊匹配流程的Roto制作團(tuán)隊(duì),這是國(guó)內(nèi)2D轉(zhuǎn)3D第一個(gè)環(huán)節(jié)中Roto的質(zhì)量不高的主要原因。二、其它圖像信息的創(chuàng)建在深度信息重建過程中,最依賴Roto的質(zhì)量和圖層細(xì)分程度,一方面過多的Roto分層會(huì)給深度信息重建帶來更多的困難;另一方面,太少的分層會(huì)讓深度信息顯得缺乏。因此如何對(duì)一個(gè)圖像分層,也是比較難把握的一個(gè)平衡點(diǎn)。深度信息重建有很多種思路,對(duì)于三維軟件渲染的圖像而言,添加一個(gè)Z通道與圖像同時(shí)渲染很輕松,但三維渲染可以添加右眼攝影機(jī)位來輸出立體圖像,除了后期需要用深度信息調(diào)節(jié)景深關(guān)系或制作與Z通道合成外,Z通道信息似乎毫無用處。在未來的立體制作流程中,隨著軟硬件技術(shù)的發(fā)展,會(huì)出現(xiàn)單傳感器同時(shí)獲取RGB和Z通道,然后用算法求出右眼攝影機(jī)圖像的方法。Z通道信息很可能被改造并加入一些其它圖像信息,如記錄視差部分和圖像運(yùn)動(dòng)信息等。在2D轉(zhuǎn)3D制作流程中深度信息重建有兩種方式:一是用軟件分析圖像中的光線、運(yùn)動(dòng)等信息,計(jì)算出深度信息(如圖8所示);二是由制作者對(duì)圖像進(jìn)行人工分析,Roto給出每一個(gè)必要的圖層并賦予深度信息,但是通過人工創(chuàng)建深度信息也存在不精確的問題,人工填充的深度信息會(huì)有很多細(xì)微的錯(cuò)誤,以及人為的經(jīng)驗(yàn)和誤差因素。如圖9中圖像下方的碗和上方的茶匙,用橢圓漸變很難概括出真實(shí)結(jié)構(gòu)的深度信息,而圖10中的角色也存在同樣問題。而通過算法求出的深度信息,有些相對(duì)準(zhǔn)確,但有很大一部分則不準(zhǔn)確,如圖9和圖10所示,這將導(dǎo)致立體效果產(chǎn)生輕微偏差。這兩種方式目前都被應(yīng)用于2D轉(zhuǎn)3D的過程中,兩種方式各有優(yōu)勢(shì)。自動(dòng)計(jì)算深度信息的問題在于,計(jì)算機(jī)并不能完美地識(shí)別每一個(gè)鏡頭中的前后關(guān)系,盡管大量的仿神經(jīng)算法的自動(dòng)訓(xùn)練,可以逐步提高計(jì)算識(shí)別的精確度,但總是會(huì)造成這樣那樣的錯(cuò)誤。比如對(duì)某些特殊運(yùn)動(dòng)的鏡頭可以得到較為正確的結(jié)果,如圖8所示;但是對(duì)于靜態(tài)圖像自動(dòng)計(jì)算幾乎毫無辦法,如圖11所示。由于自動(dòng)計(jì)算有實(shí)時(shí)性的要求,中間過程無法實(shí)行人工干預(yù)。這些算法被應(yīng)用于自動(dòng)實(shí)時(shí)的2D轉(zhuǎn)3D過程中,其結(jié)果是錯(cuò)誤的立體影像摻雜進(jìn)去,有時(shí)候比例會(huì)高達(dá)50%,錯(cuò)誤的立體影像是導(dǎo)致視覺不舒適的主要原因,因而這些圖像難以被電影和電視認(rèn)可,也無法被觀眾普遍接受。人工深度信息重建,有時(shí)候會(huì)比自動(dòng)計(jì)算來得正確一些,但是由于前期Roto工作量巨大,其效率很低,添加深度信息的工具也只能進(jìn)行較簡(jiǎn)單的線性模擬填充,準(zhǔn)確度依賴于制作者的經(jīng)驗(yàn)和對(duì)圖像的理解,而且對(duì)圖像中大面積云霧、雨雪、粒子這樣的部分幾乎無能為力。在幾何結(jié)構(gòu)復(fù)雜的物體上,填充完全正確的深度信息非常困難,只能得到近似的結(jié)果而精確度會(huì)下降。要得到和正確深度相近的結(jié)果,則必須加大前期Roto的工作量,更加細(xì)致地描繪出深度等高線,并配合使用非線性填充手段,必要時(shí)甚至要建立三維模型,通過實(shí)際深度運(yùn)算來獲得更為逼真的深度分布。三、轉(zhuǎn)換的“正確”轉(zhuǎn)換算法的基本思路是使用深度信息對(duì)源圖像進(jìn)行子像素重建,通過像素偏移和插值得到新的右眼圖像。這種做法初期曾經(jīng)受到很多人質(zhì)疑,大家稱它為“偽3D”,但是隨著對(duì)3D影像研究的深入,很多人開始了解到即便是雙機(jī)拍攝的3D影像,也存在幾乎同樣多的問題,嚴(yán)格來說除了直接用雙眼去看世界以外,真正精確的3D影像幾乎并不存在,3D影像是一種銀幕幻覺,在這個(gè)過程中不必細(xì)究影像是出自雙機(jī)拍攝還是3D轉(zhuǎn)換。某些情況下,流程和質(zhì)量控制嚴(yán)格的轉(zhuǎn)換得到的3D影像,比雙機(jī)拍攝的3D圖像更加“正確”。喬治·盧卡斯(GeorgeLucas)、詹姆斯·卡梅隆(JamesCameron)等著名導(dǎo)演也在第一輪有問題的2D轉(zhuǎn)3D之后,重新評(píng)估2D轉(zhuǎn)3D的質(zhì)量,接受并使用這一技術(shù),認(rèn)可它能夠重建出更完美的3D視覺。在轉(zhuǎn)換過程中,除了Roto邊緣質(zhì)量和深度重建的質(zhì)量之外,最重要的就是轉(zhuǎn)換的算法,其問題焦點(diǎn)在于重建的圖像中有部分信息是原圖像中“不存在”的——例如前后景拉開之后形成的空洞,填補(bǔ)這些空洞的算法越來越多,但究其根本都無法做到百分之百的正確和完美。對(duì)于立體視覺深度較小的圖像,空洞修補(bǔ)可以通過簡(jiǎn)單或復(fù)雜的插值計(jì)算得到,這些算法的問題在于一旦元素運(yùn)動(dòng)起來,前景邊緣可能產(chǎn)生扭曲,這些失真扭曲在靜幀中并不明顯,但在運(yùn)動(dòng)圖像中則極易被察覺,同時(shí)前后景之間可能會(huì)形成深度空間上的粘連。電視或手機(jī)的立體影像轉(zhuǎn)換中,由于畫面較小圖像質(zhì)量不高,這些問題對(duì)觀眾產(chǎn)生的影響不大,一些觀眾甚至根本不會(huì)感覺到。但在電影畫面的轉(zhuǎn)換中,這些問題會(huì)被銀幕放大,從而導(dǎo)致觀眾對(duì)立體影像質(zhì)量產(chǎn)生質(zhì)疑。要從根本上解決這個(gè)問題,其中一個(gè)比較可行的方案是在轉(zhuǎn)換過程中引入背景修補(bǔ)環(huán)節(jié),將空洞的部分運(yùn)用后期手段進(jìn)行修補(bǔ)——修補(bǔ)背景在好萊塢工業(yè)級(jí)別的電影后期制作中早已經(jīng)不是問題,但在2D轉(zhuǎn)3D的過程中,這一工作量將呈現(xiàn)幾倍、十幾倍的增長(zhǎng),不同鏡頭的情況也不一樣,某些較復(fù)雜的鏡頭,修補(bǔ)難度也非常高。四、共性質(zhì)量控制綜上所述,2D轉(zhuǎn)3D的制作流程中,