4月1日，張國榮生前最后一場、同時也被認為是堪稱“經(jīng)典”的演唱會《熱.情》超清修復(fù)版在TME live、QQ音樂、微信視頻號、騰訊視頻等平臺進行了全球首播。
這場超清修復(fù)版演唱會由騰訊音樂娛樂集團和環(huán)球音樂旗下廠牌寶麗金共同推出，騰訊云多媒體實驗室承擔(dān)了此次演唱會視頻的具體修復(fù)工作。
騰訊云多媒體實驗室隸屬于騰訊CSIG事業(yè)群（云與智慧產(chǎn)業(yè)事業(yè)群），2013年開始從事視頻處理，主要職責(zé)之一是向內(nèi)部各產(chǎn)品部門提供全自動的數(shù)字化修復(fù)技術(shù)，以低成本、高效率為特征，批量處理騰訊云等系統(tǒng)內(nèi)的以2D為主的海量視頻。
據(jù)介紹，騰訊云多媒體實驗室多從事的是電影、電視劇等畫面的修復(fù)，關(guān)于演唱會的修復(fù)是首次，其難度在于人像、場景會在演唱會燈光中迅速變化和切換，而騰訊云多媒體實驗室此前在這方面積累的數(shù)據(jù)偏少。
騰訊云多媒體實驗室總監(jiān)李松南對東西文娛表示，這恰好也給了騰訊云多媒體實驗室借修復(fù)這一演唱會，在修復(fù)技術(shù)的系統(tǒng)和算法方面雙升級的契機。
李松南表示，此次修復(fù)的目標是既保證做到修舊如舊，又要保留演唱會的藝術(shù)效果。基于演唱會畫面場景多，因燈光、切換頻繁帶來的繁雜變化，騰訊云多媒體實驗室采用了“針對不同場景，來進行算法上的分類處理”這一措施，以在不斷試錯中找到最優(yōu)的解決方案，同時加上人工介入優(yōu)化算法參數(shù)的方式來進行。
對張國榮演唱會的修復(fù)，進一步豐富了騰訊云多媒體實驗室的修復(fù)品類。鑒于老片修復(fù)這一需求在時下趨于旺盛，騰訊云多媒體實驗室計劃進一步將自身技術(shù)與各需求方實現(xiàn)對接，用技術(shù)來實現(xiàn)助力經(jīng)典文化傳承的目標。
首次嘗試演唱會修復(fù)
自動化數(shù)字修復(fù)+人工介入結(jié)合
騰訊云多媒體多媒體實驗室專家研究員夏珍告訴東西文娛，騰訊云多媒體實驗室與寶麗金的此次合作，始于3月初。
“當(dāng)時騰訊音樂娛樂集團聯(lián)系寶麗金唱片，雙方各自有需求，達成合作很快。”
夏珍介紹， 騰訊云多媒體實驗室自2013年成立以來，技術(shù)主攻的方向之一是全自動數(shù)字修復(fù)，但此前主要從事的是電影、電視劇等方面的修復(fù)，從事演唱會的修復(fù)是第一次。
“演唱會畫面不像電影、電視劇相對穩(wěn)定，后者在畫面色彩及藝術(shù)風(fēng)格上更為統(tǒng)一，更適用于通過算法來自動修復(fù)。而演唱會的畫面、色彩、場景一直在變化和切換，此前騰訊云實驗室的算法模型，在演唱會畫面的處理數(shù)據(jù)上量不多，因而在基于算法來進行自動化修復(fù)時，會遇到困難。”夏珍坦言。
對此，騰訊云多媒體實驗室采用的是基于一整套自動處理的引擎基礎(chǔ)之上，根據(jù)演唱會畫面不同的場景，來進行算法上的分類處理，以在不斷試錯中找到最優(yōu)的解決方案，再加上人工介入優(yōu)化來完成。
夏珍舉例，比如對于演唱會中的大場景，騰訊云多媒體實驗室采用的是GAN的超分去做修復(fù)。在修復(fù)之前，這類大場景普遍比較模糊，而經(jīng)過GAN超分以后，清晰度和紋理，都得到了大大優(yōu)化。又比如演唱會中有很大的噪聲，技術(shù)團隊也會針對這一場景進行降噪。
據(jù)了解，純粹的算法修復(fù)大概一般只需要2天時間，但此次是演唱會，所以更多的時間是花在了不同算法的嘗試之上，以保證算法出來的結(jié)果與最終的效果之間有一個平衡。
這也關(guān)系著騰訊云實驗室就此次修復(fù)制定的總體目標：即修舊如舊，在保證畫質(zhì)等有所提升的同時，還能保留整場演唱會原有的藝術(shù)效果。
不過夏珍也表示，對于目前業(yè)內(nèi)并沒有一個標準能去界定修復(fù)的程度指標，“只能說這是目標或宗旨，然后在算法上盡量朝著這個目標去做調(diào)整，然后盡量按照肉眼可見的程度去做判斷。”
“比如，當(dāng)時我們拿到的母帶分辨率只有720×480，分辨率不高。但經(jīng)過修復(fù)之后，相關(guān)畫質(zhì)確實得到了一個大幅度的改善，我們做到了接近4K的分辨率，分辨率大概提升了6倍，整個畫面的流暢度也是有做提升的，在幀率上面我們也做了一些優(yōu)化，包括張國榮臉部的一些細節(jié)，以及他的眼睛、眼神，還有整個演唱會當(dāng)中他戴的假長發(fā)的發(fā)絲都比以前要好很多。”夏珍表示。
借演唱會修復(fù)
實現(xiàn)原有技術(shù)系統(tǒng)+算法的雙重迭代
李松南表示，通過修復(fù)張國榮演唱會，騰訊云多媒體實驗室在技術(shù)上也經(jīng)過了比較大迭代，主要包括系統(tǒng)級別的迭代，和算法級別的迭代。
系統(tǒng)級別的迭代主要是在分析模塊的迭代上。據(jù)介紹，從修復(fù)流程上而言，一般分為四步。一是智能分析，主要是分析視頻的質(zhì)量，包括失真的類型和程度；二是修復(fù)，主要是用來修復(fù)視頻中的各種失真，比如老片中常出現(xiàn)的失真，像噪聲、隔行的失真等；三是增強，目標就是讓圖像內(nèi)容看上去更清晰和豐富；四是編碼，即在盡量少的碼率情況下去還原視頻的內(nèi)容。
分析模塊的迭代位于修復(fù)工作流程的第一步。李松南表示，由于騰訊云實驗室的算法此前基本上沒有接觸演唱會種類，然后各個行業(yè)視頻內(nèi)容差別很大，尤其是不同年代的視頻失真的類型和強度差別都很大，“這就需要去迭代分析模塊的適應(yīng)能力，以在盡量減少人工介入方式原則之下，分析模塊能去自適應(yīng)處理不同類型的視頻。”
算法上的迭代，主要指的是視頻超分和人臉修復(fù)。
李松南表示，此前騰訊云多媒體實驗室最開始做的主要是視頻的降噪、背景增強等工作，基于的以傳統(tǒng)的算法為主。
“之后，騰訊云上的許多模型雖然都是基于AI和深度學(xué)習(xí)的方式，但最開始還是基于卷積神經(jīng)網(wǎng)絡(luò)去做的，現(xiàn)在則是擴展到了用生成網(wǎng)絡(luò)去做，因為生成網(wǎng)絡(luò)可以生成很多細節(jié)。”李松南表示。
另外一個比較大的迭代是人臉修復(fù)。據(jù)介紹，此前行業(yè)的人臉修復(fù)主要是基于圖片來操作，騰訊云多媒體實驗室在視頻中的人臉修復(fù)被認為是行業(yè)的創(chuàng)新嘗試，同時借由這次演唱會開始基于視頻修復(fù)，實驗室也開始會在算法基礎(chǔ)上做一些人工算法參數(shù)的調(diào)整。
李松南介紹：“在這個研發(fā)的過程中嘗試了一些技術(shù)方法，積累了一些不錯的效果，成為了實驗室好的經(jīng)驗，當(dāng)然未來還有前進的空間。”
老片修復(fù)市場需求日益增加
技術(shù)賦能文化
根據(jù)官方信息，騰訊云多媒體實驗室是騰訊CSIG事業(yè)群旗下技術(shù)導(dǎo)向的實驗室，工作主要有兩塊。一是會參與國際國內(nèi)多媒體相關(guān)的標準制定；二是會把日常積累的技術(shù)，對內(nèi)提供給騰訊云、騰訊PCG（騰訊平臺和內(nèi)容事業(yè)群）與WXG（騰訊微信事業(yè)群）、以及騰訊音樂娛樂集團等部門使用， 對外將技術(shù)輸出給客戶。
李松南介紹，目前市場中常見的“老片修復(fù)”一般有物理修復(fù)和數(shù)字修復(fù)兩類。物理修復(fù)指的是膠片的修復(fù)，包括去除上面的雜質(zhì)，對變形進行修復(fù)；而數(shù)字修復(fù)又分為全自動修復(fù)和人工修復(fù)兩種。
“目前，騰訊云多媒體實驗室主要集中在全自動的基于機器學(xué)習(xí)、深度學(xué)習(xí)這方面的修復(fù)，目標是希望通過比較少的人力介入，用算法自動化來減少后續(xù)人工修復(fù)的成本，提升相關(guān)效率。”李松南表示。
這一路徑選擇來源于騰訊云多媒體實驗室面對的需求。“鑒于騰訊云多媒體實驗室服務(wù)的用戶視頻非常海量，不可能針對每一條視頻都做精細化的離線處理，所以就需要不斷提升算法的自適應(yīng)能力，以達到省時增效的目的。”
李松南舉例，以一個2小時長的演唱會而言，傳統(tǒng)的人工修復(fù)可能需要一兩個月的時間。但從算法修復(fù)角度而言，2天就可以跑出結(jié)果。
據(jù)了解，目前老片修復(fù)的市場需求越來越大，很多電影廠、電視臺都積累了大量的老視頻留存，它們中有的計劃重新去上映，或者需要適配到現(xiàn)在的4K或8K電視上。另外包括一些演藝人員，也有修復(fù)較早演唱會的需求。
李松南表示，“老片修復(fù)是一個比較長遠的事情，可以一直做下去。原因在于現(xiàn)在觀眾看到的質(zhì)量還不錯的視頻，三五年之后質(zhì)量可能又不行了。同時觀看設(shè)備也在升級換代中，比如以后VR顯示器，沉浸式的顯示器等將利用的越來越多，展現(xiàn)方式的更新?lián)Q代又會加速老片修復(fù)技術(shù)需求的多樣化。”
李松南強調(diào)，目前視頻處理主要還是在2D的視頻上去做修復(fù)跟增強，在分辨率和幀率上，盡量在2D的條件下去提高用戶的沉浸感。“但從未來的方向來講，可能還會往全息的方式去發(fā)展，3D也好，包括3自由度，乃至最后的6自由度，實驗室在這方面是有投入的。”
不過李松南也指出，有些聲音提出目前視頻修復(fù)能否用在更社會化的領(lǐng)域，比如優(yōu)化監(jiān)控視頻，打擊違法犯罪上，“雖然目前技術(shù)上能做到人臉修復(fù)、人臉加清上，但目前在實際的安防領(lǐng)域還難以應(yīng)用，不能從視頻判斷是不是那個人，畢竟是算法生成出來的，用作證據(jù)感覺不太合適。
李松南表示，目前實驗室作為一個技術(shù)部門，更多的業(yè)務(wù)目標是把實驗室超清沉浸感修復(fù)引擎的能力去跟更多的合作伙伴合作，在助力音視頻產(chǎn)業(yè)發(fā)展的同時，通過技術(shù)來賦能經(jīng)典文化傳承。
EW-Entertainment
近期主題 · 相關(guān)內(nèi)容
責(zé)任編輯：
