《熱·情》超清修復(fù)版刷屏朋友圈

性感服裝、紅色高跟鞋、貼身熱舞...在2000年《熱·情》演唱會上，張國榮用前衛(wèi)大膽的衣著和妖嬈的舞姿，突破傳統(tǒng)界限，締造了永恒經(jīng)典。

2022年4月1日晚20點，張國榮《熱·情》演唱會超清修復(fù)版在線上首播。這張塵封21年的母帶，經(jīng)過智能4K超清修復(fù)，讓千萬粉絲仿佛回到當(dāng)年的紅館現(xiàn)場，重溫絕代風(fēng)華。

這場跨越歲月重逢的背后，除了騰訊音樂娛樂集團與環(huán)球音樂集團旗下廠牌寶麗金唱片的合作外，還離不開騰訊云多媒體實驗室的數(shù)字影像修復(fù)技術(shù)支持。

一個月修復(fù)老片，「復(fù)刻」永恒經(jīng)典

談到此次修復(fù)的契機，騰訊云多媒體實驗室總監(jiān)李松南說：“其實，源于一個偶然的機會，我們與版權(quán)方——環(huán)球音樂旗下的寶麗金唱片接觸后，感到彼此非常契合，就很快就達成了合作意向，決定在4月1日這個特殊的日子，用特殊的AI畫質(zhì)修復(fù)的方式，將張國榮這場經(jīng)典演唱會重新帶給粉絲們。我們感到特別榮幸，非常有意義，也很有價值?！?/p>

三月初，騰訊云多媒體實驗室團隊拿到了演唱會的母帶，從拿到母帶到最終呈現(xiàn)直播，只花了差不多一個月時間。騰訊云多媒體實驗室專家研究員夏珍說，純算法耗費的時間其實并不算長，大約2天左右。如果傳統(tǒng)人工修復(fù)的話，則需要花費1、2月時間。

修復(fù)前后對比

談到老片修復(fù)后的效果，李松南認(rèn)為：“雖然效果是主觀感受，因人而異，但此次修復(fù)后，整體畫面變得更清晰、更逼真。例如，臉部的輪廓、毛孔、胡須、眼神等細節(jié)都清晰可見。”原本母帶的分辨率較差，大概僅為720×480，修復(fù)后接近4K畫質(zhì)，提升了約6倍。同時，優(yōu)化了幀率，畫面的流暢度也有所提升，而且更具沉浸感。

夏珍提到了“修舊如舊”，為了保留整場演唱會的藝術(shù)效果，團隊嘗試了多種算法和效果的搭配，以達到平衡的目的。期間，團隊也遇到了一些bad case（壞案例），需要更精細的修復(fù)和多種算法的調(diào)整，但最終獲得了不錯的成效。

四大模塊解決四大難點

李松南總結(jié)了本次修復(fù)的四大技術(shù)難點。首先，時間跨度太大，母帶有劃痕和噪點等問題。修復(fù)引擎中有一個專門的“去劃痕”及“去噪點”的算法，針對難以修復(fù)的部分，在后期通過畫面修復(fù)技術(shù)，將這些問題逐一解決。

其次，數(shù)據(jù)量不足，需要在少量數(shù)據(jù)的情況下，盡可能提升算法的學(xué)習(xí)效果。李松南說，這是團隊第一次修復(fù)演唱會。此前修復(fù)主要的是老電影、老電視劇，所以演唱會相關(guān)的數(shù)據(jù)積累較少。所以，需要通過不斷優(yōu)化算法，以加強深度學(xué)習(xí)效果。

然后，演唱會現(xiàn)場環(huán)境較復(fù)雜、多變，且場景較暗，細節(jié)也不夠豐富，還面臨運動場景、景深切換等較多等各種情況，對算法帶來更大的要求和挑戰(zhàn)。修復(fù)中，需要運用多種修復(fù)手段，并依據(jù)不同的場景，不斷嘗試適合的算法，提升效果，為以后的修復(fù)積累了寶貴的經(jīng)驗。

最后，清晰度較差的部分難以精確建模，需要嘗試不同的算法、調(diào)整不同的參數(shù)，以達到更好的修復(fù)效果。

修復(fù)前后對比

李松南介紹道，目前老片修復(fù)分為物理修復(fù)和數(shù)字修復(fù)兩種。其中，物流修復(fù)主要是去除膠片雜質(zhì)以及對變形進行修復(fù)，數(shù)字修復(fù)基于機器學(xué)習(xí)、深度學(xué)習(xí)等方法，無需人為介入，通過算法進行全自動的修復(fù)，以減少后續(xù)的人工成本。此次，騰訊云多媒體實驗室采用的就是一種數(shù)字修復(fù)的解決方案——“超清沉浸感修復(fù)引擎”。

該解決方案包括智能分析、畫質(zhì)修復(fù)、畫質(zhì)增強和智能編碼四大模塊。智能分析，就是分析視頻的質(zhì)量和內(nèi)容，通過算法評估，找出視頻中存在的失真和噪點，以便打開相應(yīng)的畫質(zhì)修復(fù)模塊；畫面修復(fù)，是利用多種人工智能修復(fù)算法針對老片中常見的豎線、雪花點、噪聲、壓縮失真、抖動等問題進行修復(fù)；畫質(zhì)增強，是在現(xiàn)有的視頻基礎(chǔ)上進一步提高畫質(zhì)，包括分辨率、幀率、動態(tài)范圍，甚至是沉浸式等方面；智能編碼，能夠在低帶寬的情況下，盡可能提高視頻的質(zhì)量。所以，四大模塊其實就是數(shù)字修復(fù)過程中的四個關(guān)鍵流程，系統(tǒng)性地解決各種難題。

值得一提的是畫質(zhì)修復(fù)中的“人臉修復(fù)”模塊。其基于自研的人臉修復(fù)模型，利用人臉檢測、人臉修復(fù)和融合模塊，將圖像修復(fù)遷移到視頻過程中加入幀間穩(wěn)定性處理，解決人臉檢測穩(wěn)定性，優(yōu)化多角度人臉效果，解決視頻中動態(tài)人臉遇到的復(fù)雜場景問題。

夏珍以此次演唱會修復(fù)為例，由于燈光較多，顏色種類繁多、多變，一旦照射在人臉，算法就難以處理，為修復(fù)帶來了一定的麻煩。通過專用的人臉修復(fù)算法，經(jīng)過不斷優(yōu)化和調(diào)整，從而解決了這些難題，也為后期工作和優(yōu)化提供了大量的寶貴經(jīng)驗。

技術(shù)迭代帶來超清沉浸感

李松南強調(diào)，數(shù)字修復(fù)技術(shù)并不局限于老片修復(fù)。隨著終端設(shè)備的升級換代，目前認(rèn)為品質(zhì)尚可的視頻，幾年之后，可能為了適配新終端的更新?lián)Q代，也需要畫質(zhì)修復(fù)，屆時數(shù)字修復(fù)技術(shù)將發(fā)揮出作用。“隨著技術(shù)不斷迭代，如果我們過幾年再來修復(fù)這場《熱·情》演唱會的話，效果可能會更好?！彼f道。

騰訊云多媒體實驗室專家研究員 夏珍

夏珍說，數(shù)字修復(fù)技術(shù)的迭代主要有兩個方向，即系統(tǒng)級別和算法級別。系統(tǒng)級別就是整個流程的相關(guān)技術(shù)迭代。他以智能分析為例，最初的解決方案中并未包含智能分析引擎，這是由于此前接觸的視頻種類不多的緣故。但加入該引擎后，智能分析的作用越來越重要，原因在于不同年代視頻的失真的類型強度都有較大的差別，需要進行分析后，才能作出正確的判斷。同時，目前智能分析模塊還必須不斷提升適應(yīng)能力，以盡可能減少人力介入，以便適應(yīng)更多不同類型的視頻。

同時，對于算法的優(yōu)化、調(diào)整和整合，這也是系統(tǒng)級別技術(shù)迭代的重要方向之一。夏珍認(rèn)為，視頻超分是一個典型的算法迭代的例子，從最傳統(tǒng)的降噪、背景增強到深度學(xué)習(xí)，再從人工邁向自動化，算法的不斷迭代，效果也隨之大大提升。

沉浸感官是另一個重要的方向。夏珍表示，無論是解碼還是視頻處理，以及AR/VR等應(yīng)用場景，沉浸感官都是發(fā)展的重要方向。在視頻處理的過程中，往往采用提高分辨率、幀率、微深度來提升沉浸感。

修復(fù)過程

李松南介紹道，騰訊云多媒體實驗室設(shè)有沉浸式組，專注于類似全息視頻、VR360、自由視點、3D重建、六自由度等相關(guān)技術(shù)方向。視頻處理方面，還是聚焦在2D視頻的修復(fù)和增強。在原有分辨率和幀率上，盡可能在2D條件下，提升用戶的沉浸感。當(dāng)然，未來也會在3D視頻、三自由度、六自由度、全息等各方面加大投入。同時，播放設(shè)備也會邁向VR等新興顯示設(shè)備發(fā)展，帶來更沉浸的視覺效果。

提到應(yīng)用場景，他繼續(xù)說道，畫質(zhì)修復(fù)技術(shù)將在廣電、傳媒等行業(yè)得到廣泛的應(yīng)用。例如，視頻留存、重新上映以及適配現(xiàn)有4K/8K電視設(shè)備等，都離不開畫質(zhì)修復(fù)技術(shù)所帶來的全新感官體驗。李松南說，未來，實驗室會將超清沉浸感的畫質(zhì)修復(fù)技術(shù)，與更多合作伙伴展開合作，幫助更多經(jīng)典影視劇、電影以及演唱會等珍貴歷史影像傳承下去。

助力文化傳承，踐行社會價值

李松南說，騰訊云多媒體實驗室為騰訊CSIG事業(yè)群旗下的多媒體通信和處理研發(fā)團隊，主要工作分為兩大部分?！笆紫仁菢?biāo)準(zhǔn)相關(guān)，即參與國內(nèi)外多媒體相關(guān)的標(biāo)準(zhǔn)制定；其次是技術(shù)輸出，就是為騰訊內(nèi)部其他產(chǎn)品部門提供相應(yīng)的先進技術(shù)，例如目前騰訊云音視頻、媒體AI中臺、數(shù)據(jù)萬象等采用了實驗室的相關(guān)視頻處理技術(shù)。其中，畫質(zhì)修復(fù)就是屬于視頻處理中的關(guān)鍵技術(shù)之一?！彼f道。

關(guān)于投入的產(chǎn)出，李松南坦言，騰訊云多媒體實驗室只是一個技術(shù)部門，并不盈利，而只是將技術(shù)輸出給騰訊內(nèi)部各個部門。從公司整體的角度出發(fā)，實驗室同樣帶來了一定的社會價值和收益。他透露：“公司非常支持這樣公益性的項目。雖然確實會投入一定的人力、算法等成本，但我們都覺得非常值得。”

此前，騰訊云多媒體實驗室深度參與了包括《康熙王朝》、《天下人家》等多部經(jīng)典影視劇高清修復(fù)工作。李松南說，此次與寶麗金的合作，是為了表達對張國榮先生的緬懷，其中沒有任何的商業(yè)行為。雖然修復(fù)過程中的機器算法、bad case等都需要人工輔助調(diào)整，難免會帶來一定的基礎(chǔ)服務(wù)和人力成本的投入?！罢麄€修復(fù)初衷是希望用我們的技術(shù)去踐行騰訊“可持續(xù)社會價值創(chuàng)新”的理念，并不涉及任何商業(yè)化行為，只是為了推動經(jīng)典文化的傳承?！?/p>

最后，李松南直言，在此次張國榮《熱.情》演唱會修復(fù)過程中，接觸了不少相關(guān)機構(gòu)和團隊，并收獲了一些新的合作意向，也探討了不少新的方向?！敖酉聛?，希望尋找出更多新的合作方式和方向。一方面，尋找一個既可良性地支撐算法投入，也能實現(xiàn)雙方共贏的商業(yè)模式；另一方面，結(jié)合可持續(xù)社會價值創(chuàng)新理念，以公益為目的，將助力具有社會價值的經(jīng)典文化作品的傳承?！薄?/p>

本文來自微信公眾號“福布斯”（ID：forbes_china），作者：Forbes China，36氪經(jīng)授權(quán)發(fā)布。