AI 修復老視頻的“魔爪”，終於伸向了動畫片_風聞

　　這一修復工具還同時免費向公眾開放，而且效果超出預期。

　　航通社首發原創文章，未經授權禁止轉載

　　微博：@航通社 | 微信搜一搜：航通社

　　2021年 第29期

　　文 / 書航 2021.11.4

　　影像修復是一項歷史悠久的工作。近年來，隨着 AI 助力，歷史視頻修復成果更為頻繁地進入大眾視野。

　　2019 年，“開國大典”（1949）的珍貴歷史影像以彩色 4K 畫面呈現在電影院大銀幕上。去年，經典電影《上甘嶺》（1956）插曲《我的祖國》得以高清全綵修復。今年，《永不消逝的電波》（1958）成為國內首部黑白轉彩色 4K 修復故事片。

　　但包含近期的 AI 修復在內，絕大部分修復工作主要針對 1980-90 年代之前的老舊電影膠片，因為它們的源盤隨時間推移老化，需要緊急搶救性保護。在眾多修復作品中，人們很容易發現動畫片，特別是電視動畫成為一個被忽略的“盲點”。

　　直到 10 月 20 日，字節跳動的西瓜視頻及火山引擎，聯合央視動漫集團、上海美術電影製片廠共同啓動“百部經典中視頻修復計劃”，未來一年將修復 100 部經典動畫，喚起不止一代人的童年共同記憶。目前，《哪吒傳奇》《葫蘆兄弟》《黑貓警長》等六部經典動畫作品 4K 修復版已經上線。

　　會上還宣佈開放入口，為普通用户免費提供 AI 修復支持。目前這一功能已經在西瓜視頻創作後台向全體用户開放，普通用户每天可上傳 5 段、每段不超過 30 分鐘的低清晰度視頻，在雲端進行高清修復。

　　那麼，

　　相比老電影修復，動畫片修復為何長期被“冷落”？

　　它的修復過程有什麼特殊之處？

　　由科技企業提供的 AI 算法又進行了怎樣的針對性優化，其最終效果如何？

　　社長用手頭的一段錄像片段，通過西瓜視頻的免費服務做了高清修復。修復前後的對比圖會在本文貼出，幫助讀者對這項成果獲得一個更直觀的感受。

　　AI 輔助下，動畫片 4K 修復終於提上日程

　　2012 年，從紐約學藝歸來的周蘇嶽開始向業界推廣 4K 影像修復技術，“當時大家關注的焦點還是 3D”。此後他成立了三維六度公司，並於 2019 年接下了《開國大典》4K 修復任務，總共修復了 1082 個鏡頭，24.7 萬幀畫面。

　　但當時的技術仍以人工逐幀修復為主，“每一格上面都有很多的問題，比如捲曲、掉色、閃爍；每一幅的畫面上都有大量的髒點、油污、劃痕。這些修復的難度就非常大，大到什麼程度？修復師一天可能只能修 1 秒。”

　　2014 年上海國際電影節首創“4K 修復”單元，隨後中國電影資料館、中影數字基地等專業機構陸續發起 4K 修復計劃，意味着 4K 分辨率成為當今影片修復的普遍標準，也意味着以傳統逐幀修復方法計算，工作量至少變成了原來的 4 倍。

　　在周蘇嶽這裏，要從原本為 2K 修復準備的工序過渡到 4K，需要這麼搞：

　　“現在最好的顯示器是 2.5K、32 寸的，要想做 4K，意味着一個畫面在這樣的屏幕上修 5 次才能修完。就是説，4K 修復的工作量相當於 2K 工作量的 5 倍。2K 在一個顯示器上就解決了，4K 需要分成 5 次來修復。”

　　由於過程還加入了整體調色、單聲道轉 5.1 環繞聲、修復膠片損傷缺失及褪色矯正問題，解決片中畫面抖動和顆粒度較粗問題等工序，結果：

　　“這兩個半月對於我來講，都是做夢的過程，這幾乎是一個不可能完成的任務。我們每天都工作到深夜兩三點鐘，然後在公司休息區簡單休息。平均一個人每天干四天的活，每天就睡三四個小時。我們 40 人 40 天相當於幹了 160 人的活。最緊張時，動用的工作人員高達 600 多位。”

　　這個過程體現出傳統影片修復的最大問題——手工逐幀修復的“手藝活”費時費力，工序繁雜，成本高昂。因此，成建制的修復工作只能先救急，從最瀕危的早期損傷電影膠片開始搶救性修復。

　　國家在 2006 年開始實施“電影檔案影片數字化修復工程”，斥資 2.8 億元，計劃“5 年 5000 部”，陸續把中國 4 萬部老電影膠片做數字化修復、存檔。然而，直到 2020 年，中國電影資料館才完成影片修復 3146 部，其中包括普通修復 2606 部，2K 修復 525 部，4K 修復 15 部。

　　AI 技術和算力的普及，讓事情迎來了轉機。

　　去年，旅居紐約的獨立藝術家“大谷”發佈了他利用開源模型高清修復的 100 年前老北京市井生活錄像片段，引發網絡熱議。他的補幀、色彩轉換、分辨率擴增環節均採用網上已有的開源模型在本機運行完成。

　　甚至於“因為分辨率擴增技術比較消耗硬盤和顯卡，所以他只在一些關鍵的地方，比如視頻的封面使用了這項技術，但最後取得的效果也不錯。”

　　深度學習、神經網絡等 AI 技術用於視頻，已經有了各種神奇的用例——想想抖音上那些奇特而受人歡迎的特效吧。除成熟的開源技術讓個人和小團隊可以做一些實驗性片子之外，字節、阿里、騰訊等巨頭，乃至中影等都有研發算法，為前高清時代的影片放大尺寸、去除噪點、上色，使其重獲新生。

　　“優愛騰”三家及其母公司開發 AI 老片修復算法，以及用於 4K 修復，可以直接將成果應用於充實其片庫，所以它們的訓練也大量針對電影、電視劇等長片。相比之下，西瓜視頻一年前採取的“中視頻”定位，讓他們更努力去尋找一些差異化定位的，更適合在 5-30 分鐘時長內看完的內容，這肯定也不是單純的長片切條那麼簡單。

　　然後，就湧現出一個絕妙的點子——曾經憑藉電視媒介佔領 80-90 後心智的動畫片，正是一種最適合的“中視頻”類型。

　　如同社長在《“中視頻”是一個偽概念嗎》裏提到的：

　　“前網絡視頻時代的電視節目，也普遍是這個長度。規整的電視時段以 15 分鐘左右為單位，30 分鐘包含 2 節，60 分鐘則為 4 節。不計廣告時長，每節在 10-12 分鐘左右。電視台就是最早的 PGC，所以現在專業的視頻創作團隊也完全沿襲了這個時長的傳統。”

　　如今，電視媒介式微，更多觀眾轉到網絡觀看視頻內容，而上海美影廠、央視等拍攝的經典動畫片，不僅反映了時代的社會生活印跡，具備高度的史料價值，也可以通過情懷的挖掘體現潛在的商業價值。只是，如果缺乏合適的渠道，並且成本過高的話，通過 4K 高清修復影片來“活化”動畫片資源，在以前就是費力不討好的事。

　　隨着西瓜視頻提供了便捷的渠道資源、火山引擎提供了成熟的技術支持，原本優先級排在“搶救老電影”之後的動畫片修復，此刻終於可以被提上日程。

　　用於動畫修復的專門算法

　　需要指出的是，儘管有 AI 技術，修復經典老片仍是一項繁重且艱難的任務。20 日的發佈會上提到，一部年份較早的動畫電影，修復團隊需要標註 20 萬幀自動修復效果不佳的畫面，再進行二次修復。

　　但是，之所以要用 AI，就是因為這樣的標註後修復過程，仍然相對此前的逐幀手動修復而言是一個數量級上的飛躍，極大地提升了工作效率，節省了重複勞動的工序。火山引擎修復數據顯示，算法能夠直接消除 95% 以上的瑕疵，剩下的才要輔以人工標註，再調整算法做二次優化。

　　在修復攝影機拍攝的畫面時，每個定格幀都相當於修復照片，而用到的相關技術其實比較成熟，也可以複用。另一個重要特點是算法面臨着如何“修舊如舊”的問題，有時拿不準圖像的原色調，就需要專家會商。

　　相比之下，二維動畫片多為手繪線稿，人物和色彩設定於創作時就已明確，但也因此對修復的最終效果更為確定，提出了更高的要求。例如，人們期望線稿如同矢量一樣勾勒分明，像有些人像那樣模糊時一閃而過，將就一下是不行的。

　　對於動畫片而言，“修舊如舊”意味着要保留藝術風格和美感。以《葫蘆兄弟》（1986）為例，該片是水墨和剪紙的組合，修復工作一方面要提升前景的清晰度，另一方面又要兼顧水墨的藝術效果，讓山水保持朦朧的藝術感。

　　為此，火山引擎提供了超分辨率、視頻降噪等技術手段，對水墨、剪紙等不同藝術風格，採取獨立的視頻質量評估體系，針對每部老片定製修復方案，以實現最佳修復效果。

　　“智能超分”能力可以提升清晰度和分辨率，基於深度學習方法，根據已有的圖像、視頻信息重構出缺失的細節，也會使用前後幀信息，並對其進行時域建模，恢復出額外的細節。

　　在《葫蘆兄弟》中，算法對前景的葫蘆娃剪紙區域提升清晰度，對背景的水墨畫區域保持朦朧感。這種對內容的自適應處理，根據不同區域分片處理，很好地保持了原有畫風。

　　**“瑕疵消除”**主要是指消除膠片存放、轉錄過程中帶來的各種噪點、閃爍等缺陷，以及大小不一的膠片劃痕。如果僅僅用算法，帶來的一個問題是容易誤處理，比如將漫天雪花識別為噪點，結果把“下雪天”變成了“晴天”。

　　對於較小的雪花顆粒噪聲，火山方案使用傳統信號處理算法進行處理，對於較大的壞點和劃痕，則使用機器學習算法進行識別和修補。有些場景可能是藝術效果，所以會比較困難，這時則需要先由人工標註判斷，再用算法修復，達到效率和效果同時最優。

　　“鋸齒修復”是其中一個最值得一提的獨創算法，特別適用於電視動畫。在《哪吒傳奇》（2003）的“哪吒出世”場景修復過程中，技術團隊發現部分畫面裏有明顯的線條鋸齒。由於這一問題只在部分場景中出現，很難定位，但是不解決的話會嚴重影響觀感，也會影響其他算法的效果。

　　經過多次嘗試和實驗，技術團隊發現《哪吒》中的鋸齒效應是數字化掃描不精準，採樣做的不好而出現的。這實際上是電視動畫特有的問題。

　　與早年電影膠片轉錄像帶在電視播出不同，21 世紀初的電視動畫已經可以使用 Flash、Harmony、Retas 等電腦軟件，用數位板逐幀繪製，實現創作過程的“無紙化”。不過，最終成片需要輸出到電視播出通用的 Betacam 磁帶上，這也決定了畫面最終的分辨率。

　　據火山引擎專家介紹，大部分業界的鋸齒修復都是針對低分辨率“向上採樣”做處理，而老片中的鋸齒，很多是原本很清楚的源文件“向下採樣”保存為播出格式時出現的，對於已經產生的頻譜混淆，業界算法大多都沒法處理。

　　因此，火山引擎針對性地設計了一套優化算法，讓鋸齒問題得到了很大的改善。

　　此外，算法也可以做自動調色，對視頻從色彩、對比度、細節及畫面層次等多個維度進行自適應處理，提高源視頻的質量和轉碼後視頻質量。

　　社長在自己測試西瓜視頻開放的“老片修復”功能時，也注意到上文所提到的一部分技術細節都被應用到了全自動的算法中，可以在我們自己的片源裏體現出來。

　　以下，就讓我們通過一組轉換前後的對比截圖，來感受火山引擎這套高清修復算法的能力以及其實際效果。

　　上圖是 B 站用户上傳的《黑貓警長》1080p 影片拷貝（ID：BV1XL41137AG），下圖是《黑貓警長》在西瓜視頻的高清修復版。點開兩張圖片並放大後，可以顯而易見的看到，西瓜的修復版，其左側線條及右側文字邊緣異常鋭利清晰，勾線有近似矢量的清晰度，此外也去除了雜色（雖然在原版拷貝里已經處理得不錯了）。

　　（對比圖左側為原版，右側為西瓜修復版，下同）

　　4K修復動畫片的根本意義在於更好地向觀眾呈現創作者當年原本的意圖。實際上，有些因為電視屏幕尺寸因素，本來出稿就相當模糊的中遠景，會在4K分辨率下不得不呈現出一些細節，這甚至已經需要二次創作。

　　片方提供的原版拷貝已經可以做到很不錯的清晰度，這是4K能還原到近似矢量效果的前提。但在電腦屏幕上顯示效果正常並不意味着假設到光線不好的電視、或者影院重放會完全一致。

　　幾年前上映的電影《厲害了，我的國》實際上是完全取自央視的標清電視畫面，並由中影進行高清修復。在影院場景下，觀眾幾乎不會察覺到修復畫面和真正的高清攝像有什麼不同，但簡單地拉伸低分辨率畫面到大銀幕上，恐怕就會變成一團漿糊。

　　由於本次西瓜視頻修復的動畫片在電視和電影端都有，而電影膠片和電視畫面的分辨率有明顯差異，我們選擇了一段2002年錄製的電視片段，扔到西瓜視頻後台自動修復。其初始分辨率為有線電視的640x480，修復後的分辨率是1280x960（高清數字電視標準）。

　　用電視畫面來測試的另一個優勢在於，它是二維線條圖形和現場實拍畫面的結合。實際上，在我們接下來的測試中，這種對照充分體現出了西瓜這個修復算法的特性——相對攝像機拍攝的現場畫面和人像，它對人造圖形的還原能力更強。

　　下列照片同樣建議逐張點開大圖，放大觀看細節。

　　畫面中的前景字體和台標都變得異常清晰，就像是後期用現代的編輯器加上去的一樣。

　　這幾組的共同點是人物為主景。在能鋭化的邊緣地方，AI 都儘可能盡了力，比如舞蹈演員身邊懸掛的金屬球、字體疊印的地方等。

　　經過降噪處理之後的畫面總體也比處理前更乾淨，不過有一個上文提到過的小誤差——把空中飄飛的雪花/柳絮“P 掉了”。在需要精修的時候，會採取人工標記加二次算法過濾的方法來避免。

　　這幾組圖片的上下對照相當明顯，人造圖形和文字是當前算法看起來最拿手的地方。它們尖鋭而清晰的邊緣，可以説完全體現了原來畫面的意圖，小字也變得更易讀了。不過有時原材料的對比度低，比如“通訊地址”紅字，效果不明顯，但並不會降低原有畫質。

　　以上效果是未經手動干預、上傳後只過一遍算法自動修復而成的，雖然偶有不足，但也完全可以接受。

　　修復動畫片，也修復你父母的婚禮錄像

　　值得注意的是，本次在老動畫片修復途中開發和應用的部分能力，通過西瓜視頻向普通用户開放，可實現對家庭錄像等視頻的升高清和修復，而且免費使用。這與市面上同類修復技術形成了差異化局面。

　　如同社長之前提到的，服務於西瓜視頻、抖音等字節體系內視頻產品的各種 AI 算法和能力，都在火山引擎這個技術中台上聚集複用，並向第三方開發者開放。而西瓜視頻的創作後台並非面向程序員，而是直接面對社會公眾，降低了算法的使用門檻，更不用説還是免費開放。可以預見，這種對算法的高頻利用和考驗，將把算法訓練得更為健壯，以及發現錯誤用例，促進良性循環。

　　但將一個實驗室裏的技術產品化沒那麼簡單，大量的 UGC 效果需要雲端運算、編碼（有時甚至要求是實時的），以及往往要處理高併發等問題，所以不是任何一家都敢直接説開放的。

　　抖音和西瓜視頻每天都能收到無數用户創作、投稿的視頻。不少視頻拍攝條件有限，也存在模糊，卡頓，抖動等各種各樣的畫質問題。為了提升用户的觀看體驗，返回給用户更高畫質的視頻內容，火山引擎多媒體實驗室會在多個鏈路上對視頻的畫質進行分析，並且做出對應的修復增強策略。這種每天都在進行的修復增強策略，和修復老片（動畫線稿）是很類似的。

　　抖音、西瓜視頻等內部豐富的應用場景，讓火山引擎的修復算法具備領先性和通用能力。在國際權威獎項 MSU 2020 上，字節跳動技術團隊獲 17 項評分冠軍，在動畫、特效、遊戲、道具場景有深度的技術沉澱。在第一屆全國人工智能大賽的“AI+4K HDR”項目，火山引擎在參賽企業中綜合排名最高。

　　儘管目前在西瓜視頻後台上線的能力，只是所有老片修復算法的一部分，但現在普通用户手頭的素材大多數都是家庭錄像帶，比如父母的結婚錄像、全家一起吃年夜飯的記錄視頻等等。如果保存相對完好的話，這些影像過一遍自動修復後，效果可能已經非常不錯。有特殊需要，也可以聯繫西瓜視頻，對有價值的視頻提供深度的公益修復。

　　不過，如果你手頭有錄像帶轉錄的低清視頻原件，社長倒是建議不要丟——因為原件能保存的信息更豐富，而且與容易損耗的物理介質不同，已經數字化的原件可以長時間保留。説不定過個三五年，不僅會迭代出更完美的自動修復算法，甚至有可能將算法本地化，在你自己的電腦上本機播放，可以實時運算出升高清的畫面。

　　央視動漫是幾代人的集體記憶，美影廠的作品更是世界動畫史上的傳世經典。它最為標誌性的代表作應該是《大鬧天宮》。已經問世超過半個世紀的這部動畫電影，中間又經歷了十年內亂的風風雨雨，拷貝流傳到可以數字化的當代已經是一片斑駁。

　　2012 年，由於《阿凡達》和《泰坦尼克號》重製的影響，當時電影業界的主流思潮是 3D 化。那時《大鬧天宮》也曾經官方出了個 3D 重製版，但業界對它的評價卻十分不客氣。

　　“《大鬧天宮》的 3D 版本，説好聽了是內地電影修復行業的創新和嘗試，然而在國內 3D 製作技術完全不成熟的前提下影片所吹捧的 3D 修復，完全與當今電腦播放軟件的偽 3D 呈現技術不相上下，有業內人士稱其如同‘用軟件過了一遍’般粗糙。”

　　需要注意的是，十年前的“用軟件過一遍”和現在的算法處理，其效果是完全不可相提並論的。

　　幸運的是，該片 80 年代在歐洲分銷上映，培養了觀眾，而這些觀眾當中恰好有懂技術的愛好者。2008 年，國外論壇網友 satanika 以“逐幀 PS”的方式，耗時一年完成非官方的該片粉絲修復版，並於 2017 年更新 2.0 版。他在其中付出的心血，是死忠粉絲之外的人們所難以想象的。

　　在這個“粉絲修復版”問世時，《大鬧天宮》要再等幾年，才會走出 50 年著作權保護期變為公有領域，也就是説這種修復並不是官方性質的。但在動畫片乃至廣義上的 ACG 領域，這種對二次元的“愛”，讓舊動畫修復跟其它舊影像修復相比有了極大的特殊性。

　　這也可以解釋為什麼在那個沒有 AI 幫助的年代，其它視頻類型的修復也一樣是需要對那種類型有“愛”的人們。當時的採訪提到，“中國電影資料館的修復團隊很年輕，90 後成為主力軍，女生居多。因為電影修復是一個比較細膩的活兒，且枯燥。”其中一位修復師“是修復團隊中手速最快的，一天最多可修復 6000 幀畫面，相當於 4 分鐘多影像。因為長期操作鍵盤，她的電腦鍵盤損壞嚴重，好多按鍵出現磨損現象，甚至有個按鍵被手指磨出了一個窟窿。”

　　由於生產力和產能的極度侷限，影像修復產業多年以來，只能停留在“手藝活”和“力氣活”的層面，以精雕細琢的方式，設立優先級，來先搶救一部分最瀕危的片子。這樣的安排，根本輪不到給 80-90 後的童年記憶擦去歲月的灰塵。

　　而今，美影廠、央視和字節的這次合作，不僅將使得更多已經成為集體記憶的經典動畫片也獲得“同等待遇”，甚至還用研發出來的同款技術，惠及你我這些普通人的家庭記憶、個人記憶。

　　這再典型不過地證明，技術是人類能力和邊界的延伸，可以幫我們做到以前只能想象，或者想都不敢想的更多事情，並不斷開啓全新的可能。