開發者的多媒體夢工廠： AV Pipeline Kit究竟是什麼？_風聞

在新聞學中，有一個“媒介的雙螺旋”理論，是説媒介形式必然會按照簡易度和關聯度兩條線索螺旋向上升級。無論是印刷術、廣播、電視，還是今天的短視頻、直播、VR，每一種媒體形式的出現，都是為了降低用户的獲取門檻，同時提升內容的關聯能力。按照雙螺旋理論，多媒體化的趨勢是不可逆轉的。而優秀的表達者、開發者、創業者，也必然需要多媒體的幫助。

移動應用開發者，本質上就是利用APP這種介質完成對用户的表達和溝通。而最能夠幫助開發者提升表達效率，增強用户體驗的技術，可能也就是多媒體技術了。

曾幾何時，圖片和文字是APP的主要載體；而今，我們很難想象一款頭部APP中缺少直播、視頻播放的多媒體交互形式。然而對於大部分開發者而言，多媒體功能的開發、部署和運維還存在大量痛點，甚至可能變成開發團隊的過量成本消耗因素與技術軟肋。

多媒體開發，本來應是充滿驚喜感、愉悦感的事情，當然不該成為開發者的瓶頸。此前我們已經介紹過，7月15日HMS Core 6.0正式上線。其中有一項重要更新，叫做華為多媒體管線服務（AV Pipeline Kit）。

當時就有朋友希望我們仔細介紹一下AV Pipeline Kit。9月16日，HMS Core AV Pipeline Kit剛剛進行了一場線上直播，多個領域的專家深度講解了AV Pipeline Kit的技術要點和應用場景。

我們今天就由此出發，看看AV Pipeline Kit究竟帶來了什麼，又是如何幫助開發者完成和簡化音視頻採集、編輯和播放等系列工作的。

AV Pipeline Kit通過一系列技術與架構設計中藴藏的驚喜，讓多媒體的開發和管理變得簡單易用，觸手可及。

它似乎彰顯了這樣一個理念：多媒體的無限可能性，本就應該是開發者在智能時代的夢工廠。

實時+智能：多媒體與開發者的新約會

要説今天有哪位移動開發者沒有研究過多媒體開發，那估計是所有人都不信的。

隨着消費者“口味”的不斷提升，應用的功能集成性不斷增強，今天的APP早已不是簡單的網頁流轉邏輯。試想一下，無論是社交、旅行、電商，但凡需要用户分享和內容分發的APP，在今天肯定都需要視頻，甚至是直播、AR功能的加入。

但相比於圖文來説，視頻、音頻為代表的多媒體開發與管理有着更高的技術門檻和開發工作量。尤其隨着短視頻、直播的普及，用户需要的多媒體玩法也更加複雜。

整體而言，多媒體開發在今天有兩個核心發展趨勢：一是更加實時化，需要快速完成基於視頻的互動和體驗升級，滿足用户的及時分享與獲取需要，這就需要打破傳統的多媒體分發邏輯，更加關注端側的性能和能耗；二是更加智能，AI給多媒體帶來了圖像識別、流媒體超分、語音交互、語音識別的種種可能，這些智能觸發點極大提升了開發者的能力邊界，但也要求開發者具備更強的技術能力。

在實時化、智能化的新時代，開發者與多媒體的約會雖然美好，但也有諸多挑戰。

比如開發難度進一步加大，開發成本更高。很多視頻+AI的開發，需要在傳統管線中加入AI處理技術，這涉及到諸多數據處理能力，對於開發者來説技術門檻很高。

再有，端側實時化的智能視頻開發很可能遇到算力的瓶頸。雲端處理會導致性能欠佳、體驗較差，但端側算力的性能和框架優化卻無法負載，最終導致很多好的想法付諸東流。

還有一點，給APP添加多媒體功能意味着功耗開支的加大。如果多媒體缺乏優化能力，會導致APP功耗過大，容易發熱，繼而造成用户體驗的下降。

這些痛點的存在，讓複雜、創新的多媒體開發經常成為工作量大、開發成本大的工作。甚至變成開發者不得不做，但做了之後又佔用人力算力過多，造成開發瓶頸的“雞肋”工作。

那麼是不是有什麼辦法，可以極大減少開發者在多媒體領域的工作量，並且開發綜合成本極大降低呢？

瞄準這樣的需求，華為海思團隊在2020年年底開始了系統設計和相關調研，今年年初開啓開發。在多媒體、NPU、AI算法等相關團隊的協同努力下，最終讓集成了多種多媒體管線技術，並且能極大壓縮開發工作量的AV Pipeline Kit在7月正式發佈。

開發者的創造力與智能時代的多媒體升級，開啓了一場新的約會。

從智能超分到流水線編排：打開多媒體管線的驚喜盒

從音頻到視頻，再到多媒體管線的編排管理，AV Pipeline Kit包含了一系列技術突破與全新的框架搭建思路。換句話説，它並不是一種單一的技術插件，而是把多種新技術、新配置方案放在一起的驚喜盒。打開它，開發者可以找到很多期待已久的禮物。

讓我們通過幾個AV Pipeline Kit關注的重點領域，説明其中到底藴藏了哪些驚喜。

首先讓我們來到“智能+視頻”領域中最常提到的功能：視頻超分。所謂“超分”，可以理解為在視頻播放過程中進行智能識別與鋭度優化，從而讓視頻看起來比原本更清晰、明麗。在大型影視和遊戲製作中，超分是一種非常關鍵的技術，但那有賴於雲端和服務器。想要在端側在線場景中，幫助開發者獲得實時化、高性能的超分，就需要從AI技術到硬件資源調用的一系列優化。

為了幫助開發者便捷獲取真實可用的逐幀超分能力，實現超分不卡頓的體驗，AV Pipeline Kit首先在機器視覺算法上進行了一系列技術突破。比如在AI模型結構上應用了卷積神經網絡，提升了複雜真實場景的超分效果；在數據工程方面，用一系列方法還原了多媒體數據的構造過程，提升網絡的優化結果；在端側模型壓縮方面，進行了新的網絡小型化探索，確保超分效果可以在端側場景中被很好地執行。

在這一系列的技術突破後，AV Pipeline Kit可以為開發者帶來隨時隨地都能看清的超分效果。通過調用NPU提供的專項AI處理算力，AV Pipeline Kit可以實現最高三倍超分效果，將原始片源的觀看體驗極大提升。基於端側AI算力和一系列算法優化，AV Pipeline Kit在網絡不均衡的場景下，依舊可以啓動超分並達成相對一致的體驗。在給用户帶來智能功能的同時，還增強了實時化的流暢體驗。此外，端側超分技術的應用可以極大降低開發者的服務器使用成本，提升開發效率。

目前，AV Pipeline Kit已經與某大型流媒體APP達成合作，用户在網絡環境較差的情況下可以依賴端側超分，觀看到流暢自然的視頻畫質。

看過了“視頻+AI”，讓我們再來看看音頻領域AV Pipeline Kit帶來的智能加持。基於AI聲音事件檢測技術，開發者可以實現非常多前所未有的玩法。比如檢測家中寵物叫聲、檢測孩子哭聲、按門鈴聲，然後再添加相應的智能服務。

但AI聲音事件檢測對於開發者來説是比較複雜的技術，所需的技術資源與開發經驗都很多。AV Pipeline Kit將這些功能以文件配置的形式直接帶給開發者，並且其音頻檢測能力經過華為相關團隊的長期深耕，可以確保聲音識別的準確與穩定。

對於開發者來説，面對多媒體任務管理與配置時還有個很大的問題，就是相關的能力非常複雜，架構相對抽象。這一點讓很多開發者望而卻步，只能應用比較簡單的多媒體功能，以避免在任務管理中浪費大量時間，甚至引發兼容問題。

但這種方式顯然限制了開發者的想象力。AV Pipeline Kit提出了全新的解決方案，也就是流水線編排的多媒體管線服務。AV Pipeline Kit基於全新的架構梳理，實現了將不同能力抽象成對應的插件，便於框架進行管理。在實際開發場景中，開發者只需要簡單配置文件，就可以實現管理多媒體管線的上下游插件，完成複雜的管線編排。

形象地理解這種操作方式，就是將多媒體任務放在同一個“工廠”的框架下，以工業流水線的形式實現對各種任務的編排管理。而各種各樣的多媒體能力就成為了流水線上的產品。作為流水線和工廠的主人，開發者獲得了極高的易用程度，降低了多媒體開發的技術門檻。

從AI超分技術的加入，到流水線編排的實現，AV Pipeline Kit既有新的能力突破，也有原有功能的重新構築，可以説將多種開發者急需的能力納入一體，帶來多樣且統一的驚喜盒。

從宏觀的產業價值上看，AV Pipeline Kit又給成為HMS生態開發者提供了一個新的契機與理由。

軟硬件一體，構築HMS的開發夢工廠

好萊塢被稱為電影的夢工廠，不僅是因為這裏是大片打造地，更因為好萊塢有各種各樣的產業鏈、技術、生態支撐。在這裏，電影人能找到各種所需的硬件、軟件、人才、合作伙伴。最終才能讓那些天才的想法、創造性的點子，變成大熒幕上的真實夢境。

夢工廠，從來都不是一天建造起來的，而是需要一點點累積和升級，不斷增加生態的凝聚力和吸引力。致力於打造移動生態第三極的HMS，當然希望成為一座移動開發者的夢工廠。而HMS Core就肩負着這座夢工廠的技術差異化。只有在這裏可以實現的技術可能性越來越多，真正滿足開發者需求，這個技術生態才有活力可言。

此前，我們已經介紹過HMS Core的很多組成部分。而最新的AV Pipeline Kit則構築了HMS Core 6.0時代關於AI和多媒體的巨大驚喜，也成為HMS技術生態的重要組成部分。

在AV Pipeline Kit背後，我們可以看到華為在端側的整體軟硬件佈局，不斷髮揮着協同與整合的優勢。比如為了實現這個Kit，就彙集了AI、多媒體、硬件等多個部門的協同合作，才最終讓端側AI超分這樣的新技術，與多媒體管理平台融為一體。

再向後看，AV Pipeline Kit與更加底層的華為技術佈局保持着深度融合。目前來看，業界還沒有哪個平台或者技術工具，能夠實現端側化、智能化的多媒體管線服務。而AV Pipeline Kit能開創先河的原因，很大部分來自軟硬件一體化的協同優勢。

比如説，AV Pipeline Kit就和華為HiAI Foundation平台協同，實現了芯片底層的免拷貝式接口對接，與從而節省了非常多的調用開銷，讓AV Pipeline Kit在華為硬件平台上可以實現更好的開發體驗。

再向底層看，業界部署超分主要以CPU、GPU為主，但NPU可以帶來更有針對性優化，針對超分業務，NPU可以提供更高算力和更優的功耗，提供更好的端側AI計算體驗。NPU的能力直接助力AV Pipeline Kit，讓端側超分不僅可以實現，還可以向更具挑戰性的直播等場景進發。

或許可以説，很多HMS Core的組成部分，都在更深層地調用華為在終端側硬件、軟件、AI等技術的協同與互補優勢，往往能實現合力創造全新價值的技術支點。

這樣的價值邏輯，將從AV Pipeline Kit延伸到更多的開發者賦能技術中。開發者們都深知，有技術才有未來，有創造性才有市場。AV Pipeline Kit以及HMS生態，就是帶給他們這樣一份禮物——一個可以持續期待，永遠充滿未來的驚喜盒；一座能用“技術打印機”，把創意變成現實的夢工廠。