自研ISP芯片背後：手機廠商的目光在影像之外_風聞

互聯網界最熱鬧的大會——世界互聯網大會在今天開幕，想要了解整個互聯網最新的變化和趨勢，大傢伙這幾天可別錯過了。今天比較值得看的環節之一就是“全球科技成果發展風向標”的年度領先科技成果獎頒佈，這些獎項基本上是本年度最能代表前沿優質技術成果的展現。本次評選是從全球多個國家的300餘項成果中挑選，涉及5G、量子計算、高端芯片、高性能計算機、網絡架構等多個領域，最終選出14項領先的互聯網科技成果。

筆者注意到今年有個“全球首個開源神經網絡處理器指令集架構（NPU ISA）”的成果獲得殊榮。在半導體領域內，安謀科技作為行業領頭羊之一是媒體和行業關注的重點對象，憑藉在智能計算芯片行業的創新，與合作伙伴推出全球首個開源神經網絡處理器指令集架構（NPU ISA），再次摘得“世界互聯網領先科技成果”獎。該NPU ISA在中國首發、全球開源，是人工智能領域第一個開放的ISA，可以向AIoT、自動駕駛、智能製造等應用場景提供可定製化的智能計算芯片。

看完互聯網大會的頒獎內容，回到半導體領域的學習中，對於時刻需要關注前沿科技信息的碼字工來説，必須要有幾個好一點的優質信源，極術社區是我們碼字工最常逛的科技社區之一了。在裏面瀏覽一番半導體的信息，總會get到新知，收穫一些靈感，在社區人工智能板塊有XPU、NPU、AI芯片、ISP等多種芯片分類內容，受到ISP分區內容的啓發，今天就先從ISP芯片聊起。

讀者朋友們可以發現，近日國內好幾個一線手機廠商發佈的新品手機比如小米和ov，其中拍攝功能宣傳的要點中都提及了搭載自家設計的ISP芯片，此前很多廠商都是以購買第三方高通、聯發科等廠商芯片為主，現在國內一線廠商都開始走自研之路。是什麼原因驅動一線手機廠商紛紛自研？做ISP是廠商選擇自研SoC的開始嗎？ISP芯片目前市場的競爭態勢和未來趨勢是什麼樣式？這是本文想要討論回答的核心。

自研ISP考量的價值

ISP（Image Signal Processor，圖像處理器）是手機芯片系統中的重要組成部分，負責圖像處理部分。ISP芯片一直是作為SoC芯片內置的模塊存在，與CPU、GPU等單元集成在系統裏一起出售，基本上可以滿足大部分場景使用。隨着消費者的需求變更與廠家差異化打法的變化，很多廠商發現將ISP作為獨立單元進行圖像的處理，可以實現自主可控。

此前大家都在高通和聯發科這些芯片廠商制定的參數規則裏面遊走，只能在集成的ISP模塊特性進行適配和調整，此外ISP性能也受芯片整體升級規律的限制，更新的頻率不高，影像性能的參數在同一個框架下的結果就是其手機影像變化和功能日趨同質化。

對於消費者來説，除了在屏幕、快充以及整機性能外，影像功能可謂是選擇手機的重要影響因素之一。在硬件和算法沒有什麼大的進步情況下，在ISP影像方面上面進行手機影像性能的提升和創意是廠商們一致的想法。舉例來説，想要提升手機照片的成像質量，搭載安謀科技中國本土團隊自研的“玲瓏” i3/i5 ISP芯片，就可以在一些極端場景比如逆光、暗室等寬動態環境，對明暗區域進行很好地記錄，從而在寬動態範圍、低光降噪等方面最終獲得不錯的成像。

拍照功能與視頻圖像等質量是決定消費者體驗的重要參數，我們也在各大手機品牌的新品宣傳中見識到對其自家拍攝性能的極盡展示，如何以差異化功能獲取用户是每家手機廠商睜開眼睛就要思考的問題。想要實現性能和體驗的差異最大的問題就是要打破被ISP制約的情形。而蘋果、三星、華為等自研芯片的手機廠商以自己差異化功能的市場表現贏得高端市場用户的青睞，這也給其他國內手機廠商啓示與強心劑：自研芯片是難而正確具有長遠價值的事情，必須要去做。

小米、ov等廠商無論是在新產品中搭載自家設計的ISP芯片還是在新聞中不斷宣傳造ISP芯，都在向市場釋放自研ISP手機芯片的決心，驅動手機廠商選擇自研ISP手機芯片主要有這四方面的價值考量：

1、手機廠商可以發揮的差異化空間增大，ISP芯片的性能決定了手機影像功能的差異化。相對於芯片廠商高通與聯發科等，手機廠商距離消費端更近，對功能場景與趨勢易把控，手機廠商自研ISP芯片可以與市場的需求變化調整同頻，其影像功能也就不再限於芯片廠商的芯片性能，手機廠商可以根據市場情況發揮差異化性能的優勢。

2、避免供應鏈的風險。華為手機市場份額的減少是其他一線手機廠商不想再經歷的風險，無論是貿易摩擦還是地緣政治、黑天鵝疫情等風險，自研ISP芯片的選擇讓手機廠商可以減少一些被不確定因素扼制的風險。

3、成本的優勢，手機廠商的出貨量動輒數十萬、百萬，自研ISP芯片的話可以繞過其他芯片廠商的定價權，減少芯片成本的支出。

4、 ISP相比SoC來説，技術的實現難度相對較低，花費的精力時間等成本更低，更容易實現。

手機廠商選擇自研ISP芯片無論是出於成本還是產品功能方面的考慮，都是讓自身在這個白熱化競爭的市場能有更好的表現，市場中有便宜好用的ISP芯片，而商家花費心血時間去自研ISP芯片也不僅僅是革新影像功能的目的，廠商們在積累芯片技術的前提下，更多的是戰略層面的考慮：未來可能向手機的心臟器件——SoC芯片進擊，從ISP芯片的突破口中逐步切入到SoC的研製中去。

從ISP循序漸進到SoC

自研ISP芯片只是手機廠商的打樣，野心家的目光在影像功能外，對於手機來説，核心的核心就是芯片，一旦出現任何不確定因素被卡喉嚨，企業就面臨生死存亡，因為貿易摩擦帶來的芯片卡喉，所有廠商都有危機感，自研芯片是需要戰略層面的出擊、佈局。

小米早在2014年就開始佈局自研芯片，成立專注手機芯片研發設計的松果電子子公司以服務手機SoC芯片，在2017年發佈了首款手機SoC澎湃S1，在小米5C手機中落地，但S1在性能、功耗等方面都有明顯不足。

在SoC芯片的折戟讓小米更加務實，在2019年小米開始研發ISP芯片，今年3月發佈的旗艦機小米摺疊屏手機MIX FOLD搭載了小米自研的ISP芯片澎湃C1，能夠實現更好的3A（自動對焦，自動白平衡，自動曝光）處理，自研ISP+自研算法成為這款旗艦手機宣傳的賣點之一。小米的SoC芯片研發之路滿途坎坷，松果電子最終也重新進行了組織架構的調整，一部分團隊繼續保留，一部分團隊分拆出去進行IOT芯片的研發。但澎湃C1對小米來説的是一個新的轉折，小米的ISP芯片架構師左坤隆博士此前在採訪中表示ISP的研發只是起點，小米還是要回到手機心臟器件SoC的研發中，而這也是小米對手機芯片的未來戰略規劃。

一線手機廠商ov也不甘人後，分別在自研芯片道路上開始重金投入。9月6日消息，vivo率先發布自家自研的ISP芯片V1，這是vivo自研的首款影像芯片，團隊300人經過兩年的研發ISP芯片才得以面世。在2019年vivo也曾與三星聯合研發了Exynos 980 5G SoC，無論是自研ISP還是與三星聯合研發SoC，vivo都開始在芯片技術積累的道路上鋪墊，至於未來是否向SoC進發vivo表示還不能確定，但芯片技術先行的趨勢，多手準備總是沒有錯的。

OPPO在芯片研發方面，於2019年就成立子公司ZEKU，據悉現下團隊人數已經兩千人，部分員工來自華為海思、紫光展鋭和一些台灣半導體企業。2020 年 2 月 OPPO 內部發文《對打造核心技術的一些思考》，首次提到芯片計劃的代號——“馬里亞納計劃”。OPPO將手機核心的芯片作為未來戰略思考的方向，只研製相對SoC來説簡單點的ISP芯片還是有點浪費這些資金人力的投入，OPPO的野心不止如此。成立兩年的子公司ZEKU也有做出成績，其ISP芯片據傳已經在今年初流片，未來可能會搭載2022年發佈的Find X5 手機上。除了ISP芯片外，OPPO方面也在同步推進研發SoC的計劃，以掌握手機核心技術未來或替代部分高通和聯發科芯片。

ISP芯片向SoC芯片進發的路坎坷難行，兩者從技術的維度上是數量級的差距，ISP只是單一的圖像管理單元，而SoC芯片會集成CPU、GPU、NPU、ISP通信基帶等模塊，模塊的設計與模塊之間的適配涉及的技術很複雜。從時間的維度上來看，我們可以發現ISP芯片從無到有的實現基本上是兩年多的時間，新進入的手機廠商就可以拿出成品進行部分投放使用，但是SoC芯片的誕生到使用跨越的時間就需要新手十年起步的嘗試。SoC芯片的打磨可謂是跟攀登高海拔的雪山一般，一步步的腳印和一級級的台階才能攀頂成功，沒有跳躍發展一口氣吃成胖子的可能。

雖然SoC的研發之路坎坷，參照海思的成功發展至少需要十年的時間耕耘，但是後發的手機廠商也在積累技術的道路上開始耕耘。無論是當下ISP芯片的自研，還是未來向着SoC芯片進軍，都需要時間的加持，芯片自研是一場曠日持久的戰鬥，資金、人才、技術、市場等因素缺一不可。

ISP芯片的競爭勢態

在ISP產業版圖中，除了現在正在崛起的自研ISP手機廠商蘋果、華為、三星等，主要有三類競爭勢力，一種是高通這類SoC芯片供應商，ISP模組已經被打包入內進行銷售，一類是ARM這類提供IP授權的供應商，還有一種ISP模組設計服務提供商。

現下，ISP芯片市場仍然是以高通三星聯發科佔據大部分市場份額為主，手機廠商們的自研芯片只是初嘗試給整個市場並沒有帶來大的衝擊，但是未來等到手機廠商的技術日趨成熟，開始廣泛應用到自家的產品，還是會給產業鏈造成一些影響：

1、手機廠商在自研芯片方面，主要是在芯片製造的前端進行研發，比如IP和設計端的再研發，未來的發展會將佔據一部分芯片廠商的ISP市場份額。

2、芯片廠商在IP方面擁有專利特權，自研芯片的手機廠商在一些IP專利上面無法繞過去，仍然會依賴芯片廠商，呈現雙方共同競爭但雙方分別佔據市場的局面，因為芯片廠商的先發優勢，市場份額還是芯片廠商佔據較大為主。

3、手機芯片的自研給芯片廠商帶來革新意識，激發芯片廠商對於手機芯片的研發創新和護城河的拓寬，無論是芯片的性能還是價格都會因為這個趨勢有新的變化。

未來ISP的競爭有無大的市場變化，還要看這些自研ISP手機廠商的技術發展，幾乎包攬整個手機市場的一線廠商出貨量不容小覷，雖然現在大家已經有自家的ISP芯片，但也只是小劑量的嘗試以展示肌肉，並沒有進行大規模的應用，規模使用產生的量變才會給整個ISP芯片市場帶來影響的質變。在對ISP市場的梳理過程中，我們也發現ISP芯片的未來走向趨勢，與AI視覺處理技術進一步地結合協同發展。

手機市場同質化的競爭白熱化到不能再白熱化，其影像功能的像素已經突破億級，硬件與算法短期內沒有大的浪花兒翻騰，手機廠商無論是從ISP開始突破還是未來逐步切入到SoC的深海，都釋放出新的信號和思考變化：開始迴歸到手機的本質核心技術，如何構建底層的核心能力是未來大家贏得市場競爭的關鍵砝碼。現在投入的數億級資金，成百上千的高端人才等成本都是為提升未來競爭力，儘早卡位未來的市場。

手機作為消費電子的代表領域，這個下海芯片的豪賭競爭勢態也不斷反映出現下廠商在這個焦慮下的市場中想要通過抓住核心技術去變革，手機廠商的產品、商業模式、組織架構都會隨之迎來一些新的調整。無論最終的結局走向如何，這個路途艱難的選擇未來都會改變手機、芯片領域的市場格局。對於消費者來説，充分的市場競爭帶給我們豐富的產品，我們也會跟着享受越來越多各有特色的電子產品。