ISP芯片：如何讓數字之眼“看清”真實世界？_風聞

最近看到生物學教授王立銘的一個有趣假設，他説，假如存在外星高級智慧生物，那麼它大概率和人類一樣是用眼睛來感知外部世界的。

為什麼這麼説呢？因為視覺信息，也就是光這樣的電磁波，是所有感知信息中反映環境變化最準確、承載環境信息最豐富的通道。但凡智慧生物，如果不是生活在黑暗地下或者是幽冥深海，基本上都會依靠視覺信息來捕食和逃生。

因為光是宇宙中最普遍的存在，不需要具體介質（空氣、水等）也能直線傳播，能夠充分準確、及時的反映出空間和物體的信息，比聲音、味道、觸覺所承載的信息量大多了，同時也穩定多了。

這一假設從人類製造的智能設備中也可以得到驗證。以智能手機為例，其最主要接收到的兩類信息，一個是圖像，一個是聲音。聲波的輸入和輸出，作為電話最初的功能，發展至今技術已臻於完善，只能在音質穩定性上進行小打小鬧地改善。

而圖像已經成為智能手機最核心功能，其拍攝技術和圖像質量在不斷升級，其所產生的數據也佔據了手機最多的內存資源，也成為各種應用最主要的數據源頭。

事物的影像通過光的反射進入眼睛當中，視網膜上的感光細胞就可以檢測到這些光的強度、角度和位置，從而引發生物電信號，最後傳遞給大腦神經細胞進行視覺圖像的成像，才讓我們看到和記住看到過的事物。

和生物視覺的實現方式一樣，圖像視覺的處理過程也基本按照這一過程實現，包括收集光源的鏡頭、將光信號轉化為電信號的圖像傳感器、對圖像電信號進行數字處理的ISP芯片以及現在能對圖像進行進行分析識別的當紅辣子雞的AI芯片。

在我們每一天拿起手機隨手拍照、攝像的過程中，這些不起眼的設備都在進行着每秒數以億次的龐大計算，才能讓我們擁有五光十色的拍攝效果。

在圖像技術一直逼近甚至挑戰人類的視覺能力極限的過程中，ISP芯片發揮着至關重要的作用。本文我們主要關心下ISP的技術邏輯、ISP技術產業現狀和發展趨勢。

光的美顏師：ISP的運行邏輯

ISP，即“Image Signal Processor”（圖像信號處理器）的縮寫，是用來對前端圖像傳感器輸出信號進行處理的單元。通俗來理解就是，ISP 所要做到的就是將“數字眼睛”的視力水平提高到“人類眼睛”的水平，讓人眼看到數字圖像時的效果儘可能接近人眼看到實景時的效果。

一個ISP其實是一個SoC核心，內部包含CPU、SUP IP、IF 等單元，可以運行各種算法程序，實時處理圖像信號。ISP的控制結構由ISP邏輯和運行在上面的Firmware兩個部分組成，邏輯單元除了完成一部分算法處理外，還可以統計出當前圖像的實時信息。Firmware 通過獲取ISP 邏輯的圖像統計信息進行重新計算，反饋控制Lens、Sensor和ISP邏輯，以達到自動調節圖像質量的目的。

（圖源：CSDN《ISP圖像信號處理算法概述》，下同）

根據專業人士的介紹，ISP的具體處理流程是這樣：Lens 將光信號投射到sensor 的感光區域後，sensor經過光電轉換，將Bayer 格式的原始圖像送給ISP，ISP經過算法處理，輸出RGB空間域的圖像給後端的視頻採集單元。在這一過程中，ISP通過運行在其上的Firmware固件對ISP邏輯，從而對Lens 和sensor進行相應控制，進而完成自動光圈、自動曝光、自動白平衡等功能。其中，Firmware的運轉靠視頻採集單元的中斷驅動。PQ Tools工具通過網口或者串口完成對ISP 的在線圖像質量調節。

ISP的算法處理，可以對Bayer圖像進行黑電平補償 （black level compensation）、鏡頭矯正（lens shading correction）、壞像素矯正（bad pixel correction）、顏色插值、Bayer 噪聲去除、 白平衡（AWB） 矯正、 色彩矯正（color correction）、gamma 矯正、色彩空間轉換（RGB 轉換為YUV）、在YUV 色彩空間上進行彩噪去除與邊緣加強、色彩與對比度加強，中間還要進行自動曝光控制等，然後輸出YUV或者RGB格式的數據， 再通過I/O接口傳輸到CPU中處理，進行圖像的存儲和顯示。

用我們拍照時常説到，就是圖片的鋭化、降噪、優化色彩等都是在ISP中處理完成的，而且ISP還肩負着實現相位、激光、反差等混合對焦運算以及提供對多攝像頭支持等重任，是手機拍照中必不可少的關鍵一環。

最終我們看到，ISP芯片就像一個光的美顏師一樣，使得我們在按下快門的一剎那獲得如此多的畫質調節和改善，也能在拍攝前主動地選擇各種拍攝場景模式，進行各種拍攝參數的微調，讓每個人都能成為影像大師。

成為移動終端圖像處理核心：ISP的產業躍遷

ISP的出現是和人類對拍攝圖像的高質量要求密切相關的。

NASA對月球進行勘探時，發現模擬相機在月球上拍攝的照片十分微弱不清，無法反映真實情況。此後美國發展出的CCD圖像傳感器解決了這一問題，為了確保CCD拍攝的圖像能夠清晰和真實地顯示，就需要對CCD採集的圖像進行處理，這樣ISP圖像信號處理器得以誕生。

隨着數碼相機和攝像機的廣泛應用，ISP技術也得到了快速發展。在推進高清視頻、圖像產品的過程中，ISP技術的創新發揮了巨大作用，ISP也從高清攝像機的輔助技術逐步演變為關鍵核心技術。一些高清監控硬件廠商為進一步提升畫質，開始將CCD傳感器替換為CMOS圖像傳感器，這樣就將ISP內置到CMOS中，在節約空間的同時也降低了功耗。

因此，這一創新使得高清攝像機市場實現了從模擬到數字信號的升級。一般來説，不同的ISP匹配不同廠商的CMOS圖像傳感器，大部分內置ISP功能的視頻芯片對CMOS芯片的支持都比較完善，可以直接對接各主要廠商的主要產品，使得攝像機體積更小、產品形態更多，不僅推動在高清攝像機上高清SoC芯片的研發，也讓CMOS和ISP的組合在移動智能設備中廣泛普及。

現在，每一款配備攝像頭的移動設備都搭載了ISP芯片。不過對於很多國內智能手機廠商而言，他們通常會宣傳自己的產品採用了索尼的CMOS圖像傳感器，甚至給出這一感光元件的具體型號，還給出一個多鏡頭陣列的分解圖。但是消費者在拿到手之後，用它拍攝出來的照片並不能如預期的那麼好，其中一個很大的原因就是ISP，就在於這些廠商雖然拿到了高品質的光學和感光元件，但是ISP沒有能夠跟上。

現在，主要的智能移動設備的芯片廠商、IP提供商以及智能手機製造商都在推出自己的ISP芯片，但是ISP仍然存在着較大的技術壁壘。

首先，ISP中大量模塊的算法是相互影響的，其眾多算法需要諸多的調校工作在其中，這需要大量而長期的經驗積累。

其次，作為商用的ISP，需要眾多的新功能模塊，比如X-talk串擾，VSM等模塊的加入，這也增加了ISP的技術壁壘。

另外，ISP的技術需要長期積累，需求少、學習週期長，人才匱乏。因此ISP人才團隊組建也是一個考驗公司投入力度、技術積累的剛性條件。

這讓領先的ISP技術更容易被那些有先發優勢、多年積累的芯片大廠和老牌製造商，比如蘋果、高通、三星、聯發科等大廠所掌握。

但越來越多的手機芯片廠商開始自研ISP和算法，華為海思就是從麒麟950開始集成自研的950芯片，使得華為P9開始躋身主打攝影拍照手機的第一陣營。

作為全球移動CPU芯片核心IP提供商的ARM也在2018年推出了首款ISP芯片，最初是面向汽車設備的移動影像處理，隨後又推出了兩款針對移動終端和物聯網設備的ISP芯片全新ARM Mali-C52和Mali-C32。ARM的ISP在處理每一像素時會有超過25個步驟的處理，其中包括高動態範圍(HDR)、降噪以及色彩管理的三個關鍵步驟對圖像輸出質量起到了決定性的影響。

根據極術社區的消息，12月3日，安謀中國最新發布了“玲瓏”i3/i5 ISP處理器。這一安謀中國本土團隊自主研發的首款產品，在降噪、清晰度和寬動態等指標上達到業界領先水平，具有高畫質、低延時、可配置能力強、擴展兼容性高等特點，可廣泛適用於安防監控、AIoT 及智能汽車等領域的視頻、圖像處理工作，能夠滿足不同場景的多樣化數據處理需求。

我們注意到，在對這些ISP產品的梳理中，圖像信號處理和AI視覺處理正在協同發展，既要“可看”又要“看懂”的圖像處理，成為未來視覺設備發展的關鍵。

新機遇：視覺處理器與ISP芯片的共生共成

人工智能技術作為全新的技術變革要素進入到成像產業領域，使得圖像的處理和計算迎來更多的挑戰，現在除了ISP芯片之外，還需要加入具有AI能力的視覺處理器（VP）芯片。

現在，ISP芯片處在低速穩定的增長階段，而VP芯片則呈現爆發式增長。

根據Yole的一份市場統計，VP芯片從2018年至2024年期間的複合年增長率（CAGR）高達18%，預計2024年將達到145億美元規模。同時，ISP芯片保持低速穩定增長態勢，2018年至2024年期間的複合年增長率僅為3%，預計2024年將達到42億美元規模。

現在，我們攜帶的移動智能設備和IoT設備中，對於圖像的處理和計算，不僅僅要實現“查看”的功能，看要實現“分析”的功能，因此，圖像硬件廠商越來越多的要在硬件系統中加入支持人工智能算法特別是深度學習的軟件集成，從而讓圖像硬件系統超越“拍攝圖像”的限制，能夠實現“分析圖像”的能力。

對於我們消費者而言，最主要的感受就是智能手機的人臉識別以及現在一些手機攝像中具有的AI美顏以及拍照識物的功能。而在眾多智能視覺領域，VP+ISP的融合已經掀起了一場全新的智能化變革。正如安謀中國最新的“玲瓏”ISP處理器的發佈，未來可以適用於安防監控、AIoT 及智能汽車等領域的視頻、圖像處理工作，滿足不同場景的數據處理需求。

因此，視覺處理器的爆發式發展，與ISP產業的發展是並行不悖的，因為想要實現智能視覺，就必須考慮選擇適合的前端圖像處理方案。如果前端圖像處理的輸出非常糟糕時，那視覺處理系統的結果也會非常糟糕。

智能視覺系統必須要有可靠的輸入才能產生可靠的結果，這正是無法離開一顆強大的ISP的根本原因。