CIS的新玩法_風聞

來源：內容由半導體行業觀察（ID：icbank）原創，作者：暢秋，謝謝。

近兩年，由於智能手機用的攝像頭數量成倍增加，使得CIS（CMOS圖像傳感器）的市場需求量大漲，索尼、三星、豪威科技等幾大CIS廠商已經加足研發和生產馬力，但依然是供不應求。在這樣的形勢下，擅長CIS的晶圓代工和封測廠也大為受益，產能都非常吃緊。甚至有些中國本土的功率器件、LED驅動等IC設計廠商在2019下半年一度找不到足夠的晶圓代工產能，調查後發現，有些晶圓代工廠原本用於功率器件、LED驅動IC等的產能，轉向了CIS。同時，這種形勢也在“逼迫”一些專注於CIS的IC設計廠商開始佈局自有的封測廠，甚至是晶圓廠。

以上是CIS在手機應用領域的玩兒法，除此之外，CIS還在另外兩大領域有着越來越大規模的應用：汽車和安防，它們的市場規模在當下也是僅次於手機的，發展前景非常廣闊，汽車自不必説，隨着電動車，以及ADAS功能的普及，汽車用的各種芯片元器件都是潛力股，芯片廠商們都在躍躍欲試。而安防、道路交通和工廠應用的終端數量更是海量，每一個都需要CIS。更重要的是，與手機有所區別，這些應用大都是To B（商用）的，其對CIS的像素分辨率要求不像智能手機用那麼高的“噱頭”，但是其對低延時，以及圖像信息處理的準確性和精度的要求較高。而在安防、道路交通和工業應用領域，特別是安防，是人工智能（AI）的主要落地點。

還有一點很重要，那就是應用生態不同於手機，手機是To C（消費者）的，多是以獨立的存在形式，而安防等則不同，多數終端（主要是攝像頭）都要與數據中心或雲聯網。而這些就催生出了CIS的新玩兒法。

將AI融入CIS

新玩兒法就是將CIS與AI更緊密地結合在一起，而引領者就是CIS行業老大索尼。

AI在手機中的應用也越來越多，大都是與AP（應用處理器）整合在一起的協處理器。而面對安防和工業應用，索尼將CIS和AI處理單元整合在了一起，令人耳目一新。

下面簡單地介紹一下這款芯片。

IMX500（未封裝版本）和IMX501（採用LGA封裝的），它們不僅包括支持4K分辨率視頻的1230萬像素CMOS，還包括可以進行機器學習工作的專用AI處理器。

從芯片結構上來看，IMX500的像素芯片堆疊在邏輯芯片的頂部，而邏輯芯片不僅執行常規的圖像傳感器操作，還具有用於圖像信號處理的ISP和專用於AI信號處理的DSP，並且還有專門供AI模型使用的內存。這種配置消除了對高性能處理器和外部存儲器的需求。

如前文所説，To B應用的CIS設備多數都要與數據中心或雲聯網，而終端的數據量與日俱增，這就帶來了一個問題，即數據和指令在終端和雲之間的頻繁傳輸，會帶來延遲和信息的安全性問題，而且隨着應用的逐步落地和數據量的暴增，這種問題愈加突出。而為了應對這一挑戰，一些傳統網絡處理器、網絡存儲和通信芯片提供商，會提供用於邊緣側計算的協處理器，這樣就可以縮短數據通信距離和延時，不過，由於是分立的，這些問題並沒有徹底解決。而索尼的方案在攝像頭內集成了AI協處理功能，意圖徹底解決與雲的通信和延時問題。

該方案處理信息的過程是：像素芯片獲取的信號通過傳感器上的AI處理，傳感器輸出元數據（屬於圖像數據的語義信息）而不是圖像信息，從而減少了數據量並解決了隱私問題。

使用傳統的圖像傳感器記錄視頻時，必須為每個單獨的輸出圖像幀發送數據以進行AI處理，從而導致數據傳輸增加，並且難以提供實時性能。索尼的這款新傳感器在邏輯芯片上執行ISP處理和高速AI處理（MobileNet V1的處理時間為3.1毫秒），從而在單個視頻幀中完成了整個過程。這種設計可以在錄製視頻的同時提供對對象的高精度實時跟蹤。

此外，用户可以將自己選擇的AI模型寫入嵌入式存儲器，並可以根據其要求或使用系統的位置條件對其進行重寫和更新。

是傳統的SoC嗎？

瞭解這款芯片的功能和性能之後，再回過頭來看一下它的構造和工藝。但是，從公開的信息來看，索尼並未在這方面給出過多細節，只説是傳感器芯片在邏輯芯片的上邊，採用堆疊結構。

不過，在今年2月，索尼曾經宣佈過一項合作，即和一家法國科技公司Prophesee（前身為Chroncam）共同開發了一種“基於事件的堆疊式視覺傳感器”，具有124dB以上的HDR性能。該傳感器適於各種機器視覺應用，例如在各種環境和條件下檢測快速移動的物體。

可以看出，這個合作內容與索尼最新推出的IMX500有很強的相關性。

據悉，該合作產品是通過結合索尼堆疊式CMOS圖像傳感器技術，並使用Cu-Cu連接和Prophesee的Metavision Event技術來實現小像素尺寸和出色的低光性能。

當堆疊背照式CMOS圖像傳感器（上部芯片）和邏輯電路（下部芯片）時，Cu-Cu連接技術通過連接的Cu（銅）焊盤提供電連續性。與硅通孔（TSV）佈線相比，該方法通過在像素區域周圍穿透電極來實現連接，與TSV相比，該方法在設計上具有更大的自由度，提高了生產率，允許更緊湊的尺寸並提高了性能。

在這種堆疊配置下，上下兩個單獨芯片的每個像素都通過Cu-Cu進行電連接；另外，該傳感器採用了40nm邏輯工藝。

那麼，這個合作項目，以及IMX500，是傳統SoC，還是類似於新興的、以英特爾和AMD為代表的、採用先進封裝和內部互聯技術的Chiplets呢？索尼似乎並沒有明確説明。

應用

顯然，IMX500並不是針對智能手機應用的，從售價也能看出這一點，IMX500的價格約為93美元，IMX501約為187美元。

這款芯片的目標應用場景是工業相機和特定任務的相機，例如在零售場所或工廠。當攝像機裝有人員追蹤AI時，可以發現有多少人通過商店，並分析哪些區域最受歡迎。在工廠中，它可以跟蹤產品並突出生產或人員配備方面的問題。

另外就是汽車，例如，傳感器能夠檢測到駕駛員分心或睡着了，它可以向汽車發送警告。與使用外部處理器的CIS方案相比，集成AI的方案更簡單，也更可靠，且系統成本較低。

玩家不止索尼

將AI融入CIS的想法不止索尼一家有，市場上主要的幾家CIS廠商，如三星、豪威、安森美、SK海力士和意法半導體等，也有正在這方面進行研發的。

以安森美為例，該公司在全球CIS市場排在前五，但就汽車應用來説，安森美處於領頭羊位置。

下圖所示為安森美開發的一個和AI有關的深度感知應用，具體來説就是門禁閘口的人臉識別與防偽。該用例中，用相機同時提供彩色圖像和深度圖像，2D相片識別後出來效果沒有深度數據，是平面的。所以，該方案通過CNN（卷積神經網絡）深度學習提高了感知的可靠性。

不過，總體來看，安森美的圖像感知+AI方案還處於開發和嘗試階段，應用普及還需要一段時間。

而其它幾家也有進行CIS+AI應用研究的，不過現階段的公開信息較少。

邊緣側AI的落地

AI確實是個好東西，但其應用場景落地一直是一大難題，特別是在邊緣側。目前，AI主要還是應用在數據中心和雲端，採用的大多是傳統的GPU和CPU，另外就是專用的高性能AI處理器，不過這種案例不多，典型代表就是谷歌自研的TPU系列AI處理器。

而在邊緣側和終端，由於實際應用有限，再加上現階段研發出來的多為專用AI芯片，其成本較高，通用性也不強，使得雖然市場上AI概念很火，但很多新創的AI公司日子不太好過，特別是研發用於邊緣側專用AI芯片的公司，在過去一年多的時間裏，有不少倒掉的。

而像索尼和安森美等傳統CIS廠商在其芯片內融入AI功能，並用於邊緣側，是有應用場景支持的。首先，AI在視覺和圖像領域應用最廣，而CIS正是用於這類領域的，另外，在物聯網終端，對功耗要求極高，這是MCU+傳感器的優勢，而在邊緣側，既需要具備一定的計算能力，又要控制成本（成本介於雲和終端之間），將數據採集和AI處理合二為一的方案，與傳統方式的外掛處理器和存儲器相比，集成度和系統成本是有優勢的，而CIS+AI就屬於這一種。

不過，類似於集成AI的CIS這種邊緣側應用方案，初創公司恐怕很難實現，主要還是要靠傳統的IDM廠商才能玩兒好。