成像系統(tǒng)的復(fù)雜程度不斷讓人感到驚訝?，F(xiàn)在的情況遠(yuǎn)不像以前那樣簡(jiǎn)單，我們不能簡(jiǎn)單地將攝像頭直接連接到人工智能（AI）系統(tǒng)上進(jìn)行分析，現(xiàn)在，圖像（可能來自多個(gè)攝像頭）在進(jìn)入AI處理之前，需要經(jīng)過一系列計(jì)算機(jī)視覺（CV）的轉(zhuǎn)換和處理。這種需求在監(jiān)控?cái)z像頭的應(yīng)用中尤其明顯。

監(jiān)控?cái)z像頭需求

監(jiān)控?cái)z像頭的應(yīng)用越來越廣泛，不僅在安全方面，還在成本管理上。一個(gè)顯而易見的應(yīng)用場(chǎng)景就是居家安全。保護(hù)各類商店避免被最近流行的快速搶劫行為影響越來越重要，監(jiān)控?cái)z像頭的應(yīng)用不僅有助于商店的安全，也能減少我們消費(fèi)者的損失和麻煩。此外，安裝了多光譜攝像頭（例如融合了彩色和紅外視覺的攝像頭）的無人機(jī)，憑借其廣泛的機(jī)動(dòng)性，可以探測(cè)到早期的野火跡象，并及時(shí)通知消防隊(duì)員撲滅火點(diǎn)，防止火勢(shì)蔓延。同樣，配備攝像頭的無人機(jī)可以對(duì)農(nóng)作物進(jìn)行巡視，監(jiān)測(cè)灌溉、施肥和害蟲管理。

▲圖 1：農(nóng)業(yè)中的無人機(jī)技術(shù)

所有這些應(yīng)用都需要高質(zhì)量且緊湊的視覺解決方案，通常需要多個(gè)攝像頭配合使用，并且要在有限的電力預(yù)算下運(yùn)行。在人工智能（AI）完全接管之前，重要的計(jì)算機(jī)視覺（CV）處理功能必須對(duì)攝像頭圖像和視頻進(jìn)行預(yù)處理，以滿足最新的監(jiān)控成像質(zhì)量要求，而這些處理工作是中央處理器（CPU）或神經(jīng)網(wǎng)絡(luò)處理單元（NPU）無法高效完成的。

一個(gè)有趣但充滿技術(shù)挑戰(zhàn)的機(jī)遇

監(jiān)控?cái)z像頭市場(chǎng)已經(jīng)非常成熟，并且還在增長(zhǎng)。全球已有超過10億個(gè)監(jiān)控?cái)z像頭在使用，其中100百萬家庭使用智能家居監(jiān)控?cái)z像頭。而且，預(yù)計(jì)2022年至2029年期間，全球監(jiān)控?cái)z像頭市場(chǎng)將以16.8%的年增長(zhǎng)率持續(xù)增長(zhǎng)。這種增長(zhǎng)很大程度上歸功于這些系統(tǒng)技術(shù)的不斷提升，尤其是在遠(yuǎn)程監(jiān)控的智能設(shè)備中。

“智能”就是指人工智能（AI）的部分，但在進(jìn)入AI之前，這些系統(tǒng)必須能夠生成統(tǒng)一且清晰正確的場(chǎng)景視圖，以便AI能夠進(jìn)行分析。這是什么意思呢？一些攝像頭使用魚眼鏡頭，能夠360度全景監(jiān)控，但圖像會(huì)很扭曲。其他攝像頭使用多個(gè)鏡頭來生成360度視圖或廣角視圖。但這些圖像必須無縫拼接成一個(gè)完整的視圖。您可能在一些新款汽車中見過類似技術(shù)，它們生成的全景圖像看起來像是從車頂拍攝的，但實(shí)際上是由前視、后視和側(cè)視攝像頭拼接而成的。

另一個(gè)重要要求是支持?jǐn)?shù)字化的平移、俯仰和縮放（PTZ）。在高級(jí)交通監(jiān)控?cái)z像頭中，支持PTZ功能并不難，但是在價(jià)格較低的消費(fèi)者級(jí)別監(jiān)控?cái)z像頭或無人機(jī)的預(yù)算范圍內(nèi)，這種功能并不是理所當(dāng)然的。然而，我們?cè)谶@些應(yīng)用中同樣需要，甚至更為需要PTZ功能，以便放大可能可疑的區(qū)域或查看其他潛在問題。

這些功能需要額外的計(jì)算機(jī)視覺處理步驟，這些步驟既不適合前端攝像頭圖像處理，也不適合后端AI處理。為了實(shí)現(xiàn)高質(zhì)量的實(shí)時(shí)監(jiān)控成像，確保準(zhǔn)確檢測(cè)并減少誤報(bào)，這些步驟需要數(shù)字信號(hào)處理器（DSP）級(jí)別的準(zhǔn)確性和處理能力。

▲圖 2：在移動(dòng)設(shè)備上進(jìn)行圖像去畸變處理

Ceva-SensPro2 CV DSP

以上面提到的魚眼鏡頭的圖像校正為例，這種校正通常需要對(duì)整個(gè)圖像區(qū)域進(jìn)行三角函數(shù)變換，而這種任務(wù)超出了此類監(jiān)控成像系統(tǒng)普通中央處理器（CPU）的能力范圍。這是一個(gè)典型的計(jì)算機(jī)視覺（CV）問題，需要大量的并行處理，還需要對(duì)非線性函數(shù)（如三角函數(shù)或雙曲三角函數(shù)）的支持。 

Ceva-SensPro2 DSP系列在一款嵌入式視覺處理器（DSP）中提供了這種支持，支持從128到1024個(gè)INT8 MAC（也可以配置為INT16和浮點(diǎn)運(yùn)算）。它由六個(gè)高度可配置的核心組成，能夠提供顯著的并行處理能力，適合多攝像頭應(yīng)用。它甚至能夠滿足前端AI的需求，最高可達(dá)幾個(gè)TOP，例如基本的物體檢測(cè)，減少后續(xù)AI引擎的負(fù)擔(dān)。

Ceva- SensPro2得到了非常豐富的應(yīng)用庫(kù)的支持，這些庫(kù)涵蓋了計(jì)算機(jī)視覺（CV）中的多種處理方法、用于導(dǎo)航的SLAM（如無人機(jī)和機(jī)器人）以及傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)AI方法。這些庫(kù)不僅僅是數(shù)學(xué)擴(kuò)展。例如，在計(jì)算機(jī)視覺方面的支持當(dāng)然包括濾波和顏色轉(zhuǎn)換等基本操作，同時(shí)也直接支持通過多種標(biāo)準(zhǔn)算法進(jìn)行特征檢測(cè)和圖像畸變校正。對(duì)于平移、俯仰和縮放（PTZ）操作，庫(kù)中提供了圖像變換功能以及數(shù)學(xué)和向量處理功能。在AI網(wǎng)絡(luò)庫(kù)的支持中，包括張量操作、卷積、池化、激活和遞歸等功能。所有這些都在一個(gè)開放源代碼框架上運(yùn)行，可以移植到SensPro2上。

▲識(shí)別二維碼，立即了解Ceva-SensPro2 

您是否真的需要添加另一個(gè)核心來支持您的處理流程？

這是一個(gè)值得明確回答的問題。從概念上講，像去畸變、圖像拼接等功能在專用的計(jì)算機(jī)視覺引擎上運(yùn)行會(huì)比在通用CPU上更快。而且，客戶的實(shí)際采用情況也能說明問題。臺(tái)灣上市公司Novatek宣布在其NT98530芯片中內(nèi)置SensPro2，以支持監(jiān)控應(yīng)用。他們使用SensPro2進(jìn)行360度去畸變、4Mx4M攝像頭拼接、視頻穩(wěn)定、AI場(chǎng)景檢測(cè)以指導(dǎo)ISP自動(dòng)調(diào)整、RGB與紅外傳感器融合以及立體深度支持。所有這些都是為了實(shí)現(xiàn)每秒60幀的4K成像。Novatek非常依賴SensPro2及其SDK。

還有其他未公開的客戶。顯然，他們都認(rèn)為，處理這個(gè)任務(wù)所需的整個(gè)流程非常復(fù)雜，因此需要在處理過程中使用高性能的計(jì)算機(jī)視覺技術(shù)。從Novatek的需求范圍可以看出這一點(diǎn)。

如果您有類似的需求，歡迎聯(lián)系我們或訪問我們的產(chǎn)品頁(yè)面。

識(shí)別下方二維碼

立即了解CEVA-SensPro2 

識(shí)別下方二維碼

立即了解CEVA-Edge AI Sensing