在智能視覺(jué)技術(shù)不斷發(fā)展的今天，多路攝像數(shù)據(jù)的處理與傳輸已成為眾多應(yīng)用場(chǎng)景的核心需求。從智能安防監(jiān)控領(lǐng)域的全面覆蓋，到工業(yè)視覺(jué)處理網(wǎng)關(guān)的精準(zhǔn)檢測(cè)，再到車(chē)載環(huán)視融合平臺(tái)的實(shí)時(shí)駕駛輔助以及智慧社區(qū)AI防控的快速響應(yīng)，多路攝像數(shù)據(jù)的處理與傳輸已成為關(guān)鍵需求，而高效且低延時(shí)的解決方案則是實(shí)現(xiàn)這些應(yīng)用的核心。
目前多路攝像傳輸方案往往存在一定局限，接入路數(shù)有限，難以滿足大規(guī)模監(jiān)控場(chǎng)景的需求，且延遲較高，影響實(shí)時(shí)性，編碼效率也不盡如人意，通常會(huì)占用大量帶寬和存儲(chǔ)資源。然而，米爾電子在瑞芯微 RK3576核心板上實(shí)現(xiàn)了 12 路高清視頻流H264高效編碼與RTSP低延遲推流，端到端延遲約140ms。下面為大家介紹米爾是如何實(shí)現(xiàn)12路高清視頻流的低延遲端到端傳輸。

一、MYD-LR3576開(kāi)發(fā)板強(qiáng)大性能架構(gòu):

MYD-LR3576開(kāi)發(fā)板，采用先進(jìn)8nm制程工藝，集成四核Cortex-A72（主頻2.2GHz）與四核Cortex-A53（主頻2.0GHz），配備Mali-G52 MC3圖形處理單元，VPU視頻編解碼單元，以及搭配6TOPS算力NPU。

圖：米爾基于RK3576開(kāi)發(fā)板

二、12路攝像頭采集編碼后通過(guò)RTSP推流，另一側(cè)解析后顯示

視頻所示：RK3576 獲取 12路 1920x1080 30fps攝像頭數(shù)據(jù)，編碼后通過(guò)網(wǎng)線傳輸?shù)搅硪粋€(gè)3576板子顯示過(guò)程，攝像頭對(duì)著秒表能看到延遲時(shí)間。

STEP1：使用12路  AHD攝像頭抓流后編碼推流

MYD-LR3576開(kāi)發(fā)板擁有3路4lan MIPI-CSI接口，搭配MY-CAM004M視頻轉(zhuǎn)換模塊可以接入12路（1920*1080 30幀）AHD高清攝像頭 ，使用RGA圖片處理后再經(jīng)過(guò)VPU 單元模塊編碼成H264碼流通過(guò)網(wǎng)絡(luò)RTSP推流。此過(guò)程視頻延遲在80~100ms以?xún)?nèi)。

抓取視頻流編碼后RTSP推送流程：

RGA處理單元占有率

CPU處理單元占有率

STEP2：MYD-LR3576 開(kāi)發(fā)板接收視頻流顯示：

CPU占有率

GPU占有率

由于通過(guò)網(wǎng)絡(luò)傳輸和解碼，會(huì)產(chǎn)生40~50ms左右延遲，最終從視頻抓取，編碼，RTSP傳輸，再到解碼播放延遲在120~150ms。

對(duì)比兩個(gè)過(guò)程各單元占用情況

過(guò)程描述	CPU	RGA	GPU	VPU 最大編解碼	延遲
12路編碼RTSP推送	20%	RGA0 24% RGA1 8%	沒(méi)用上	H264 編碼: 3840x2160@60fps	80~100ms
解析RTSP數(shù)據(jù)解碼顯示	5%	沒(méi)用上	25%	H264 解碼： 4096x2304@60fps	40~50ms

• 廣泛的應(yīng)用場(chǎng)景

工業(yè)安防下12路攝像頭對(duì)于RK3576只能算是熱身，別忘了它還有6TOPS的NPU沒(méi)發(fā)揮，它也能勝任如下應(yīng)用場(chǎng)景

智能安防監(jiān)控領(lǐng)域：作為中樞核心，輕松駕馭多路監(jiān)控?cái)z像頭的視頻流，實(shí)現(xiàn)全方位、無(wú)死角的實(shí)時(shí)監(jiān)控。

工業(yè)視覺(jué)處理網(wǎng)關(guān)：精準(zhǔn)處理工業(yè)生產(chǎn)中的各類(lèi)視覺(jué)數(shù)據(jù)，助力智能制造。

車(chē)載環(huán)視融合平臺(tái)：將多個(gè)車(chē)載攝像頭的畫(huà)面高效融合，為駕駛安全保駕護(hù)航。

智慧社區(qū)AI防控：高空拋物監(jiān)測(cè)，陌生人預(yù)警，電動(dòng)車(chē)進(jìn)電梯等。

綜上所述，米爾電子基于瑞芯微RK3576核心板打造的解決方案，成功解決了多路高清視頻流接入、高效編碼與低延遲傳輸?shù)膯?wèn)題，為智能視覺(jué)應(yīng)用的實(shí)時(shí)性與可靠性提供了強(qiáng)有力的支撐。后續(xù)我們將分享在米爾RK3576核心板上實(shí)現(xiàn)AI處理多路視頻流的相關(guān)內(nèi)容，敬請(qǐng)期待！