把一個(gè)相機(jī)連接到一臺(tái)邊緣計(jì)算機(jī)/嵌入式計(jì)算機(jī)上，然后在云端進(jìn)行數(shù)據(jù)處理或存儲(chǔ)——這就是“邊緣視覺(jué)”的概念。近年來(lái)，邊緣視覺(jué)正被廣泛應(yīng)用于自動(dòng)化產(chǎn)線質(zhì)檢、汽車圖像采集和智能工廠等場(chǎng)景中。

伴隨著人們對(duì)圖像質(zhì)量的要求提高，以及視覺(jué)傳感器技術(shù)突飛猛進(jìn)的發(fā)展，現(xiàn)場(chǎng)產(chǎn)生海量和龐大數(shù)據(jù)，也給視覺(jué)數(shù)據(jù)的邊緣傳輸和上云帶來(lái)了嚴(yán)峻挑戰(zhàn)。

01 亟待攻克的帶寬限制瓶頸

在工業(yè)視覺(jué)領(lǐng)域，整個(gè)行業(yè)都在追求更多像素、更高幀率、更高的空間以及時(shí)間分辨率。然而，很多用戶會(huì)反饋1 GigE相機(jī)的一個(gè)輸出已經(jīng)不夠用，只能連接到PLC，急需相機(jī)有更多輸出通道，以便將圖像數(shù)據(jù)傳輸?shù)皆品?wù)器。

如上圖所示，棕色的點(diǎn)是圖像傳感器，點(diǎn)連接的線代表行業(yè)中常見(jiàn)的典型接口（如PCIe 3.0是藍(lán)線，CoaXPress v2 x4是紅線）。可以發(fā)現(xiàn)，當(dāng)圖像傳感器高于某條線時(shí)，該接口的帶寬就已經(jīng)不夠去傳輸該圖像傳感器的數(shù)據(jù)了。

現(xiàn)如今，圖像傳感器取得了巨大進(jìn)步，市面上有很多圖像傳感器，帶寬速度比10GigE、CoaXPress v1快很多，甚至比100千兆接口更快，能提供一萬(wàn)幀、1億或更多像素和速度遠(yuǎn)高于150GB/s的帶寬。雖然接口取得了一些進(jìn)步，帶寬速度越來(lái)越快，但挑戰(zhàn)仍然存在——即使有鏈接聚合也很難能跟上傳感器的發(fā)展速度，電腦的GPU和CPU性能也遠(yuǎn)遠(yuǎn)落后于其他領(lǐng)域。

想要解決這個(gè)問(wèn)題，如果用高分辨率的高速傳感器，也將面臨很多瓶頸。比如攝像頭接口、GPU和CPU的橋接接口、CPU的負(fù)載或處理能力，以及計(jì)算機(jī)上送云端的帶寬，往往在最好的情況下才能達(dá)到1G。

此外，如果現(xiàn)場(chǎng)有多個(gè)攝像頭，情況會(huì)變得更糟。假如有多個(gè)10GigE相機(jī)、CoaXPress或100 GigE相機(jī)，以100 GigE相機(jī)為例，速度大概是96千兆比特乘每秒以攝像機(jī)的數(shù)量。但大多數(shù)情況下，用戶電腦的最大帶寬接口PCIe 3.0，其帶寬也只有48千兆比特每秒，遠(yuǎn)遠(yuǎn)無(wú)法滿足需求。

02 用圖像采集卡壓縮預(yù)處理

面對(duì)這個(gè)困境，用戶常見(jiàn)的解決方案是在多攝像頭和CPU架構(gòu)之間放置一個(gè)圖像采集卡，用于壓縮以及預(yù)處理。例如從圖像提取一定區(qū)域的ROI，即可減少總數(shù)據(jù)帶寬。

然而，在實(shí)際應(yīng)用中，用戶對(duì)圖像采集卡的需求還有許多：

■ 通常需要高帶寬的相機(jī)接口、多相機(jī)接口、超高精度的同步，以及可定制的IOs來(lái)控制外圍設(shè)備；

■ 在處理過(guò)程中，需要能夠?qū)崟r(shí)并行處理，并且需要低延遲、有一個(gè)大的DRAM，從而計(jì)算復(fù)雜的算法，需要很多個(gè)千兆比特每秒的內(nèi)存訪問(wèn)帶寬；

■ 對(duì)系統(tǒng)開(kāi)發(fā)人員而言，圖像采集卡需要滿足靈活、易于使用的要求。為保障開(kāi)發(fā)便捷性，開(kāi)放的FPGA也必不可少，可以將一些特定IP放在圖像采集卡上，通過(guò)集成開(kāi)發(fā)環(huán)境實(shí)現(xiàn)快速的算法和方案開(kāi)發(fā)；

■ 與此同時(shí)，用戶對(duì)于系統(tǒng)集成的緊湊設(shè)計(jì)和被動(dòng)冷卻性能，也提出了更嚴(yán)苛的要求...

03 可靠的一體化邊緣視覺(jué)解決方案

能否能將圖像采集卡和計(jì)算機(jī)很好地合二為一？虹科的HK-Gidel FantoVision 40給出了答案。

這是一款開(kāi)創(chuàng)性的小型計(jì)算機(jī)，可與高達(dá)4 x 10GigE Vision或 4 X CoaXPress 2.0相機(jī)連接進(jìn)行圖像采集和處理。創(chuàng)新架構(gòu)將高端圖像采集與實(shí)時(shí)圖像處理和/或壓縮相結(jié)合，使用Nvidia Jetson 嵌入式計(jì)算機(jī)，并在Intel Arria 10 FPGA上進(jìn)行可選的預(yù)處理/壓縮。

HK-Gidel FantoVision的另一個(gè)顯著特點(diǎn)，是其開(kāi)放式體系結(jié)構(gòu)支持GPU和FPGA上的嵌入式AI/圖像處理。軟件工程師可以使用CUDA C/C++和NVIDIA的庫(kù)，在GPU上編寫(xiě)算法。此外，使用新穎的ProcVision套件，在FPGA上開(kāi)發(fā)和部署可選的預(yù)處理塊，既簡(jiǎn)單又快速。

該產(chǎn)品的多個(gè)HK-Gidel FantoVision單元可以相互連接，可提供獨(dú)特且可擴(kuò)展的拓?fù)浣Y(jié)構(gòu)。使用InfiniVision 開(kāi)放式框架抓取器流程，100多個(gè)傳感器可同步處理。

現(xiàn)如今，HK-Gidel FantoVision為高帶寬、低延遲應(yīng)用的新型緊湊、經(jīng)濟(jì)高效、可擴(kuò)展的視覺(jué)和成像解決方案開(kāi)辟了道路。尤其適用于需要高分辨率、高速度的交通監(jiān)測(cè)、面板檢測(cè)等場(chǎng)景。

例如交通檢測(cè)應(yīng)用中有多個(gè)攝像機(jī)在拍攝高分辨率圖像，HK-Gidel FantoVision 可以通過(guò)圖像采集卡提取ROI區(qū)域甚至是車牌，在GPU上布署算法做車牌識(shí)別，最后將識(shí)別的車牌號(hào)碼傳到云端上，從而不需要很多帶寬。

虹科是智能感知與機(jī)器視覺(jué)領(lǐng)域領(lǐng)先的資源整合及技術(shù)服務(wù)落地供應(yīng)商，多年來(lái)為用戶提供圖像采集卡、FPGA圖像處理、高帶寬圖像采集等服務(wù)，以及深度AI相機(jī)、視覺(jué)相機(jī)和圖像采集等解決方案。目前，虹科已經(jīng)陸續(xù)在國(guó)內(nèi)完成了多家一線公司的汽車圖像采集、AOI、晶圓半導(dǎo)體檢測(cè)、原料體積監(jiān)測(cè)、高端機(jī)器人圖像處理、智能巡檢、工件質(zhì)量識(shí)別等項(xiàng)目。