隨著傳感和計算模塊在邊緣基礎(chǔ)設(shè)施的廣泛部署，自然場景的高速感知、計算和重建至關(guān)重要。現(xiàn)有端側(cè)視覺智能大多為感算分離范式，即通過傳感器感知和采集光信號，轉(zhuǎn)換為電信號后進(jìn)行智能任務(wù)的計算。光和電之間的頻繁轉(zhuǎn)換，以及后摩爾時代電子計算性能發(fā)展趨勢的減緩，制約了端側(cè)智能處理的速度和帶寬。

針對邊緣系統(tǒng)面臨的感算瓶頸，清華大學(xué)電子工程系方璐課題組提出了面向自然場景的感算一體全光智能計算架構(gòu)，研制了并行化全光感算陣列芯片（optical parallel computational arraychip,OPCAchip），突破了非相干光場矩陣計算的難題，摒棄了“光感知-電計算”的感算分離范式，以“光入-光出”端到端的計算實(shí)現(xiàn)全光機(jī)器視覺，將非相干光場智能處理的速度提升至納秒量級，支持每秒千億像素規(guī)模的自然光場處理。

課題組刻畫了自然場景光信號與片上光場的調(diào)制關(guān)系，提出了非相干-相干全光乘加算子，建立了空譜域多維全光神經(jīng)網(wǎng)絡(luò)，突破了非相干光場智能感算難題，提出了全光片上諧振神經(jīng)元模型，研制了全光感算一體陣列芯片OPCA，支撐自然場景光場信號的并行感知與高速計算。在此基礎(chǔ)上，課題組構(gòu)建了多波長全光神經(jīng)網(wǎng)絡(luò)，將感知、計算和重建融為一體，實(shí)現(xiàn)了端到端的全光編解碼和光場重建任務(wù)，在納秒時間尺度上可完成對自然場景的端到端重建。在視覺智能分類任務(wù)上，OPCA芯片實(shí)測響應(yīng)時間為6.0納秒、視覺處理帶寬達(dá)THz即每秒可處理千億像素規(guī)模，相比傳統(tǒng)相機(jī)采集、存儲、智能處理這一感算分離系統(tǒng)（響應(yīng)時間大多為毫秒量級、每秒處理億像素），速度提升6個數(shù)量級，帶寬提升2～3個數(shù)量級。

期刊主頁推薦截圖

以O(shè)PCA芯片為代表的感算一體全光機(jī)器視覺，標(biāo)志著智能光計算技術(shù)向端側(cè)應(yīng)用領(lǐng)域的發(fā)展邁出了重要的一步。該芯片未來將與大規(guī)模智能光計算芯片集成，突破光電/電光轉(zhuǎn)換帶來的速度和功耗桎梏，實(shí)現(xiàn)從光感知到光處理的端到端全光智能感算。憑借其高速度、高帶寬的感算特性，有望為自動駕駛、工業(yè)檢測、智能機(jī)器人、VR/AR等領(lǐng)域帶來性能的顛覆性突破，應(yīng)用前景廣闊。

近日，相關(guān)研究成果以“并行光子芯片實(shí)現(xiàn)納秒級端到端圖像處理、傳輸和重建”（Parallel photonic chip for nano-second end-to-end image processing, transmission, and reconstruction）為題，發(fā)表在《光學(xué)》（Optica）雜志上。

清華大學(xué)電子工程系為論文第一單位，電子工程系副教授方璐為論文通訊作者，電子工程系2020級博士生吳蔚、博士后周天貺（水木學(xué)者）為論文第一作者。研究得到科技部2030重大項(xiàng)目、國家自然科學(xué)基金委、中國科協(xié)、中國博士后基金、清華大學(xué)-之江實(shí)驗(yàn)室聯(lián)合研究中心等的支持。

論文鏈接：

https://doi.org/10.1364/OPTICA.516241