在人工智能與邊緣計(jì)算深度融合的今天，將AI模型高效部署于終端設(shè)備已成為產(chǎn)業(yè)智能化的關(guān)鍵。本文將分享基于米爾MYD-LR3576邊緣計(jì)算盒子部署菜品識(shí)別安卓Demo的實(shí)戰(zhàn)經(jīng)驗(yàn)。該設(shè)備憑借其內(nèi)置的強(qiáng)勁瑞芯微RK3576芯片，為視覺識(shí)別模型提供了充沛的本地AI算力，成功將“智慧識(shí)菜”的能力濃縮于方寸之間，充分證明了其作為邊緣AI應(yīng)用堅(jiān)實(shí)載體的卓越性能與可靠性。

實(shí)機(jī)演示效果

本地部署，實(shí)時(shí)推理。在這段實(shí)機(jī)視頻中，MYD-LR3576正同步運(yùn)行YOLOv11s（目標(biāo)檢測(cè)）與PPLCNetV2（特征提取）模型。其性能核心在于：兩個(gè)模型的NPU推理時(shí)間均被壓縮至驚人的20ms/幀，為高性能邊緣AI應(yīng)用提供了堅(jiān)實(shí)底座。

本文以米爾電子的MYD-LR3576邊緣計(jì)算盒子為例，講解如何在Android平臺(tái)部署yolo11s、PPLCNETV2模型實(shí)現(xiàn)實(shí)時(shí)菜品識(shí)別。為開發(fā)者與研究者提供一份兼具實(shí)踐參考與技術(shù)洞察的模型端到端的部署指南。

MYD-LR3576邊緣計(jì)算盒（搭載米爾基于RK3576核心板）

1. 基本介紹

1.1 邊緣計(jì)算盒

米爾MYD-LR3576-B邊緣計(jì)算盒是一款基于瑞芯微RK3576處理器設(shè)計(jì)的高性能嵌入式AI設(shè)備。 該處理器集成八核CPU架構(gòu)（4×Cortex-A72 + 4×Cortex-A53）與算力達(dá)6 TOPS的NPU（2核心），具備強(qiáng)大的邊緣端AI推理能力。

產(chǎn)品標(biāo)配8GB LPDDR4X內(nèi)存與64GB eMMC存儲(chǔ)，支持雙千兆網(wǎng)口、WiFi 6、多路USB 3.0及4K顯示輸出，提供完整的Debian/Linux軟件開發(fā)環(huán)境。

憑借其高性能NPU與豐富接口，該設(shè)備可高效支撐計(jì)算機(jī)視覺、智能分析等邊緣AI場(chǎng)景，為菜品識(shí)別、工業(yè)質(zhì)檢等應(yīng)用提供穩(wěn)定可靠的硬件平臺(tái)。

1.2 RKNN-Toolkit2 SDK

要將YOLOv11s、PPLCNetV2等主流AI模型高效地部署在MYD-LR3576-B這樣的邊緣設(shè)備上，并充分發(fā)揮其NPU的算力，離不開一個(gè)關(guān)鍵的軟件工具鏈——RKNN-Toolkit2。這是由瑞芯微官方提供的核心SDK，專為其RK系列芯片的NPU（神經(jīng)網(wǎng)絡(luò)處理單元）設(shè)計(jì)。

GitHub倉庫： https://github.com/airockchip/rknn-toolkit2

1.2.1 RKNN-Toolkit2 是什么？

RKNN-Toolkit2是一個(gè)功能完整的模型轉(zhuǎn)換、推理和性能評(píng)估工具包。它的核心作用在于充當(dāng)一個(gè)“翻譯官”和“優(yōu)化器”，將開發(fā)者們?cè)谥髁魃疃葘W(xué)習(xí)框架（如PyTorch, TensorFlow, ONNX等）上訓(xùn)練好的模型，轉(zhuǎn)換成可以在瑞芯微NPU上高效運(yùn)行的專用格式——RKNN模型。

1.2.2 核心功能與工作流程

該工具鏈為AI模型在邊緣端的部署提供了全流程支持：

1. 模型轉(zhuǎn)換

• 支持多框架輸入： 可直接加載PyTorch（.pt）、TensorFlow（.pb）、ONNX（.onnx）等格式的模型。
• 量化優(yōu)化： 支持將FP32模型量化為INT8或INT16精度，在保證精度的同時(shí)，大幅減小模型體積、提升推理速度、降低功耗。這正是實(shí)現(xiàn)20ms超快推理的關(guān)鍵步驟之一。
• 模型優(yōu)化： 工具會(huì)自動(dòng)對(duì)模型圖結(jié)構(gòu)進(jìn)行編譯和優(yōu)化，使其適配RKNPU的硬件架構(gòu)，提取最大性能。

2. 仿真推理與精度分析

• 在模型部署到物理設(shè)備（如MYD-LR3576-B）之前，可以在PC上進(jìn)行仿真推理，驗(yàn)證模型轉(zhuǎn)換后的正確性和精度，極大方便了前期的調(diào)試工作。

3. 性能評(píng)估

• 提供模型性能分析工具，可以評(píng)估模型在NPU上的理論推理時(shí)間和內(nèi)存占用，幫助開發(fā)者進(jìn)行模型選型和優(yōu)化。

4. 跨平臺(tái)部署支持

• 除了Python環(huán)境下的開發(fā)工具，RKNN-Toolkit2還提供了C/C++版本的運(yùn)行時(shí)庫（RKNN API）。這使得開發(fā)者可以輕松地將優(yōu)化后的RKNN模型集成到最終的生產(chǎn)環(huán)境中，無論是Linux、Android還是Debian系統(tǒng)（正如MYD-LR3576-B所搭載的），都能實(shí)現(xiàn)高效、低延遲的推理。

1.2.3 與MYD-LR3576的完美協(xié)同

在本文的菜品識(shí)別Demo中，正是利用了RKNN-Toolkit2的強(qiáng)大能力：

• 步驟一： 在PC端將預(yù)訓(xùn)練好的YOLOv11s（目標(biāo)檢測(cè)）和PPLCNetV2（圖像分類）模型通過該工具鏈轉(zhuǎn)換為.rknn格式文件。
• 步驟二： 將轉(zhuǎn)換好的RKNN模型文件與調(diào)用RKNN Runtime的應(yīng)用程序一同部署到MYD-LR3576邊緣計(jì)算盒上。
• 步驟三： 應(yīng)用程序通過RKNN Runtime API加載模型，調(diào)用NPU執(zhí)行計(jì)算，最終實(shí)現(xiàn)了雙模型協(xié)同、單次推理均僅20ms的卓越性能。

總結(jié)而言，RKNN-Toolkit2是釋放MYD-LR3576-B內(nèi)部6 TOPS NPU潛力的鑰匙。 它大大降低了開發(fā)者將AI模型部署到瑞芯微邊緣計(jì)算平臺(tái)的技術(shù)門檻和開發(fā)周期，使得構(gòu)建像實(shí)時(shí)菜品識(shí)別這樣的高性能AI應(yīng)用變得簡(jiǎn)單而高效。

1.3 RKNN Model Zoo

RKNN Model Zoo 是一個(gè)專為瑞芯微NPU打造的 “模型商店” 或 “開箱即用模型庫” 。該項(xiàng)目收集了大量經(jīng)典的、高性能的深度學(xué)習(xí)模型，并已經(jīng)過預(yù)轉(zhuǎn)換和調(diào)優(yōu)，直接提供了現(xiàn)成的 RKNN格式模型文件，同時(shí)附帶了完整的示例代碼。

Github地址：https://github.com/airockchip/rknn_model_zoo

RKNN Model Zoo優(yōu)點(diǎn)：

• 開箱即用的體驗(yàn)： 開發(fā)者無需從頭開始進(jìn)行模型訓(xùn)練和復(fù)雜的轉(zhuǎn)換調(diào)試，可以直接下載所需的RKNN模型文件，利用提供的示例代碼在MYD-LR3576等設(shè)備上快速運(yùn)行起來，立即看到效果，極大地縮短了概念驗(yàn)證（PoC）的周期。
• 官方性能保證： 倉庫中的模型都提供了詳細(xì)的性能基準(zhǔn)數(shù)據(jù)，包括在特定RK芯片上的推理速度和精度。這為開發(fā)者選型提供了權(quán)威參考，確保模型在目標(biāo)設(shè)備上能夠達(dá)到預(yù)期的性能。
• 最佳實(shí)踐范例： 每個(gè)模型都附帶完整的C++和Python示例代碼，清晰地展示了如何加載RKNN模型、進(jìn)行數(shù)據(jù)預(yù)處理、執(zhí)行推理以及解析輸出結(jié)果。這對(duì)于學(xué)習(xí)如何在自己的應(yīng)用程序中集成和調(diào)用RKNN模型而言，是極具價(jià)值的學(xué)習(xí)資料。

2. 搭建環(huán)境

2.1 刷入Android系統(tǒng)

米爾的MYD-LR3576邊緣盒子默認(rèn)是Linux系統(tǒng)，在我們的場(chǎng)景中，需要先刷機(jī)為Android系統(tǒng)。

2.1.1 獲取資料

登錄米爾開發(fā)者中心(https://dev.myir.cn/auth/login.html)，在開發(fā)者平臺(tái)注冊(cè)綁定產(chǎn)品信息，在包裝盒側(cè)面會(huì)有一個(gè)產(chǎn)品型號(hào)系列號(hào)，可通過微信掃碼綁定。 綁定成功后，依次點(diǎn)擊我的產(chǎn)品->軟件資料->Android14操作系統(tǒng)：

然后復(fù)制提取碼后點(diǎn)擊“阿里云盤”字樣即可打開米爾提供的所有相關(guān)資料文件。如：

01-Docs(ZH)/MYD-LR3576-GK Android 軟件開發(fā)指南-V1.0.pdf
02-Images/myir-image-lr3576-android14.zip
03-Tools

是我們需要的文件，分別是軟件開發(fā)指南、安卓系統(tǒng)鏡像文件以及工具，下載上述文件。

2.1.2 鏡像燒錄

在軟件開發(fā)指南中的第四章有詳細(xì)的鏡像編譯步驟，開發(fā)者可以根據(jù)情況自行編譯鏡像，方便進(jìn)行自定義。本文直接使用了資料中已經(jīng)編譯好的Android鏡像進(jìn)行燒錄。

1. 安裝驅(qū)動(dòng)

驅(qū)動(dòng)安裝工具壓縮包位于 03-Tools/DriverAssitant 目錄下，解壓運(yùn)行 DriverAssitant工具，出現(xiàn)以下界面，首先點(diǎn)擊卸載驅(qū)動(dòng)，然后點(diǎn)擊驅(qū)動(dòng)安裝：

2. 燒錄鏡像到EMMC

RKDevTool是瑞芯微提供的適用于 RK 系列芯片的 windows 下的便捷開發(fā)工具，為開發(fā)人員提供了固件燒錄/鏡像燒錄|設(shè)備擦除|設(shè)備切換/固件解包等功能。

1. 首先登陸邊緣盒子，使用Type-C線將邊緣盒子的DEBUG（電源接口旁寫著Type-C字樣）口連接到windows電腦；然后打開設(shè)備管理器，配置COM口參數(shù)：

• 波特率：115200
• 數(shù)據(jù)位：8
• 停止位：1
• 校驗(yàn)位：無
• 流控：無
• 打開串口終端軟件填入上述參數(shù)，然后給盒子上電，即可進(jìn)入系統(tǒng)；

2. 進(jìn)入系統(tǒng)后在終端輸入reboot loader即可進(jìn)入loader模式；
3. 打開工具文件夾下的RKDevTool（沒有解壓請(qǐng)解壓），雙擊RKDevTool.exe，會(huì)看到提示：發(fā)現(xiàn)一個(gè)LOADER設(shè)備；
4. 此時(shí)點(diǎn)擊升級(jí)固件->固件，選擇剛剛下載的Android鏡像文件（剛下載的為zip文件，解壓出里面的鏡像文件）,然后點(diǎn)擊升級(jí)按鈕并等待完成：

5. 此時(shí)已經(jīng)完成Android系統(tǒng)的燒錄。

2.2 準(zhǔn)備RKNN-Toolkit2環(huán)境

❝

注意：這里的操作是在另外一臺(tái)電腦上操作，并且已經(jīng)配置了python環(huán)境或Conda環(huán)境。為模型轉(zhuǎn)換、量化以及測(cè)試提供基礎(chǔ)環(huán)境。

1. 可以直接通過網(wǎng)絡(luò)安裝：

pip install rknn-toolkit2 -i https://pypi.org/simple
# 如果已安裝 RKNN-Toolkit2，可通過以下命令升級(jí) RKNN-Toolkit2
pip install rknn-toolkit2 -i https://pypi.org/simple --upgrade

2. 通過本地 wheel 包安裝

首先克隆RKNN-Toolkit2項(xiàng)目文件：

git clone https://github.com/airockchip/rknn-toolkit2.git -d 1

或者手動(dòng)下載下面涉及到的文件。

然后進(jìn)入項(xiàng)目根目錄后：

# 請(qǐng)根據(jù)不同的 python 版本及處理器架構(gòu)，選擇不同的 requirements 文件:
# 其中 cpxx 是 python 版本號(hào)
pip install -r packages/arm64/arm64_requirements_cpxx.txt

# 安裝 RKNN-Toolkit2
# 請(qǐng)根據(jù)不同的 python 版本及處理器架構(gòu)，選擇不同的 wheel 安裝包文件：
# 其中 x.x.x 是 RKNN-Toolkit2 版本號(hào)，cpxx 是 python 版本號(hào)
pip install packages/arm64/rknn_toolkit2-2.3.2-cp310-cp310-manylinux_2_17_aarch64.manylinux2014_aarch64.whl

3. 模型轉(zhuǎn)換

rknn_model_zoo中包含了很多官方已經(jīng)適配的模型，包括模型訓(xùn)練以及模型轉(zhuǎn)換腳本。

3.1 yolo11模型轉(zhuǎn)換

rknn_model_zoo中已經(jīng)包含了yolo全系列模型，因此yolo11模型的轉(zhuǎn)換非常簡(jiǎn)單，我們直接將訓(xùn)練好的模型（通常是.pt格式）先轉(zhuǎn)為onnx格式。該轉(zhuǎn)換過程通常建議在與訓(xùn)練模型相同的環(huán)境中進(jìn)行，如何進(jìn)行yolo11的模型訓(xùn)練不是本文重點(diǎn)，可參考： https://github.com/airockchip/ultralytics_yolo11 進(jìn)行訓(xùn)練。 轉(zhuǎn)換命令：

# 調(diào)整 ./ultralytics/cfg/default.yaml 中 model 文件路徑，默認(rèn)為 yolo11n.pt
# 在 ultralytics_yolo11 的項(xiàng)目根目錄執(zhí)行
export PYTHONPATH=./
python ./ultralytics/engine/exporter.py

執(zhí)行完畢后，會(huì)生成 ONNX 模型。假如原始模型為 yolo11s.pt，則生成 yolo11s.onnx 模型。 然后進(jìn)入rknn_model_zoo項(xiàng)目根目錄，再依次進(jìn)入examples/yolo11/python路徑下，有一個(gè)python轉(zhuǎn)換腳本：convert.py，可通過python convert.py 查看腳本幫助文檔：

python convert.py
Usage: python3 convert.py onnx_model_path [platform] [dtype(optional)] [output_rknn_path(optional)]
       platform choose from [rk3562, rk3566, rk3568, rk3576, rk3588, rv1126b, rv1109, rv1126, rk1808]
       dtype choose from [i8, fp] for [rk3562, rk3566, rk3568, rk3576, rk3588, rv1126b]
       dtype choose from [u8, fp] for [rv1109, rv1126, rk1808]

根據(jù)文檔可知，腳本的第一個(gè)參數(shù)是要被轉(zhuǎn)換的onnx模型路徑，第二個(gè)參數(shù)是平臺(tái)，即SOC型號(hào)，第三個(gè)參數(shù)是量化相關(guān)，我們的平臺(tái)是rk3576，如果量化則選i8，不量化則選fp。我們這里選擇量化：

❝

⚠️ 選擇量化需要準(zhǔn)備校準(zhǔn)數(shù)據(jù)，讀取的數(shù)據(jù)路徑在腳本中已經(jīng)固定為../../../datasets/COCO/coco_subset_20.txt，這里需要修改為我們自己的數(shù)據(jù)，數(shù)量建議至少20張。

python convert.py onnx模型路徑/yolo11s.onnx rk3576 i8

轉(zhuǎn)換成功后可看到：

腳本默認(rèn)將轉(zhuǎn)換后的模型存儲(chǔ)在../model中。

3.2 PPLCNETV2模型轉(zhuǎn)換

PPLCNETV2網(wǎng)絡(luò)是Paddle提供的，因此需要使用paddle2onnx工具，先將paddle格式轉(zhuǎn)為onnx格式：

paddle2onnx \
  --model_dir models/ \
  --model_filename inference.pdmodel \
  --params_filename inference.pdiparams \
  --save_file paddle_feature_one_batch.onnx \
  --opset_version 11 \
  -isd "{'x':[ 1, 3, 320, 320 ]}"

由于RKNN官方?jīng)]有PPLCNET模型的Demo，因此我們需要自己根據(jù)模型轉(zhuǎn)換的API文檔編寫rknn模型的轉(zhuǎn)換腳本，可復(fù)制一份Yolo11的轉(zhuǎn)換腳本進(jìn)行修改，重點(diǎn)修改模型的輸入輸出形狀、歸一化參數(shù)等。然后參考yolo11的轉(zhuǎn)換命令進(jìn)行轉(zhuǎn)換。

4. 菜品識(shí)別案例

本章將詳細(xì)介紹基于米爾MYD-LR3576邊緣計(jì)算盒開發(fā)的菜品識(shí)別安卓Demo應(yīng)用。該案例完整展示了從特征庫構(gòu)建到實(shí)時(shí)識(shí)別的全流程，充分體現(xiàn)了設(shè)備在端側(cè)AI應(yīng)用中的實(shí)用性與高性能。

4.1 特征注冊(cè)

特征注冊(cè)是構(gòu)建可擴(kuò)展菜品識(shí)別系統(tǒng)的關(guān)鍵第一步，其目的是為系統(tǒng)創(chuàng)建一個(gè)本地的、可定制的菜品特征庫。

• 操作流程： 用戶在Demo界面點(diǎn)擊“特征注冊(cè)”按鈕后選擇一個(gè)事先準(zhǔn)備好的文件夾。該文件夾內(nèi)部包含多個(gè)子文件夾，每個(gè)子文件夾代表一道唯一的菜品，并以菜品名稱命名（例如：“紅燒肉”、“清蒸鱸魚”）。子文件夾內(nèi)則包含該菜品從不同角度、在不同光照條件下拍攝的若干張圖片。
• 技術(shù)實(shí)現(xiàn)： Demo應(yīng)用會(huì)遍歷整個(gè)文件夾結(jié)構(gòu)。對(duì)于每一張圖片，系統(tǒng)會(huì)調(diào)用內(nèi)置的PPLCNetV2特征提取模型進(jìn)行特征提取。該模型會(huì)將輸入的菜品圖片轉(zhuǎn)換成一個(gè)高維、緊湊的特征向量（也就是老生常談的特征嵌入）。最后，系統(tǒng)將每道菜所有圖片的特征向量與其名稱關(guān)聯(lián)起來，使用向量數(shù)據(jù)庫存儲(chǔ)于設(shè)備本地，形成一個(gè)結(jié)構(gòu)化且高效查詢的特征數(shù)據(jù)庫。

該設(shè)計(jì)的優(yōu)勢(shì)在于：用戶無需重新訓(xùn)練龐大的深度學(xué)習(xí)模型，僅需提供數(shù)十張示例圖片，即可快速、靈活地?cái)U(kuò)充或修改系統(tǒng)所能識(shí)別的菜品庫，極大地提升了應(yīng)用的實(shí)用性和適應(yīng)性。

4.2 菜品識(shí)別

Demo提供了三種識(shí)別模式，以適應(yīng)不同場(chǎng)景下的需求：

4.2.1 拍照識(shí)別

用戶可以直接調(diào)用設(shè)備攝像頭，現(xiàn)場(chǎng)對(duì)菜品進(jìn)行拍照。拍完后，系統(tǒng)立即對(duì)照片進(jìn)行識(shí)別，并繪制識(shí)別結(jié)果。

4.2.2 本地圖片識(shí)別

用戶可以從手機(jī)相冊(cè)中選擇已有的菜品圖片進(jìn)行識(shí)別。

4.2.3 實(shí)時(shí)視頻流識(shí)別

Demo啟動(dòng)設(shè)備攝像頭并開啟實(shí)時(shí)預(yù)覽，視頻流中的每一幀都會(huì)被送入識(shí)別流水線。系統(tǒng)能夠連續(xù)、不間斷地進(jìn)行識(shí)別，并將結(jié)果實(shí)時(shí)覆蓋顯示在視頻畫面上，提供流暢的“所見即所識(shí)”體驗(yàn)。

4.3 識(shí)別流水線與性能表現(xiàn)

無論采用哪種識(shí)別模式，其核心的識(shí)別流水線是相同的，并且都得益于MYD-LR3576強(qiáng)大的NPU算力：

1. 目標(biāo)檢測(cè)： 當(dāng)一張圖片或視頻幀輸入后，首先由 YOLOv11s模型進(jìn)行推理。它的任務(wù)是精準(zhǔn)定位圖片中菜品所在的位置，并輸出其邊界框，為后續(xù)處理劃定了關(guān)鍵區(qū)域。

2. 特征提取： 系統(tǒng)將YOLOv11s檢測(cè)出的菜品區(qū)域裁剪出來，并送入 PPLCNetV2特征提取模型中，生成該區(qū)域的特征向量。

3. 特征比對(duì)： 最后，系統(tǒng)將這個(gè)新生成的特征向量與特征注冊(cè)階段建立的數(shù)據(jù)庫中的所有已知特征向量進(jìn)行相似度計(jì)算（通常使用余弦相似度）。找出相似度最高的已知菜品，并將其名稱作為識(shí)別結(jié)果輸出。

性能亮點(diǎn)： 在MYD-LR3576上，經(jīng)過RKNN-Toolkit2優(yōu)化后，YOLOv11s和PPLCNetV2這兩個(gè)模型在NPU上的單次推理時(shí)間均穩(wěn)定在20ms左右，這確保了即使在最耗費(fèi)資源的實(shí)時(shí)視頻流模式下，系統(tǒng)也能保持較流暢的識(shí)別幀率。

4.4 準(zhǔn)確率評(píng)估功能

為了量化識(shí)別系統(tǒng)的可靠性，Demo還內(nèi)置了準(zhǔn)確率評(píng)估功能。用戶可以選擇一個(gè)包含已標(biāo)注圖片的測(cè)試集，系統(tǒng)會(huì)自動(dòng)運(yùn)行批量識(shí)別，并將識(shí)別結(jié)果與真實(shí)標(biāo)簽進(jìn)行比對(duì)，最終生成一份包含準(zhǔn)確率等關(guān)鍵指標(biāo)的評(píng)估報(bào)告，為模型優(yōu)化和特征庫完善提供了數(shù)據(jù)依據(jù)。

4.5 案例總結(jié)

該菜品識(shí)別Demo僅實(shí)現(xiàn)了基礎(chǔ)功能，且沒有做針對(duì)性優(yōu)化，如所有操作都是同步進(jìn)行，即攝像頭數(shù)據(jù)獲取或讀取本地圖像->格式轉(zhuǎn)換->色彩空間轉(zhuǎn)換->預(yù)處理->模型推理->結(jié)果后處理這一整套流程都是同步進(jìn)行，且模型推理時(shí)僅使用了一個(gè)NPU核心（共兩個(gè)），如果使用NPU進(jìn)行圖像處理并配合圖像隊(duì)列異步處理以及充分利用NPU核心，其性能可以達(dá)到15-20幀。即便Demo沒有針對(duì)優(yōu)化，RK3576的性能同樣足夠支撐端側(cè)復(fù)雜AI流水線的能力。從高效的特征注冊(cè)到實(shí)時(shí)的多模型推理，其強(qiáng)勁的NPU算力是實(shí)現(xiàn)所有功能流暢運(yùn)行的基石，為智慧餐飲等領(lǐng)域提供了可靠的硬件解決方案。

MYD-LR3576-B邊緣計(jì)算盒：

產(chǎn)品鏈接：https://www.myir.cn/shows/138/24.html

天貓鏈接：https://detail.tmall.com/item.htm?id=886580845138