http://www.kblhh.cn 2026-03-04 10:50 來源:中國工業(yè)新聞網(wǎng)
近日,具身智能領域的真實數(shù)據(jù)采集技術迎來重要突破。螞蟻數(shù)科天璣實驗室團隊推出了一款名為AoE(Always-OnEgocentric)的持續(xù)性第一人稱視頻采集框架,以低成本、輕量化的方式,為具身智能的數(shù)據(jù)采集提供了全新解決方案。只需一部手機和一個成本低于20美元的頸掛式支架,即可替代以往動輒數(shù)萬美元的專業(yè)采集設備,有效化解了具身數(shù)據(jù)采集成本高昂、規(guī)模化難的行業(yè)難題。相關技術論文已在Arxiv平臺發(fā)布。
隨著基礎模型的持續(xù)演進,模型的泛化能力與跨場景適應性愈加依賴于真實世界交互數(shù)據(jù)的規(guī)模、質量與覆蓋廣度。AoE的核心創(chuàng)新在于將“人+手機”轉化為可持續(xù)運行的輕量數(shù)據(jù)節(jié)點。其載體是一款符合人體工學的頸掛式支架,通過機械夾具或磁吸等方式將手機穩(wěn)固于胸前,持續(xù)采集貼近用戶視角的第一人稱畫面,從而完整記錄人類在自然交互過程中的操作細節(jié)。
在技術表現(xiàn)上,AoE方案實現(xiàn)了毫米級的軌跡跟蹤精度與超過90%的手部關鍵點識別準確率,并支持數(shù)千臺設備并行采集與云端自動化處理。以宇樹G1機器人執(zhí)行關電腦任務為例,僅依靠50條遙操作數(shù)據(jù)時成功率為45%,引入200條AoE采集的真實數(shù)據(jù)后,成功率提升至95%。在數(shù)據(jù)匱乏的情況下,AoE發(fā)揮了關鍵的“啟動學習”作用,有效支撐模型從零開始構建基礎能力。
低成本采集僅為起點。研究團隊進一步攻克了“長視頻轉化為訓練數(shù)據(jù)”的技術難關。該方案依托端側輕量級視覺模型,自動識別手物交互行為并觸發(fā)錄制;隨后借助大語言-視覺模型,將連續(xù)視頻切分為帶有語義標簽的原子動作片段;最終通過云端自動標注、清洗與過濾,將原始視頻轉化為高質量、標準化的訓練數(shù)據(jù)集。
此外,AoE構建了一套完整的端云協(xié)同體系,實現(xiàn)了從數(shù)據(jù)采集、預處理、清洗、篩選到調度的全流程自動化,有效降低人工介入的同時,大幅提升了整體數(shù)據(jù)處理的吞吐量與效率。