近日，具身智能領域的真實數據采集技術迎來重要突破。螞蟻數科天璣實驗室團隊推出了一款名為AoE（Always-OnEgocentric）的持續(xù)性第一人稱視頻采集框架，以低成本、輕量化的方式，為具身智能的數據采集提供了全新解決方案。只需一部手機和一個成本低于20美元的頸掛式支架，即可替代以往動輒數萬美元的專業(yè)采集設備，有效化解了具身數據采集成本高昂、規(guī)模化難的行業(yè)難題。相關技術論文已在Arxiv平臺發(fā)布。

隨著基礎模型的持續(xù)演進，模型的泛化能力與跨場景適應性愈加依賴于真實世界交互數據的規(guī)模、質量與覆蓋廣度。AoE的核心創(chuàng)新在于將“人+手機”轉化為可持續(xù)運行的輕量數據節(jié)點。其載體是一款符合人體工學的頸掛式支架，通過機械夾具或磁吸等方式將手機穩(wěn)固于胸前，持續(xù)采集貼近用戶視角的第一人稱畫面，從而完整記錄人類在自然交互過程中的操作細節(jié)。

在技術表現上，AoE方案實現了毫米級的軌跡跟蹤精度與超過90%的手部關鍵點識別準確率，并支持數千臺設備并行采集與云端自動化處理。以宇樹G1機器人執(zhí)行關電腦任務為例，僅依靠50條遙操作數據時成功率為45%，引入200條AoE采集的真實數據后，成功率提升至95%。在數據匱乏的情況下，AoE發(fā)揮了關鍵的“啟動學習”作用，有效支撐模型從零開始構建基礎能力。

低成本采集僅為起點。研究團隊進一步攻克了“長視頻轉化為訓練數據”的技術難關。該方案依托端側輕量級視覺模型，自動識別手物交互行為并觸發(fā)錄制；隨后借助大語言-視覺模型，將連續(xù)視頻切分為帶有語義標簽的原子動作片段；最終通過云端自動標注、清洗與過濾，將原始視頻轉化為高質量、標準化的訓練數據集。

此外，AoE構建了一套完整的端云協(xié)同體系，實現了從數據采集、預處理、清洗、篩選到調度的全流程自動化，有效降低人工介入的同時，大幅提升了整體數據處理的吞吐量與效率。