由多模態(tài)大模型驅(qū)動的機(jī)器人“超級大腦”有了新的落地案例。

孵化自哈爾濱工業(yè)大學(xué)(深圳）計算與智能研究院的若愚科技，宣布推出若愚·九天機(jī)器人大腦，其中實(shí)現(xiàn)多模態(tài)大模型驅(qū)動下的群體智能是若愚·九天機(jī)器人大腦的一大突破。

群體智能，即“一個大腦，多個身體”，若愚·九天大腦可集中控制多臺機(jī)器人（包括機(jī)械臂和AGV）。“多個機(jī)器人協(xié)同高效率執(zhí)行復(fù)雜任務(wù)，這些不同任務(wù)之間有復(fù)雜的依賴關(guān)系。例如，兩臺機(jī)器人在炒菜的同時，另一臺機(jī)器人去拿碗筷。如果因為菜品制作工序臨時變化，導(dǎo)致炒菜時間延長，另一臺機(jī)器人拿完碗筷后，可以自主決定繼續(xù)揀選下一道食材。機(jī)器人大腦會自主規(guī)劃任務(wù)邏輯，讓所有機(jī)器人盡可能不停下，同時又確保協(xié)作的安全性。這是基于傳統(tǒng)規(guī)則的示教方法很難實(shí)現(xiàn)的。”若愚科技首席產(chǎn)品官鄧煜平表示。

據(jù)鈦媒體App了解，目前，若愚·九天機(jī)器人大腦已經(jīng)通過無人廚房環(huán)境的技術(shù)方案驗證，驅(qū)動多智能體掌勺無人廚房。通過人類自然語言與多個機(jī)器人交互完成從點(diǎn)菜到上菜的全流程，將“炒菜”的長序列任務(wù)進(jìn)行自主規(guī)劃。

與當(dāng)下市面上常見具身智能技術(shù)不同，若愚·九天機(jī)器人大腦能夠?qū)崿F(xiàn)人類意圖理解、高頻人機(jī)交互和復(fù)雜任務(wù)規(guī)劃等功能。

長序列任務(wù)規(guī)劃（快速生成復(fù)雜任務(wù)規(guī)劃）

當(dāng)人類提出“來一份清炒生菜”的需求時，機(jī)器人能自主理解人類意圖并規(guī)劃任務(wù)，分解成“到食材區(qū)撿菜”、“到預(yù)備區(qū)稱重”、“到制作區(qū)炒菜”、“到消費(fèi)區(qū)上菜”等多個步驟。

若愚·九天機(jī)器人大腦也具有一定“舉一反三“的泛化能力。例如，訓(xùn)練模型的時候，只是告訴它要加蒜，沒有訓(xùn)練過加辣椒。但之后如果人要求機(jī)器人加辣椒，它可以自動理解蒜和辣椒都屬于配料，知道該在加蒜的環(huán)節(jié)替換成辣椒。

大模型驅(qū)動的群體智能（賦予多智能體自主分工協(xié)作能力）

若愚·九天機(jī)器大腦在控制機(jī)器人執(zhí)行層面的小腦方面也做了技術(shù)優(yōu)化。例如，針對多樣環(huán)境感知難的挑戰(zhàn)，若愚科技研發(fā)了大模型3D可供性感知技術(shù)，對物體功能可供性區(qū)域感知，可免注冊、抗復(fù)雜光、抗堆疊地抓取多種物體。

針對“機(jī)器人從配料盒倒取蒜蓉”、“用鏟子從鍋中倒取成品菜”等復(fù)雜動作執(zhí)行難的挑戰(zhàn)，若愚科技提出了擴(kuò)散模型驅(qū)動的模仿學(xué)習(xí)技術(shù)，實(shí)現(xiàn)復(fù)雜技能和動作的精準(zhǔn)執(zhí)行。同時，結(jié)合多模態(tài)大模型驅(qū)動的機(jī)器人多臂協(xié)同技術(shù)，大幅提升了目標(biāo)任務(wù)的協(xié)作能力與執(zhí)行效率。

擴(kuò)散模型驅(qū)動的復(fù)雜動作執(zhí)行（無需現(xiàn)場示教，精準(zhǔn)執(zhí)行）

深圳若愚科技有限公司成立于2023年，于今年3月完成超5000萬天使輪融資。目前已與國際瓦楞紙包裝智能裝備龍頭、水上動力設(shè)備頭部企業(yè)東方精工集團(tuán)達(dá)成合作，提升東方精工核心產(chǎn)品的智能化水平。

若愚科技聯(lián)合創(chuàng)始人兼首席執(zhí)行官孫騰博士表示：“若愚科技的九天機(jī)器人大腦以及機(jī)器人小腦的技術(shù)突破，可以進(jìn)一步應(yīng)用到工業(yè)領(lǐng)域的復(fù)雜工序，例如焊接、打磨、點(diǎn)膠，物流領(lǐng)域的分揀與混合碼垛，商業(yè)領(lǐng)域的無人零售、無人藥房、立體清潔，未來還可進(jìn)一步延展到消費(fèi)領(lǐng)域。目前，若愚科技也已經(jīng)在某些特種領(lǐng)域，與產(chǎn)業(yè)伙伴針對特定場景，共同打造更加智能的機(jī)器人，把人從危險、繁重、重復(fù)的勞動中解放出來，為行業(yè)提質(zhì)增效、打造新質(zhì)生產(chǎn)力。”