與OpenAI官宣合作13天后，F(xiàn)igure旗下人形機器人的性能突飛猛進。

近日，F(xiàn)igure AI釋出的一段視頻顯示，人形機器人Figure 01可以識別眼前物體，回答開放性提問，并聽從指令將黑色塑料袋收拾進框子里、將杯子和盤子歸置放在瀝水架上。

Figure創(chuàng)始人兼首席執(zhí)行官Brett Adcock強調，視頻中Figure 01展示了端到端神經(jīng)網(wǎng)絡框架下與人類的對話，不存在任何遠程操控。同時機器人的速度有了顯著提升，開始接近人類的速度。

能識別、能對話、能思考

“Figure 01，你現(xiàn)在看到了什么？”

“我看到桌中間有個紅蘋果，一個瀝水籃、一些杯子和盤子，以及你站在旁邊，手搭在桌子上。”

既能識別出靜態(tài)物體，還能判斷人類的動作，F(xiàn)igure 01的視覺識別和理解能力可見一斑。

在隨后的多輪對話里，F(xiàn)igure 01繼續(xù)展現(xiàn)了其在上下文回溯、推理、多任務處理等方面的能力。

當被問到桌上有什么可以食用的，F(xiàn)igure 01回答：“當然”，隨后流暢地把紅蘋果遞給了提問者。

隨后提問者往桌上倒了幾個黑色塑料袋，要求Figure 01一邊解釋剛剛為何遞給他蘋果，一邊把桌上垃圾收起來。Figure 01隨后迅速給出反應，雙手一邊將塑料袋放回垃圾筐里，一邊回答道：“我剛剛給了你個蘋果，因為這是桌上唯一能吃的東西。”

緊接著，提問者給出了開放式提問，要求Figure 01結合面前的場景，判斷應該把盤子放在哪。Figure 01表示，杯子和盤子可能該放在瀝水籃里，并根據(jù)指令將杯子和盤子放進了瀝水籃。

在問答中，F(xiàn)igure 01也顯露了其在上下文推理上的能力。當提問者問道：“你能把它們放到那兒去嗎（Can you put them there）？”，沒有明示把何種物體放到何處，F(xiàn)igure 01根據(jù)前后文準確判斷出代詞所指代的含義，并完成相應指令。

Figure 01最后對上述表現(xiàn)進行了自我評估：“我覺得我做得很好，蘋果找到了新主人，垃圾被扔掉了，餐具也放到了該放的地方。”

OpenAI提供“智力支持”

Figure成立于2022年，2023年10月，F(xiàn)igure正式推出了該公司首款人形機器人Figure 01。根據(jù)官方介紹，F(xiàn)igure 01身高5英尺6英寸，重132磅，設計可承載44磅的重量，續(xù)航達5小時。

不久前，F(xiàn)igure宣布完成新一筆融資，金額為6.75億美元（約48.5億元人民幣），投資方包括英偉達、OpenAI、微軟等科技巨頭及亞馬遜創(chuàng)始人貝索斯。作為協(xié)議的一部分，F(xiàn)igure AI將與OpenAI合作，開發(fā)下一代人形機器人的人工智能模型。

Brett Adcock稱，與OpenAI的合作是“機器人技術的一個里程碑”。他希望，此次合作最終能讓機器人與人類并肩工作，完成任務并進行對話。從理論上講，理解語言并據(jù)此采取行動的能力，可以讓機器人更好地與倉庫工人一起工作或接受口頭命令。

與OpenAI的合作，還可以幫助Figure AI的機器人實現(xiàn)自我糾正，并從過去的錯誤中吸取教訓。Brett Adcock稱，F(xiàn)igure AI的機器人已經(jīng)具備了說話能力，并且可以用它的攝像頭來描述它前面“看到”的東西，還可以描述在一段時間內某一特定地區(qū)可能發(fā)生的事情。Figure釋出的最新視頻，無疑印證了這些能力。

國內方面，不少人形機器人本體廠商也在加強與AI大模型的結合。達闥機器人在2023年發(fā)布了生成式AI平臺RobotGPT以及海睿AGI和海睿OS 5.1，并將人形機器人接入RobotGPT，使機器人不僅可以與觀眾展開多輪對話，還能扮演多種角色。達闥機器人創(chuàng)始人、董事長兼CEO黃曉慶堅信，未來的機器人一定會是一種基于“云（云端大腦）、網(wǎng)（安全網(wǎng)絡）、端（機器人終端）”架構的技術體系。

2023年10月，科大訊飛推出與宇樹科技合作研發(fā)的人形機器人。科大訊飛董事長劉慶峰表示，星火大模型的推出，將讓AIBOT賦能機器人發(fā)展進入到一個全新的階段，人形機器人對復雜任務的拆解、開放場景的物體尋找明顯提升，在強化學習泛化抓取、仿人行走的復雜地形運動能力上都比主流系統(tǒng)有一個非常大的提升。

“下一步，我們將以人形機器人為牽引，來推動‘視覺-語言-動作’多模態(tài)具身大模型，能夠更好地賦能人形機器人。”劉慶峰說。