最近的人工智能研究指出了觸摸和視覺之間的協(xié)同作用。
一個可以測量三維表面和慣性屬性,而另一個可以提供對象投影外觀的整體視圖。
在這項工作的基礎(chǔ)上,三星,麥吉爾大學(xué)和約克大學(xué)的研究人員研究了人工智能系統(tǒng)是否可以通過視覺和觸覺測量對象的初始狀態(tài)來預(yù)測對象的運(yùn)動。
研究人員在一篇論文中描述:“先前的研究表明,預(yù)測運(yùn)動對象的軌跡具有挑戰(zhàn)性,因為相互作用表面上的摩擦和幾何特性未知,并且壓力不確定。
分配”。
“為了減輕這些困難,我們專注于學(xué)習(xí)訓(xùn)練有素的預(yù)測工具,該工具可以捕獲運(yùn)動軌跡中最有用和最穩(wěn)定的元素”。
具體來說,研究人員開發(fā)了一種可穿透的皮膚傳感器,他們聲稱這種傳感器可以在捕獲圖像的同時提供詳細(xì)的觸覺測量。
另外,他們還創(chuàng)建了一個稱為“ Generative Multimodal Perception”的框架,該框架使用視覺和觸覺數(shù)據(jù)來學(xué)習(xí)有關(guān)物體的姿勢,形狀和力的信息,然后對其進(jìn)行編碼。
對物體的運(yùn)動做出預(yù)測。
為了預(yù)測物體在物理交互過程中的靜態(tài)狀態(tài),他們使用了所謂的靜態(tài)預(yù)測以及動態(tài)場景中的視覺觸覺運(yùn)動數(shù)據(jù)集,其中包括自由落在平面上,滑落到地面上的物體。
傾斜平面,并從它們的靜態(tài)接收干涉。
在實驗中,研究人員表示,他們的方法可以預(yù)測靜止?fàn)顟B(tài)下物體的原始視覺和觸覺測量值,準(zhǔn)確度非常高,并且預(yù)測結(jié)果與事實非常吻合。
此外,研究人員聲稱,該框架學(xué)習(xí)了視覺,觸摸和3D姿勢模式之間的映射,因此它可以處理缺失的模式,例如當(dāng)輸入中沒有觸覺信息時,以及預(yù)計對象離開時,傳感器表面,導(dǎo)致空間空白。
輸出圖像。
根據(jù)這項研究,預(yù)測物理場景中的對象運(yùn)動得益于兩種形式的使用:視覺信息捕獲對象的屬性,例如3D形狀和位置,而觸覺信息則提供了相互作用力以及由此產(chǎn)生的對象運(yùn)動和接觸的關(guān)鍵線索。
新的AI框架可以根據(jù)圖像和觸覺數(shù)據(jù)預(yù)測對象的運(yùn)動,這將更好地幫助人類做出預(yù)測。
負(fù)責(zé)編輯AJX