無限手套不只滅霸擁有,不遠(yuǎn)的將來你也可能會(huì)得到,只是它沒有6顆寶石,卻有548個(gè)傳感器加持。更吸引人的是,這副手套的材料成本只有10美元,也就是不超過70元。

5月29日,《自然》發(fā)表的研究描述了一種裝配了傳感器的手套,它可以學(xué)會(huì)識(shí)別單個(gè)物體、估算重量和應(yīng)用觸覺反饋。

一副“無限手套”的誕生:548個(gè)傳感器,人機(jī)合一-肽度TIMEDOO

圖 | 觸覺手套。來源:MIT News

一副“無限手套”的誕生:548個(gè)傳感器,人機(jī)合一-肽度TIMEDOO

圖 | 手套掌心,黑色的傳感裝置連接到了黃色針織手套上。來源:nature 供圖:Subramanian Sundaram。

更軟,更靈敏

人類能夠以適當(dāng)?shù)牧Χ茸ノ蘸透惺芪矬w。但是這種觸覺反饋很難在機(jī)器人身上實(shí)現(xiàn)。近年來,基于計(jì)算機(jī)視覺的抓握策略在新興機(jī)器學(xué)習(xí)工具的幫助下,取得了長足進(jìn)步,但是對觸覺這一個(gè)重要感知模態(tài)的使用仍然是欠缺的。

目前已有的類似手套傳感器裝置造價(jià)高達(dá)數(shù)千美元,并且只有50個(gè)傳感器來收集信息。來自麻省理工學(xué)院計(jì)算機(jī)科學(xué)與人工智能實(shí)驗(yàn)室的Subramanian Sundaram及同事設(shè)計(jì)了一種簡易廉價(jià)(成本只有10美元)的可伸縮觸覺手套,上面布置了548個(gè)傳感器和64個(gè)導(dǎo)電線電極。

該傳感器陣列由一張力敏薄膜和導(dǎo)電線網(wǎng)絡(luò)組成。電極與薄膜之間的每一個(gè)重合點(diǎn)都對垂直力敏感,并會(huì)記錄通過薄膜的電阻。

研究人員帶上手套單手操控物體,由此記錄下了一個(gè)大規(guī)模的觸覺圖譜數(shù)據(jù)集。數(shù)據(jù)集包含手指區(qū)域的空間關(guān)聯(lián)和對應(yīng),它們代表了人類抓握的觸覺特征。

一副“無限手套”的誕生:548個(gè)傳感器,人機(jī)合一-肽度TIMEDOO

圖 | 手套有548個(gè)傳感器覆蓋,連接到定制的針織手套。來源:Nature。

一副“無限手套”的誕生:548個(gè)傳感器,人機(jī)合一-肽度TIMEDOO

圖 | b: 548個(gè)傳感器的分布,壓阻式傳感器陣列通過層壓簡單材料制造。c: 每個(gè)傳感器元件通過顯示電阻的變化來響應(yīng)壓力。來源:Nature。

一副“無限手套”的誕生:548個(gè)傳感器,人機(jī)合一-肽度TIMEDOO

圖 | 抓握萬用表來估計(jì)重量(3倍播放速度)。來源:研究人員。

研究人員使用手套,單手與26種物體進(jìn)行互動(dòng),包括汽水罐、剪刀、網(wǎng)球、勺子、筆和杯子等等,時(shí)間超過5個(gè)小時(shí),并錄下了觸覺視頻。之后,他們利用記錄下來的數(shù)據(jù)訓(xùn)練一種深度學(xué)習(xí)網(wǎng)絡(luò)來識(shí)別這些圖片,發(fā)現(xiàn)該深度學(xué)習(xí)網(wǎng)絡(luò)能夠通過持握方式鑒定出不同的物體,還能估計(jì)出物體重量,這些都無需視覺輸入。

在這26種物體的試驗(yàn)中,這個(gè)系統(tǒng)識(shí)別準(zhǔn)確率高達(dá)76%,還可以估測60克內(nèi)的大多數(shù)物體的重量。

研究者稱,這種策略或有助于未來設(shè)計(jì)假體、機(jī)械工具和人機(jī)交互。

科幻不再遙遠(yuǎn)

本文作者之一是麻省理工學(xué)院計(jì)算機(jī)科學(xué)與人工智能實(shí)驗(yàn)室(CSAIL)博士生李昀燭,他的專業(yè)領(lǐng)域是計(jì)算機(jī)視覺、機(jī)器學(xué)習(xí)和機(jī)器人技術(shù),尤其是基于深度學(xué)習(xí)的機(jī)器人動(dòng)力學(xué)建模和多模態(tài)感知。李昀燭全程參與了此次研究,并和Subramanian Sundaram所在的實(shí)驗(yàn)室協(xié)作完成了這項(xiàng)工作。

他接受DeepTech采訪對此項(xiàng)研究進(jìn)行了解讀。

DeepTech:對于普通讀者來說,這個(gè)手套很科幻,你們是基于什么考慮來開發(fā)這個(gè)手套的?

李昀燭:人在和周圍環(huán)境進(jìn)行交互的時(shí)候,除了用視覺,我們還會(huì)用聽覺和觸覺等多種感官來感知這個(gè)世界,而其中觸覺在我們?nèi)粘I钪泻铜h(huán)境進(jìn)行物理性交互的過程中尤為重要。

比如伸手到褲兜里拿鑰匙,需要在看不見的情況下對鑰匙進(jìn)行定位和抓??;或者在揉面團(tuán)的時(shí)候,要判斷面團(tuán)的軟硬,這些任務(wù)僅靠視覺是很困難的,還需要有來自觸覺的反饋。所以我們希望引入像人手一樣的壓力傳感器,去研究人到底是如何利用觸覺去跟世界進(jìn)行交互的。

現(xiàn)在已有的觸覺傳感器要么非常小,能感知的區(qū)域有限,要么可能面積比較大,但是傳感器的密度非常稀疏,并且可能很難擴(kuò)展到更大的面積,所以我們希望能做一個(gè)非常密集的且有很強(qiáng)可擴(kuò)展性的手套感知器。

我們開發(fā)的這一套傳感器使用的是柔性材料,非常適合去貼合像手這樣自由度比較大的物體。我們帶上這個(gè)手套去跟各種各樣的物體進(jìn)行互動(dòng),就能得到清晰度很高的觸覺數(shù)據(jù)集,來分析人在抓取物體過程中的一些行為模式。

我們希望在未來能幫助機(jī)器手做到像人的手指一樣靈活。比如人在抓一個(gè)東西的時(shí)候,我們就得到了人的手指壓力分布數(shù)據(jù),那么這有助于機(jī)器人更靈活地把物體抓起來,或者完成某個(gè)相似的任務(wù)。

DeepTech:能不能解讀一下這個(gè)手套的基本原理?為何選擇的傳感器數(shù)目是548個(gè)?

李昀燭: 手套的基本原理比較容易理解。當(dāng)你在對手套施加壓力的時(shí)候,它的導(dǎo)電性就會(huì)有一定變化,這就變成了數(shù)據(jù)。其中我們分兩層在橫向和縱向分別排布了32條導(dǎo)電線,在兩層電線之間加入了一張對垂直力敏感的薄膜,當(dāng)壓力變化時(shí),薄膜的電阻也會(huì)隨之變化,電極陣列就能感知到這種變化。

在實(shí)驗(yàn)室的環(huán)境里,32×32是一個(gè)比較合理的密度,如果做的更密集,導(dǎo)電線在人手大幅度運(yùn)動(dòng)的過程中就可能接觸發(fā)生短路。再者,因?yàn)槭终菩螤畹牟灰?guī)則,在手掌的區(qū)域內(nèi)只能容納548個(gè)壓力傳感器。在未來我們可能會(huì)采取其他辦法來實(shí)現(xiàn)更高的傳感器密度,比如更精細(xì)的排線設(shè)計(jì)。

DeepTech:此項(xiàng)研究的最大突破在哪里?與之前的研究相比,本次研究在方法上和結(jié)果上有哪些突破性收獲?

李昀燭:這項(xiàng)研究的突破在于我們提出了一種新的傳感器的設(shè)計(jì)和制造方法,不需要特別的制作工具,使用的也都是市場上能買到的材料,最后的產(chǎn)品很靈敏,成本很低,并且有很強(qiáng)的可擴(kuò)展性;在軟件方面,我們給出了行業(yè)領(lǐng)域內(nèi)第一個(gè)包含整個(gè)手掌觸覺信息的大規(guī)模數(shù)據(jù)集,這可以幫助我們使用機(jī)器學(xué)習(xí)的算法去定量理解人類的抓取動(dòng)作。

設(shè)計(jì)和制作整個(gè)帶觸覺的“皮膚”是很有挑戰(zhàn)性的,我們既需要很強(qiáng)的可擴(kuò)展性和長時(shí)間穩(wěn)定工作的能力,還不能去影響人本身的動(dòng)作,之前的研究很難兼得這些要求。

DeepTech:10美元的成本意味著什么?

李昀燭:10美元指的是手套以及傳感器的成本。除了手套以外,我們目前連接傳感器的線路板大約為100美元。低成本就意味著有更多的擴(kuò)展和商業(yè)化的可能性。

DeepTech:能不能描繪一下其應(yīng)用前景?這個(gè)研究的下一步是怎樣的?

李昀燭:這項(xiàng)研究有很多可能的應(yīng)用,比如我們可以記錄人在完成某個(gè)復(fù)雜任務(wù)時(shí)的觸覺反饋,然后通過模仿學(xué)習(xí)去幫助機(jī)器人完成類似的任務(wù);或者我們可以將傳感裝置的面積做得更大,包裹住整個(gè)機(jī)械臂,這可以幫助機(jī)器人更好地和人類進(jìn)行交互;我們也可以把傳感器織成衣服和鞋子,來分析人在走路、跑步或登山時(shí)的受力分布,有助于設(shè)計(jì)出更好的產(chǎn)品;在交互游戲的設(shè)計(jì)上也會(huì)有很多想象的空間。

來源:麻省理工中文評論