2018世界機(jī)器人大會(huì)擬于8月15日至19日在北京亦創(chuàng)國際會(huì)展中心舉行。大會(huì)以“共創(chuàng)智慧新動(dòng)能 共享開放新時(shí)代”為主題,由“論壇”、“博覽會(huì)”、“大賽”、“地面無人系統(tǒng)展示活動(dòng)”四大版塊構(gòu)成。 本屆大賽匯聚了來自美國、俄羅斯、德國、日本、以色列等全球近20個(gè)國家和地區(qū)的1萬余支賽隊(duì)和數(shù)百名頂尖專家,共計(jì)超過5萬多名參賽選手同臺競技。
IEEE RAS主席、德國弗萊堡大學(xué)教授Wolfram Burgard進(jìn)行主題演講“基于深度學(xué)習(xí)的智能機(jī)器人導(dǎo)航和感知”。
以下是演講全文:
大家下午好!今天想為大家講一講機(jī)器人行業(yè)的一些變化以及機(jī)器人行業(yè)的未來,重點(diǎn)會(huì)放在智能機(jī)器人導(dǎo)航和感知相關(guān)的內(nèi)容,包括行業(yè)未來的趨勢。
這是一個(gè)希臘神話故事,希斯夫是希臘神話當(dāng)中著名的神,他相信他比宙斯還要聰明,所以他在肩上扛了一塊巨石,每當(dāng)搬起這塊巨石快走到山頂?shù)臅r(shí)候就會(huì)滾下山去,一直想把這塊巨石搬到山頂,但卻永遠(yuǎn)無法到達(dá)山頂,每次都要重新再來。這其實(shí)就是我們在科學(xué)當(dāng)中要經(jīng)歷的過程,每當(dāng)要解決一個(gè)問題的時(shí)候就會(huì)發(fā)現(xiàn)這個(gè)問題無法完全解決,需要重新尋找路徑解決。每當(dāng)找到新的方法但發(fā)現(xiàn)還是不能解決全部問題的時(shí)候,又要再一次重新尋找路徑。似乎每次我們都好像即將抵達(dá)山頂,但最后還要從山腳重新走上去,畢竟在解決問題的過程中總會(huì)遇到全新的問題。
機(jī)器人導(dǎo)航可以分為三個(gè)部分,包括定位、建圖以及運(yùn)動(dòng)控制。當(dāng)然,這三個(gè)部分當(dāng)中也有一些重疊,比如同時(shí)定位和主動(dòng)定位,或者是位置探索,這是三者的結(jié)合點(diǎn)。這些領(lǐng)域當(dāng)中我們所取得的進(jìn)展,這里做了一個(gè)大概的評級,其中星號數(shù)量表明我們在不同的基礎(chǔ)上取得了多少進(jìn)展。
這是一部自動(dòng)駕駛的汽車,使用的是雷達(dá)掃描儀,有了這種掃描儀就可以知道周邊發(fā)生了什么情況。這種技術(shù)對自動(dòng)駕駛來說是非常重要的,只有有了自動(dòng)掃描才能實(shí)現(xiàn)自動(dòng)駕駛,所以也是自動(dòng)導(dǎo)航能夠發(fā)揮作用的重要領(lǐng)域。
很多制造流程用的都是自動(dòng)化技術(shù),但如果能夠?qū)崿F(xiàn)自動(dòng)化生產(chǎn),效率就會(huì)非常高了,但靈活度會(huì)比較低。被中國公司收購的庫卡公司也解決了一部分這樣的問題,即讓機(jī)器人實(shí)現(xiàn)更加靈活的生產(chǎn)過程,有了這種技術(shù)就可以打造一些非常棒的東西,比如高精度定位等等。
這種定位的方式叫做蒙特卡洛,也就是在一個(gè)全局當(dāng)中來做細(xì)致的定位。當(dāng)然,首先是要做繪圖,然后再做測量。通??梢宰龅椒浅?zhǔn)確,比如這樣一個(gè)小的移動(dòng)機(jī)器人就能夠?qū)崿F(xiàn)非常精準(zhǔn)的定位。當(dāng)然,可以把它用到工廠當(dāng)中,比如庫卡就可以將它和一些重型的卡車結(jié)合使用。重卡可能是高重量的,可以做這種非常小而輕的物體運(yùn)送。工廠當(dāng)中可能會(huì)用到這種小型機(jī)器人,也可以用于其它領(lǐng)域,比如用它運(yùn)送一些非常大型的物體,甚至波音777客機(jī),所以這種精準(zhǔn)導(dǎo)航的技術(shù)都有很高的要求。
我們在導(dǎo)航領(lǐng)域也取得了一些進(jìn)展,比如高精度定位,很多公司都在使用這種技術(shù)實(shí)現(xiàn)一定的智能化,當(dāng)然,還需要繪制精度非常高的地圖。而在過去的十五到二十年當(dāng)中這種繪圖的技術(shù)也在不斷發(fā)展,現(xiàn)在已經(jīng)有了比較強(qiáng)大的繪圖技術(shù)。這是用機(jī)器人繪制的圖,甚至可以看到機(jī)器人行走的軌跡,使用的也是激光掃描儀來掃描這樣的路徑,可以通過不斷的移動(dòng)繪制出當(dāng)?shù)氐牡貓D。
我們可以在各種應(yīng)用環(huán)境當(dāng)中繪制非常高精準(zhǔn)的地圖,有些可以直接在手機(jī)上繪制,甚至畫出3D圖,比如這是弗萊堡大學(xué)的3D圖,可以看到中間可能有個(gè)長方形的建筑。當(dāng)然,如果應(yīng)用在自動(dòng)駕駛汽車當(dāng)中就可以為之制作更為復(fù)雜的地圖,比如知道停車場在哪里,加上定位的技術(shù)也就能夠?qū)崿F(xiàn)車輛的自主泊車而不需要人工。幾年前就在某些地方做過這種實(shí)驗(yàn),實(shí)際上這些應(yīng)用已經(jīng)在斯坦福的無人駕駛汽車實(shí)驗(yàn)當(dāng)中測試過了,可以在自己的停車場當(dāng)中自動(dòng)停車。雖然我們還沒有完全解決繪圖領(lǐng)域的全部問題,但現(xiàn)在已經(jīng)有非常高智能的停車系統(tǒng)了。
目前我們在導(dǎo)航技術(shù)方面還面臨著一些關(guān)鍵性的挑戰(zhàn),從長期的角度來說,解決了高精度定位、高魯棒性的建圖等問題,但從長期自主決策的角度我們怎么實(shí)現(xiàn)這種目標(biāo)呢?這個(gè)世界不是靜態(tài)的,有著很多的環(huán)境是我們預(yù)測不到的,這些車輛怎么應(yīng)對這樣的問題呢?比如在城市當(dāng)中的自動(dòng)駕駛,我們能否使機(jī)器人在城市當(dāng)中實(shí)現(xiàn)自動(dòng)駕駛?在人口眾多的城市中心機(jī)器人如何自我導(dǎo)航,機(jī)器人若能有這樣的自我導(dǎo)航功能,就可以完成快遞比薩等工作。
這里我們看到的是在弗萊堡城市中心的小機(jī)器人,它在城市中心到處移動(dòng),機(jī)器人需要防止掉到運(yùn)河當(dāng)中。
另外一個(gè)挑戰(zhàn)就是人,特別是孩子,孩子特別喜歡和機(jī)器人玩耍,有的時(shí)候我們在弗萊堡的城市中心去做實(shí)驗(yàn)的時(shí)候孩子們會(huì)抓住機(jī)器人跟它玩,可以看到孩子們站在機(jī)器人的前面,機(jī)器人想轉(zhuǎn)個(gè)向,孩子卻把它擋住了,看起來機(jī)器人沒有辦法到達(dá)它的目標(biāo)地點(diǎn)了,所以我們要解決的問題是給這些孩子買些冰淇淋,他們就把機(jī)器人放掉了,這是我們在城市中心經(jīng)常會(huì)遇到的問題。
我們還做了一個(gè)自動(dòng)導(dǎo)航實(shí)驗(yàn),是在弗萊堡奧伯利路上面,機(jī)器人的自我導(dǎo)航?jīng)]有出現(xiàn)任何問題,可以看到這條路徑也是它自我決定的。這個(gè)視頻是讓我們看到機(jī)器人怎么在城市中心自我導(dǎo)航,大概花了兩個(gè)半小時(shí)到達(dá)了城市中心的目標(biāo)地點(diǎn),獨(dú)立繞過了很多的障礙。這也就意味著機(jī)器人是有可能實(shí)現(xiàn)長期自主決策,幾天甚至幾周連續(xù)自我決策。但仍然還有一些缺少的地方,例如在自我駕駛車輛的方面,有的時(shí)候速度非常的快,而且有很多的情況是預(yù)測不到的,所以在這種情況下真的很難實(shí)現(xiàn)完全的自動(dòng)駕駛。
現(xiàn)在的問題是,我們怎樣建造一個(gè)基于技術(shù)的自我駕駛汽車,我們應(yīng)該做些什么,需要開發(fā)什么其它的技術(shù),下一步怎么走,今后這項(xiàng)技術(shù)應(yīng)該怎樣發(fā)展以便于我們有機(jī)器人自動(dòng)駕駛車輛,所以從我的角度來說,最關(guān)鍵的解決方案在今后幾年都是機(jī)器學(xué)習(xí)。這其實(shí)也是我在一開始提到的,當(dāng)你到了山頂?shù)臅r(shí)候石頭又會(huì)滾下來,然后出現(xiàn)了一些新的現(xiàn)象,又得重新往前走,這其實(shí)是目前我們在做的一件事情,也就是大量地依賴于機(jī)器學(xué)習(xí)。
舉個(gè)例子,什么學(xué)習(xí)的方式對這種情況是有用的呢?比如學(xué)習(xí)駕駛的風(fēng)格,要在帕利托或者加利福尼亞開車的方法和在北京是完全不一樣的,或者在新德里、提爾瓦這些世界上交通狀況最復(fù)雜的區(qū)域開車也是不一樣的,機(jī)器人在這樣的環(huán)境當(dāng)中要讓汽車能夠適應(yīng)當(dāng)?shù)氐沫h(huán)境和導(dǎo)航情況,用戶也有不同的期望??紤]到我自己父母的情況,他們可能更喜歡在車?yán)锫亻_,我開的會(huì)比他們快很多,所以我們駕駛的風(fēng)格不一樣,很多的參數(shù)是需要調(diào)整的,需要使其效率更高。我們可能不能100%地解決這些問題,需要通過工程和設(shè)計(jì)的方式改進(jìn)它。如果我們采用了自動(dòng)駕駛技術(shù)的話,每輛自動(dòng)駕駛的汽車都必須適應(yīng)每個(gè)用戶的期待和需求。
除此之外,我們還需要有高級互動(dòng)的功能,這樣的功能也是現(xiàn)在我們正在致力于開發(fā)的。我們企圖實(shí)現(xiàn)人和汽車之間的互動(dòng),希望能夠監(jiān)測用戶在使用過程當(dāng)中的一些錯(cuò)誤,如果出現(xiàn)錯(cuò)誤的話需要機(jī)器來糾正,所以如果有一個(gè)用戶和機(jī)器之間互動(dòng)的界面可以實(shí)現(xiàn)互動(dòng),也可以實(shí)現(xiàn)在駕駛期間實(shí)時(shí)的調(diào)整和糾偏,自動(dòng)駕駛系統(tǒng)可能做緊急剎車的行動(dòng)。再就是需要在線預(yù)測用戶的偏好,我們有機(jī)器人可以幫助去組織和整理貨架,機(jī)器人可以輔助日常生活,比如清理廚房,或者把早餐的碗碟拿到洗碗機(jī)里面。
機(jī)器人如何知道什么東西應(yīng)該放在貨架的什么地方呢?一個(gè)解決方案就是從用戶那里學(xué)習(xí),我們可以看到這張圖片,如果把貨架上面的一個(gè)東西改變位置的話,機(jī)器人會(huì)把其它的東西換到其它的地點(diǎn),所以我們采取多元方式,需要有足夠的信息輸入機(jī)器,然后機(jī)器才知道把什么東西放在什么位置,用戶也會(huì)有自己不同的偏好。因此,組織貨架的時(shí)候你是有自己的習(xí)慣,決定把某個(gè)東西放在某個(gè)貨架上面,機(jī)器人就會(huì)適應(yīng)每個(gè)用戶的偏好和需求。
另一個(gè)我們經(jīng)常會(huì)遇到的問題就是深度學(xué)習(xí),給大家舉幾個(gè)例子,都是我們在研究過程當(dāng)中遇到的一些問題,深度學(xué)習(xí)可以幫助機(jī)器人的感知,并且提升現(xiàn)有的技術(shù)。這里給大家看的一些例子是物體的監(jiān)測、人體部位的檢測以及導(dǎo)航,通過深度學(xué)習(xí)來實(shí)現(xiàn)這幾點(diǎn)。
首先是用于物體監(jiān)測的深度卷積神經(jīng)網(wǎng)絡(luò),我們是融合自動(dòng)學(xué)習(xí),結(jié)合兩個(gè)網(wǎng)絡(luò)的特征輸出。訓(xùn)練的過程當(dāng)中第一層網(wǎng)絡(luò)的參數(shù)保持固定,這是學(xué)習(xí)的結(jié)果,實(shí)現(xiàn)了類別的識別,已經(jīng)有幾年的歷史了,現(xiàn)在有更好的方法來實(shí)現(xiàn)物體的識別,只是想告訴大家在當(dāng)時(shí)通過使用深度卷積神經(jīng)網(wǎng)絡(luò)我們實(shí)現(xiàn)了最新的識別技術(shù)。
基于圖像的人體部位檢測的深度學(xué)習(xí),我們可以看到孩子在機(jī)器人面前移動(dòng),可能阻礙住了機(jī)器人,機(jī)器人要識別出這是人還是自行車,所以這就需要對人體部位進(jìn)行檢測識別,這方面我們做了很多的工作,采用的是全卷積的神經(jīng)網(wǎng)絡(luò)。這是我的一個(gè)學(xué)生,她躺在一堆木頭當(dāng)中,機(jī)器人要識別人體部分,這在搜救的過程當(dāng)中非常管用。再就是在線的數(shù)據(jù),比如剛才提到的奧伯利路的機(jī)器人實(shí)驗(yàn),體現(xiàn)的是對奧伯利路數(shù)據(jù)的應(yīng)用。
這是深度學(xué)習(xí)用于基于聲音的地面分類,通過輪胎和地面產(chǎn)生的聲音來識別地面,利用的也是卷積神經(jīng)網(wǎng)絡(luò)的技術(shù)。我們用一個(gè)麥克風(fēng)把聲音記錄下來,然后由機(jī)器人來識別不同的地面。如果你們冬天開過車的話都知道這種聲音和平常是不一樣的,因?yàn)樵谘┑厣祥_車和在平地上開車的聲音肯定不一樣,所以我們的功能可以自動(dòng)識別在駕駛的地面,可以自動(dòng)調(diào)整你的駕駛模式。我們所看到的有各種各樣的地面,瀝青的、木頭的、地板的、草地的等等,甚至還有雜草叢生,沒有修公路的地面,通過機(jī)器人可以準(zhǔn)確識別地面的狀況來調(diào)整駕駛模式。
這些是我們所做的實(shí)驗(yàn)結(jié)果,和最新的聲音識別技術(shù)相結(jié)合,實(shí)現(xiàn)了在500毫秒的窗口上取得了99.41%的準(zhǔn)確率,相比于之前的技術(shù)水平有16.9%的提升。大家可以看看這個(gè)網(wǎng)站,評估一下自己的性能,如果大家去實(shí)驗(yàn)其實(shí)也是蠻不錯(cuò)的,我們已經(jīng)對它進(jìn)行了足夠的訓(xùn)練,并且達(dá)到了足夠高的水平。我們也將它用于室外的自動(dòng)駕駛,也就是通過地面識別的技術(shù)助力室外的自動(dòng)駕駛。導(dǎo)航的過程當(dāng)中也是基于深度卷積神經(jīng)網(wǎng)絡(luò)的路面分類,這個(gè)圖像當(dāng)中我們可以看到一種地面,通過深度卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)作出的路面分類,運(yùn)動(dòng)分割會(huì)把一個(gè)移動(dòng)的車和停止的車分開,比如綠色表示移動(dòng)的,藍(lán)色表示停止的,紅色是指距離很遠(yuǎn)的車,甚至可以判斷如果這輛車停下來的話會(huì)從綠色變成藍(lán)色,網(wǎng)絡(luò)會(huì)根據(jù)顏色的變化作出決策。
最后一個(gè)問題就是我們能不能實(shí)現(xiàn)端到端的自動(dòng)導(dǎo)航,可以把自動(dòng)導(dǎo)航考慮為一個(gè)分類的現(xiàn)象,其實(shí)我們也可以把它看作一個(gè)迷宮。如果有這樣一個(gè)迷宮的話,你只能上下左右移動(dòng),綠色是目標(biāo)點(diǎn),也就是機(jī)器人應(yīng)該去的地方。你所做的需要一些算法計(jì)算它的最優(yōu)路徑,也就是端到端的自動(dòng)導(dǎo)航,如果能夠訓(xùn)練一個(gè)網(wǎng)絡(luò)來做這些決策的話效果會(huì)更好,最后得到的就是基于最近的觀察??梢钥吹阶笊辖沁@個(gè)藍(lán)色的點(diǎn),其實(shí)這是機(jī)器人可以看到的,因?yàn)檫@是一個(gè)飛行機(jī)器人,可以看到周圍的空間情況。這樣的圖像序列當(dāng)中可以判斷下一個(gè)需要進(jìn)行的行動(dòng)是什么,比如有地面的識別,這些都作為輸入。
這是計(jì)算出來的一個(gè)最佳途徑,旁邊是網(wǎng)絡(luò)產(chǎn)生的結(jié)果。需要提到的是,網(wǎng)絡(luò)對路徑的規(guī)劃并不了解,只是知道整體的環(huán)境,只是對歷史進(jìn)行積累和回顧,就是從一些錯(cuò)誤當(dāng)中吸取經(jīng)驗(yàn)和積累數(shù)據(jù),可以捕捉不同位置的信息。觀察當(dāng)中我們發(fā)現(xiàn)其實(shí)我們并不需要路徑規(guī)劃這樣復(fù)雜的算法就能夠?qū)崿F(xiàn)導(dǎo)航,通過把這些數(shù)據(jù)轉(zhuǎn)換成激光圖數(shù)據(jù)。
現(xiàn)在的問題在于,我們要想定位的話首先要對當(dāng)?shù)氐沫h(huán)境建圖,現(xiàn)在的問題是機(jī)器人在一個(gè)新的環(huán)境當(dāng)中能否自己建圖呢?回答是肯定的,我們其實(shí)是可以做到的,甚至可以把我們在一個(gè)環(huán)境當(dāng)中獲得的信息遷移到其他環(huán)境當(dāng)中,只要這些環(huán)境是類似的。比如超市環(huán)境,歐洲超市的結(jié)構(gòu)都是很類似的,所以要去找牙刷的話肯定不會(huì)是在超市的入口,因?yàn)槌械娜肟谝话愣际撬@樣的環(huán)境當(dāng)中可以實(shí)現(xiàn)更好的導(dǎo)航,機(jī)器人的導(dǎo)航背后其實(shí)就是數(shù)學(xué)的算法。
這張圖當(dāng)中紅線其實(shí)是最優(yōu)化的路線,也就是A點(diǎn)到B點(diǎn)最好的做法,藍(lán)線就是從最開始學(xué)習(xí)一直到最后形成最好路線的過程,綠線是在監(jiān)督下學(xué)習(xí)的結(jié)果,也就是基于一些規(guī)則進(jìn)行訓(xùn)練的過程,基于規(guī)則試圖讓它盡快學(xué)習(xí)到最優(yōu)化的訓(xùn)練方式。這就相當(dāng)于在之前環(huán)境當(dāng)中學(xué)到的經(jīng)驗(yàn)拷貝到另一個(gè)環(huán)境當(dāng)中進(jìn)行監(jiān)督式的學(xué)習(xí),機(jī)器人實(shí)際上可以將在一個(gè)環(huán)境當(dāng)中學(xué)到的經(jīng)驗(yàn)應(yīng)用到另外一個(gè)環(huán)境當(dāng)中。
這是一個(gè)實(shí)際的例子,可以看到機(jī)器人在之前學(xué)習(xí)環(huán)境的基礎(chǔ)上做出一些變化以后進(jìn)行導(dǎo)航,更換了地圖的情況下還可以正常運(yùn)轉(zhuǎn),能夠繞過障礙到達(dá)預(yù)定的地點(diǎn)。機(jī)器人花一點(diǎn)點(diǎn)精力就可以在另外一個(gè)環(huán)境下運(yùn)行,這從科學(xué)的角度來說是非常有意思的話題,意味著如果用相應(yīng)的網(wǎng)絡(luò),這個(gè)網(wǎng)絡(luò)當(dāng)中不用非常復(fù)雜的計(jì)算就可以實(shí)現(xiàn)同樣的功能,也就是說我們可以用技術(shù)減少很多的工程工作量,未來我們甚至可以將一個(gè)解決方案應(yīng)用到更多類似的問題上面。
有些人可能讀過這本書,里面講了很多數(shù)學(xué)的問題,比如有了一個(gè)端到端的解決方案以后是否能夠應(yīng)用到其它領(lǐng)域當(dāng)中。有些時(shí)候可能有了一個(gè)解決方案以后,其它的就不用再做重復(fù)的開發(fā)了,至于未來真正會(huì)走向何方還是值得大家去討論的,我們也不是百分之百確定這樣的未來會(huì)真正發(fā)生。
2024-07-30 10:21
2024-07-29 10:33
2024-07-29 09:38
2024-07-29 09:30
2024-07-28 09:42
2024-07-26 11:27
2024-07-26 11:22
2024-07-26 11:17
2024-07-21 09:32
2024-07-20 16:29