今年1月份,微軟收購(gòu)深度學(xué)習(xí)初創(chuàng)公司Maluuba時(shí),Maluuba公司德高望重的顧問(wèn)、深度學(xué)習(xí)先驅(qū)Yoshua Bengio也接手了微軟的人工智能研究顧問(wèn)工作。最近,Bengio以蒙特利爾學(xué)習(xí)算法研究所負(fù)責(zé)人的身份訪問(wèn)了微軟位于華盛頓州雷德蒙的園區(qū),并與員工們舉行了座談。本文是此次座談內(nèi)容的實(shí)錄:
● 讓我們從最基礎(chǔ)的問(wèn)題開(kāi)始:什么是深度學(xué)習(xí)?
Bengio:深度學(xué)習(xí)是機(jī)器學(xué)習(xí)方法之一,而機(jī)器學(xué)習(xí)則是讓計(jì)算機(jī)從有關(guān)我們周?chē)澜缁蚱渲心硞€(gè)特定方面的范例中學(xué)習(xí),從而讓計(jì)算機(jī)變得更加智能的一種方式。在所有的機(jī)器學(xué)習(xí)方法中,深度學(xué)習(xí)是最獨(dú)特的,因?yàn)樗撵`感源自我們對(duì)人腦探索與研究。深度學(xué)習(xí)試圖讓計(jì)算機(jī)學(xué)會(huì)很多不同層次的抽象和表達(dá),這可能是使此類(lèi)系統(tǒng)如此成功的原因。
●能否給我們舉個(gè)例子,說(shuō)明人們是如何運(yùn)用深度學(xué)習(xí)的?
Bengio:深度學(xué)習(xí)最常見(jiàn)的運(yùn)用方法被稱為“監(jiān)督學(xué)習(xí)”,我們向計(jì)算機(jī)提供在多種不同情境下應(yīng)該如何行事的范例。例如,我們向計(jì)算機(jī)提供數(shù)百萬(wàn)個(gè)真人朗讀句子的語(yǔ)音數(shù)據(jù),當(dāng)然也包括這每一個(gè)句子背后的聲音數(shù)據(jù)對(duì)應(yīng)的文本數(shù)據(jù),我們希望計(jì)算機(jī)能夠從這些對(duì)應(yīng)的數(shù)據(jù)中學(xué)會(huì)將聲音轉(zhuǎn)換成文字。計(jì)算機(jī)像人類(lèi)一樣獲得了在現(xiàn)實(shí)世界中的信息輸入,它將通過(guò)對(duì)眾多樣本數(shù)據(jù)處理方法的學(xué)習(xí)來(lái)模擬人類(lèi)完成任務(wù)的過(guò)程。
●深度學(xué)習(xí)出現(xiàn)迄今已有數(shù)十年。您能否談?wù)勆疃葘W(xué)習(xí)是如何從早期的起步階段努力發(fā)展到如今廣泛滲透進(jìn)生活里的各類(lèi)應(yīng)用中的?
Bengio:這一切都發(fā)端于20世紀(jì)50年代末,當(dāng)時(shí)人們真正開(kāi)始思考人工智能,并且意識(shí)到:“嘿,我們應(yīng)該研究大腦是怎么運(yùn)轉(zhuǎn)的,并從中獲取一些線索,用來(lái)打造一些更加智能的機(jī)器?!钡S后深度學(xué)習(xí)研究一度沉寂,之后又于20世紀(jì)80年代初卷土重來(lái)并持續(xù)到90年代初,爾后再次淡出——因?yàn)樗某尚Р⒉荒軡M足當(dāng)時(shí)人們過(guò)高的期望。時(shí)至今日,深度學(xué)習(xí)研究已迎來(lái)第三波浪潮。大約五年前,深度學(xué)習(xí)技術(shù)開(kāi)始在各類(lèi)應(yīng)用中取得驚人突破:諸如語(yǔ)音識(shí)別、圖像識(shí)別以及近期的機(jī)器翻譯等自然語(yǔ)言相關(guān)的應(yīng)用。
●作為深度學(xué)習(xí)的大咖,您認(rèn)為目前最令人興奮的研究工作是什么?
Bengio:現(xiàn)在我對(duì)所謂“無(wú)監(jiān)督學(xué)習(xí)”領(lǐng)域中所取得的進(jìn)步感到非常興奮。在這一領(lǐng)域內(nèi),目前最尖端的機(jī)器學(xué)習(xí)和深度學(xué)習(xí)系統(tǒng)的表現(xiàn)仍遠(yuǎn)遠(yuǎn)遜色于人類(lèi)。一個(gè)兩歲的幼童都可以通過(guò)觀察世界并與之互動(dòng)來(lái)學(xué)習(xí)新知。例如,她不必專門(mén)通過(guò)上課,而可以通過(guò)玩耍和觀察來(lái)了解重力和壓力等物理學(xué)知識(shí)。這就是無(wú)監(jiān)督學(xué)習(xí)。我們(的機(jī)器)現(xiàn)在還遠(yuǎn)遠(yuǎn)不具備這種強(qiáng)大的能力,但好消息是我們已經(jīng)在這一方面取得了令人驚嘆的進(jìn)步。這非常重要,因?yàn)槿绻寵C(jī)器超越它們目前擅長(zhǎng)但有限的解決特定問(wèn)題的能力,我們一定要掌握無(wú)監(jiān)督學(xué)習(xí)。
●在微軟, 我們討論的更多的是將人工智能視作是幫助人類(lèi)完成任務(wù)、增強(qiáng)人們體驗(yàn)與能力的手段。您 認(rèn)為在人工智能輔助人類(lèi)上最有潛力的方面都有哪些?
Bengio:談到我們?cè)谌斯ぶ悄茴I(lǐng)域,特別是自然語(yǔ)言領(lǐng)域取得進(jìn)步的第一個(gè)重要應(yīng)用,那就是讓計(jì)算機(jī)能夠以更自然的方式與人類(lèi)交流。眼下,我們與計(jì)算機(jī)打交道時(shí)常常會(huì)感到很懊惱,因?yàn)槲覀儾恢廊绾胃咝У嘏c計(jì)算機(jī)進(jìn)行溝通從而獲取我們想要的信息。自然語(yǔ)言處理能力將讓很多并非程序員出身的普通人能夠更加便利地使用計(jì)算機(jī)。除此之外,計(jì)算機(jī)切實(shí)理解用戶的需要和問(wèn)題,不僅搜尋信息還可能找出原因,并幫助用戶完成工作,這樣的創(chuàng)想都是非常有前景的。
●我想回到您前面談過(guò)的話題:深度學(xué)習(xí)通常被認(rèn)為是從人腦的運(yùn)轉(zhuǎn)方式中獲得了靈感。為什么說(shuō)深層神經(jīng)網(wǎng)絡(luò)受到了我們對(duì)大腦工作方式理解的啟發(fā),這又如何影響其研究潛力呢?
Bengio:從神經(jīng)網(wǎng)絡(luò)研究的早期開(kāi)始,人們就有一個(gè)想法,大腦中運(yùn)行的計(jì)算可否這樣加以抽象化:大腦中的每個(gè)神經(jīng)元都在進(jìn)行一種非常簡(jiǎn)單的數(shù)學(xué)運(yùn)算。神經(jīng)網(wǎng)絡(luò)所做的就是將所有這些小運(yùn)算組合在一起,但由神經(jīng)元所執(zhí)行的每項(xiàng)計(jì)算都是可以變化和調(diào)整的。這對(duì)應(yīng)于我們大腦中神經(jīng)元突觸的變化——這就是我們?nèi)祟?lèi)學(xué)習(xí)的方式。事實(shí)證明,計(jì)算機(jī)學(xué)會(huì)如何將許多元素結(jié)合在一起,這種機(jī)器學(xué)習(xí)方式是非常強(qiáng)大的。
●我們目前對(duì)大腦工作方式的了解程度如何?
Bengio:大腦至今仍然是一個(gè)很大的謎。你不妨把它想象成一個(gè)大拼圖。我們已經(jīng)手握拼圖的所有組件,世界各地成千上萬(wàn)的神經(jīng)科學(xué)家正在研究其中許多不同的組件,但我們卻忽略了全局。我和其他一些人相信并且希望的是,我們?cè)谏疃葘W(xué)習(xí)中所取得的進(jìn)步也將有助于我們發(fā)現(xiàn)這一全局。當(dāng)然,我們不確信,但眼下科學(xué)界還有很多令人興奮的想法,將更多的從機(jī)器學(xué)習(xí)和深度學(xué)習(xí)中獲得的數(shù)學(xué)理念與神經(jīng)科學(xué)相結(jié)合,以便更好地了解大腦。當(dāng)然,我們也希望反過(guò)來(lái)也一樣有效,因?yàn)槟壳吧疃葘W(xué)習(xí)還根本不能與人類(lèi)智慧相提并論。人類(lèi)和人類(lèi)大腦能夠做到機(jī)器不能做的事情,所以也許我們也能夠通過(guò)對(duì)大腦工作原理的了解來(lái)啟發(fā)和影響未來(lái)的深度學(xué)習(xí)系統(tǒng)。
●我們常常聽(tīng)到很多對(duì)人工智能可以做什么的猜測(cè)。您能否給我們大致描述一下,我們距離創(chuàng)造能夠?qū)嶋H模仿人類(lèi)思維和行為的人造智能或深度學(xué)習(xí)技術(shù)還有多遠(yuǎn)?
Bengio:有很多人向我提出過(guò)這個(gè)問(wèn)題,而我的回答總是“我不知道”,而且我相信,沒(méi)有一個(gè)嚴(yán)肅的科學(xué)家能給你一個(gè)直接的答案,因?yàn)檫€有太多未知數(shù)。我的意思是說(shuō),從字面上看,我們之所以從事這個(gè)領(lǐng)域的研究,就是因?yàn)槲覀儾恢廊绾谓鉀Q某些問(wèn)題。但我們知道的是我們正在取得進(jìn)展。我們也可以猜測(cè),事情正朝著正確的方向發(fā)展。但是,比如說(shuō),還需要多長(zhǎng)時(shí)間才能切實(shí)地解決一些更難的問(wèn)題、更復(fù)雜的抽象問(wèn)題?這是不可能有答案的。究竟是5年,15年,還是50年嗎?現(xiàn)在我們面臨一些障礙,但我們認(rèn)為自己可以克服。但是,也可能一山更比一山高。
●你能否談?wù)勆疃葘W(xué)習(xí)在人們運(yùn)用人工智能的各種工具中所處的地位?
Bengio:深度學(xué)習(xí)正在改變過(guò)去幾十年間人們對(duì)于人工智能的觀念,將一些理念從相對(duì)傳統(tǒng)的方式轉(zhuǎn)向人工智能并實(shí)現(xiàn)兩者的整合,并對(duì)其中一些好的想法兼收并蓄。其中最著名的例子就是深度學(xué)習(xí)與強(qiáng)化學(xué)習(xí)的融合。因此,強(qiáng)化學(xué)習(xí)也是機(jī)器學(xué)習(xí)的一種,其中計(jì)算機(jī)并不會(huì)了解人類(lèi)在特定情形下會(huì)怎么做。學(xué)習(xí)者這一方只能在一系列行動(dòng)的實(shí)踐之后看到行為的結(jié)果是好還是壞。在這方面研究的許多最新進(jìn)展都體現(xiàn)在游戲等方面,但強(qiáng)化學(xué)習(xí)對(duì)于自動(dòng)駕駛汽車(chē)等應(yīng)用而言仍將是非常重要的。
2024-09-15 09:32
2024-09-15 09:29
2024-09-14 08:54
2024-09-13 09:23
2024-09-10 09:46
2024-09-09 08:09
2024-09-07 09:58
2024-09-06 09:12