微軟人工智能首席科學(xué)家鄧力在此前接受CSDN的采訪時曾表示深度強(qiáng)化學(xué)習(xí)是A.I.Bots的關(guān)鍵技術(shù)，在這篇發(fā)表于venturebeat的文章中，他詳細(xì)解析了為什么需要A.I.Bots，A.I.Bots的實(shí)現(xiàn)，以及深度強(qiáng)化學(xué)習(xí)如何發(fā)揮作用。
　　在今年3月份，微軟CEOSatyaNadella談到了關(guān)于更普遍地使用人類語言與計(jì)算機(jī)設(shè)備交互的未來產(chǎn)業(yè)趨勢，他稱之為“對話即平臺（Conversationasa Platform）”。
　　同時，他還宣布了幾項(xiàng)Bot項(xiàng)目，其中包括微軟Bot架構(gòu)（botframework）；四月份，F(xiàn)acebook發(fā)布了基于Bots的聊天機(jī)器人平臺MessengerPlatform；五月份，Google宣布嘗試開發(fā)AI驅(qū)動的Bots，并命名為GoogleAssistant。至此，Bots已被廣泛地視為一種新的用戶界面（UI），將從根本上改變?nèi)藱C(jī)交互的體驗(yàn)。
　　Apps和Web模型存在的問題？
　　Apps平臺是由Apple公司多年前為智能手機(jī)開發(fā)的，隨后，Google推出了GooglePlayStore。應(yīng)用平臺是基于一個統(tǒng)一的資源模型（模型中規(guī)定了手機(jī)滿足需求時所需的內(nèi)存和處理速度），但缺點(diǎn)是大量的應(yīng)用程序充斥著用戶的手機(jī)屏幕，盡管他們常使用的APPS不超過20個左右。
　　事實(shí)上，常用到的智能手機(jī)應(yīng)用的總數(shù)目實(shí)際正在下降?？偟膩碚f，盡管數(shù)以百萬計(jì)的應(yīng)用已被開發(fā)上架，但其中的大多數(shù)是從未被使用的。這無疑會導(dǎo)致設(shè)備資源和用戶時間（用于下載、安裝和管理Apps）大量的浪費(fèi)。
　　Web模型在移動界面上表現(xiàn)更為糟糕。通過移動設(shè)備訪問web服務(wù)的使用量較低。這種較低的使用率源于一個事實(shí)：很多流行網(wǎng)站的設(shè)計(jì)和優(yōu)化是為了迎合非移動的PCs端，而PCs端通常都是典型的寬帶接入方式。
　　智能手機(jī)有限的帶寬和計(jì)算資源是許多Web服務(wù)的嚴(yán)重障礙。然而，大多數(shù)網(wǎng)站遵循傳統(tǒng)地以頁面為中心的信息配置范式，導(dǎo)致（非移動端）瀏覽器暗中模仿閱讀器，這對移動設(shè)備而言是次優(yōu)的。
　　結(jié)果：我們需要從頭開始重設(shè)設(shè)計(jì)手機(jī)用戶界面，以便于實(shí)現(xiàn)移動時代的全部潛力。
　　對話成為新興的移動用戶界面范式
　　幸運(yùn)的是，在重新設(shè)計(jì)和部署中，一種新興的范式十分適合移動終端。這種新的對話（即平臺范式）使得移動用戶能夠發(fā)現(xiàn)、訪問、交互日常生活中息息相關(guān)的信息與服務(wù)，從而使得有用的信息和服務(wù)能夠自然地整合到對話流中（conversationstreams）。
　　這一對話UI范式將導(dǎo)致一個新的生態(tài)形成，新生的生態(tài)要比之前的Web和Apps的生態(tài)系統(tǒng)具有更大的規(guī)模優(yōu)勢。這之所以成為可能，是因?yàn)樾畔a(chǎn)業(yè)正在進(jìn)入物理世界數(shù)字化以及連接這些鏈接到物理服務(wù)的新時代。這一物理的、交互的、以服務(wù)為中心的世界遠(yuǎn)超之前靜態(tài)網(wǎng)絡(luò)信息配置時代。
　　消息（Messaging）是該新的對話范式的核心，包括一系列的短文本、音頻和視頻信息。由于兼具異步和近實(shí)時兩種特性，消息變成了一個加速器，驅(qū)動著數(shù)字對話的成長。用戶無需再額外花費(fèi)進(jìn)行交互預(yù)先計(jì)劃的時間成本，且仍保留近實(shí)時對話的能力。
　　Bots作為智能對話接口代理
　　在對話交互中，相比于以對話為中心的移動UI范式，更為重要的是所提供的各類型智能服務(wù)。我們既有像siri、GoogleNow、Cortana和Alexa這類的智能個人助理，又有可通過自動對話接口獲取獲取的個體Bot。
　　新興對話范式的最終模式：用戶無需再下載Apps，AIBots利用語音和自然語言處理能力監(jiān)控并相應(yīng)消息UI，自動地將必要的服務(wù)資源（可能存在云端）提供給用戶。
　　由于最近機(jī)器學(xué)習(xí)和AI技術(shù)的巨大進(jìn)步，AIbots的實(shí)現(xiàn)成為可能。這些進(jìn)步使得我們能夠?qū)⒃絹碓蕉嗨P(guān)心的事物自動化。過去幾年內(nèi)深度學(xué)習(xí)的發(fā)展，尤其是過去一年半發(fā)展起來的深度強(qiáng)化學(xué)習(xí)（Deepreinforcementlearning，RL），高效地利用了不斷增長的數(shù)據(jù)和計(jì)算資源，促進(jìn)了我們?yōu)槭澜绛h(huán)境和與我們生活相關(guān)的應(yīng)用領(lǐng)域構(gòu)建計(jì)算模型的能力。
　　在機(jī)器學(xué)習(xí)中，RL具有鮮明的特點(diǎn)。你需要從用戶處得到反饋，也必須給予用戶獎勵。就像在玩一盤暫時不知道最終獎品的國際象棋比賽。你知道與人工智能的交互會導(dǎo)致任務(wù)完成的結(jié)果。例如，你知道最終的目的是預(yù)定航班，但是Bot僅會說那些對于完成目標(biāo)有幫助的事情，即使用戶可能無法理解bot正在努力追求的最終目標(biāo)和獎勵。
　　這些進(jìn)步使得自動語音和自然語言理解變得觸手可及，最終使得我們能夠解決對話理解和很多領(lǐng)域的對話問題?；谏疃葟?qiáng)化學(xué)習(xí)的A.I.Bots能夠理解所有領(lǐng)域的語義，還能夠擴(kuò)展到今日尚無法涉足的領(lǐng)域。
　　A.I.Bots將采用迭代和反饋回路進(jìn)行自我發(fā)展，并逐步趨近于完美。內(nèi)置在A.I.Bots的RL組件中的環(huán)境模式能夠自動且精致地檢測、獲取、創(chuàng)造并積累新知識，使得我們可以開發(fā)更多的智能服務(wù)、積累更多的經(jīng)驗(yàn)，尤其是預(yù)定、付款等行為導(dǎo)向型服務(wù)。
　　A.I.Bots的三種類型
　　一般來說，存在三種類型的A.I.Bots。第一類是搜索信息，因此它的目標(biāo)是明確的；第二類同樣是搜索信息，但目標(biāo)不是立即明確的。例如你可能問的是一個電影院的開放時間，這不是說你的目的只局限于答案，而是獲得答案是達(dá)到看電影這個最終目標(biāo)的一個步驟。對于第一種類型，獎勵是明確定義的；對于第二種類型，獎勵同樣也是相當(dāng)明確的（或者將會明確定義）。
　　當(dāng)使用強(qiáng)大的深度強(qiáng)化學(xué)習(xí)技術(shù)進(jìn)行構(gòu)建時，以上兩種Bots都有自己的、定義較為直接的獎勵函數(shù)（強(qiáng)化學(xué)習(xí)的關(guān)鍵組件）。這兩類Bots均可用于完成搜索信息或者完成預(yù)定機(jī)票、酒店等特定任務(wù)。
　　第三類A.I.Bot是社交Bot，它們需要的指導(dǎo)最多，通常也被稱為聊天Bot或閑聊Bot。該類Bot的獎賞函數(shù)（用于深度強(qiáng)化學(xué)習(xí)算法）–簡單地稱為“情感智能”–不能被輕易地量化。例如，可以向其進(jìn)行要求咨詢，或者是詢問一些今天做什么之類的含糊問題。
　　處理社交Bot十分復(fù)雜的獎勵函數(shù)需要擴(kuò)展能力，為了給該擴(kuò)展能力提供數(shù)學(xué)基礎(chǔ)，學(xué)術(shù)界以及從業(yè)者都需要深入調(diào)查。這里的目標(biāo)是將常用的RL算法（例如用于AlphaGo的關(guān)鍵學(xué)習(xí)方法）擴(kuò)展成更好的算法，以便利用信息理論上的和內(nèi)在動機(jī)的獎勵。
　　在轉(zhuǎn)向其他類試圖完成任務(wù)的Bot對話之前，這類獎勵會抓取用戶在與Bot對話中獲取的情感滿意度。對于計(jì)算機(jī)科學(xué)家和電氣工程師而言，這是一片十分有前景的人工智能研究領(lǐng)域。