王琦  碁震KEEN公司創(chuàng)始人兼CEO  國際安全極客大賽Geek+Pwn活動創(chuàng)辦人

　　今天，我跟大家分享的題目是人“攻”智能，“攻”是攻擊的攻，其中包括了我這么些年工作的感悟，我想先從傳統(tǒng)科班的人工智能說起。我們先做一個小測試吧，大屏幕的左邊有一張圖，如果我問大家看到了什么，相信每個人都有自己的回答。圖片右邊有兩句話，一句是正常人類的問題，另一句是帶有人工智能的機器人的回答?！　?

　　這個小測試就是，你們認為右邊回答的兩個人，小花和小明，誰是正常的人類？在公布答案之前我想和大家說一下，其實大家做了一個非常典型但不那么嚴謹的圖靈測試。上世紀50年代，當時的人工智能之父圖靈提出一個測試機器是否具備人類智慧的方法。他提到，如果我們同時和一個看不見的人及機器（通過敲鍵盤）進行提問式的交流，如果30%的成年人無法在5分鐘內判斷對面是人還是機器，我們認為那臺機器已具備了人工智能。如果等會兒答案揭曉時，如果你發(fā)現(xiàn)自己錯了，那說明我們的人工智能已經像人類了。大家看一下，小明才是機器人，我們都認為他像一個正常的人類對不對？

人工智能

　　人工智能發(fā)展到現(xiàn)在已有了一些有意思的成果。對計算機來講，如果要像人一樣思考，具備人一樣的智慧，就有一個最重要的領域需要去搞定?！　?

　　我們要知道，人對信息的處理70%來自于我們的眼睛，但對計算機來講它只有0和1，計算機從一張圖片看到的只是像素上的數值，它無法看到沙發(fā)上的一條線，更無法很快理解，那可能是一個大人帶著兩個小孩兒、一只狗在看電視。如果我更近一步提問，坐在前面的那個小屁孩上衣是什么顏色？對計算機來說，什么是小屁孩？什么是前面？什么是上衣？什么是顏色？它完全無法理解。所以，在人工智能被提出多年之后，它在視覺領域還存在困難。　　

　　要知道，我們人出生后要用眼睛看世界。如果把眼睛比作計算機的話，每200毫秒我們就拍一張照片。大家想一下，從我們睜開眼睛看世界開始，到今天拍了多少這樣的照片，才能夠看懂看明白？所以呢，我們希望訓練計算機它也具備這種能力。在2010年時，最好的人工智能計算機識別圖形的錯誤率在20%到30%，比人類差。但在2012年至2014年，斯坦福有個博士通過自己的研究，使這個錯誤率降低到接近人類的水平。這是一項非常了不起的成就，他在其中使用到我們稱之為“深度學習”的技術。　　

　　通常我們要告訴機器一萬遍，這是貓這是貓這是貓，它才知道這長得像一只貓；但到2012年，谷歌不用再告訴機器什么是貓，而是可以直接問什么是貓，讓它自己把貓找出來，這是一項讓人工智能領域科學家都非常佩服的成果?？吹竭@樣的科技成果，說實話我也很興奮。但是今天我演講的主題是什么呢？人“攻”智能。在感受到人工智能興奮的同時，我也看到或是瞎想出來一些風險。

攻擊樣本

　　我一直從事的專業(yè)是IT技術，嚴格意義來說，是信息安全或大家俗稱的“黑客”，2017年是我進入這個行業(yè)的第19年。　　

　　在2011年我們組建了一個叫KEEN的團隊，隨后幾年，我們的團隊在世界黑客大賽上拿過幾次冠軍。我們又成立了一個黑客賽事平臺，叫GeekPwn。在這個平臺上，大家能夠看到，所有你們身邊的攝像頭、手機、PC、路由器、智能門鎖、無人機、機器人、POS機全被我們黑完了。你們可能會問我們要干什么？其實我們這樣的叫做白帽黑客，我們希望幫助廠商發(fā)現(xiàn)問題，然后加以修復，讓產品變得更加安全。這些被黑掉的產品里就有汽車，我一直在想，還有沒有別的更酷的方法，去幫助提升它的安全性呢？　　

　　大家回到剛才看的這個車。通過深度學習，它的智能系統(tǒng)可以識別出道路前穿白襯衫的那個人。我當時產生了一個想法：如果我堅持讓汽車認為那是一個消防栓或是一棵樹，在緊急情況下，它就會撞上去，這就相當于黑掉它的系統(tǒng)。這可要比黑掉PC大屏幕更酷。那有沒有可能辦到呢？說實話，我們過去從事的是傳統(tǒng)的安全領域研究，對人工智能這一塊并不了解，但興趣使然我們想去學習一下，看能不能做到這一點。這就像我們挖漏洞、利用漏洞的過程，同樣是教給計算機一堆攻擊樣本，這會產生什么結果呢？大家先看我們輸入一個正常的樣本要得到什么？要得到一個正確的決策?？墒窃诠衾锩妫覀冚斎胍粋€攻擊的樣本，就希望它能得到一個錯誤的行為，這種辦法能不能在人工智能領域行得通？

人“攻”智能　　

　　在去年GeekPwn美國戰(zhàn)的時候，剛好有一位世界級的人工智能大師發(fā)現(xiàn)了這個成果。你們看，圖片左邊是一條小狗，對于現(xiàn)在的人工智能來講，識別它非常容易。但這張小狗又不是小狗，它是經過特制的，當下最成功的人工智能識別系統(tǒng)堅持認為這是一只鴕鳥?！　?

　　左邊這張圖大家依然看不到任何信息，全都是噪點對不對？但當我們交給人工智能時，它堅持認為這是一張熊貓。我們又一次誤導它出現(xiàn)錯誤的決策，這給了我們信心，就是我們假想中的錯誤真的可能導致錯誤決策，就是攻擊樣本。去年微軟推出一個智能聊天機器人，它能和我們正常交流，可是沒過多久就下線了。為什么？因為它在第一天下午就開始跟人罵臟話了，說種族主義的東西。為什么能這樣呢？因為上午就有人用這種話來跟他交流，他以為這是人與人之間正常的交流方式?！　?

　　所以我產生了一個想法，在人工智能時代，真的可能一不小心人人都是黑客。黑客不需要寫任何代碼，也不需要像我們有十幾年的安全經驗，它就可以成功地把人工智能給欺騙了，這說的是語言領域。其他領域呢，大家來看一下，這是一只機器狗，這是一個機器人，他們來自于美國的波士頓動力公司，他們能夠像人類或是動物一樣去行走，在行進過程中，自己摸索出調整平衡的方法，這是一項非常了不起的產品。我在想，如果有一天這些機器狗、機器人認為，我捅你一下、踹你一下，是跟和你握手一樣的友好行為怎么辦？機器人會不會威脅到我們呢？我可能是杞人憂天，但是站在黑客的角度，我們習慣性從壞人角度看問題。人工智能從上世紀50年代發(fā)展到現(xiàn)在，非常像《速8》里的那個小孩，我們希望他能夠成長成像他父親一樣那么強壯、智慧的男人。

保護人類

　　可是這一天會不會受到干擾呢？我們現(xiàn)在做的工作，就是希望能夠幫助人工智能安全健康地成長。我們一直嘗試用壞人的視角看問題，幫助我們做出更安全的產品?！　?

　　我們擔心什么？不知大家有沒有看過一部叫《超能查派》的電影，看這電影時我感觸非常深。它講一個機器人剛出生就被劫匪從實驗室劫走了，過了幾個月，大家看到它帶著金項鏈、舉著手槍、罵著臟話、搶別人錢。為什么呢？因為它被帶到貧民窟，它認為這才是正當工作。我們期望人工智能改變我們的生活，但我們更認為自己有必要幫助它健康成長。我特別希望有更多的人投入到這份工作，或者說黑客事業(yè)上來?！　?

　　人工智能領域分為兩派，一派是樂觀主義，另一派是悲觀主義。悲觀主義認為，人類正在自取滅亡，他們正在做一個可能超越人類，某一天將危及人類安全的設備。持悲觀觀點的人不僅有我，還有霍金、埃隆·馬斯克、比爾·蓋茨……

　　如果真有那么一天，黑客說不定還能夠保護全人類，攻擊它（人工智能），所以今天跟大家分享的全都是我的一些淺薄想法，如有不雷同，歡迎拍磚，謝謝大家。