騰訊胡珀：從危到機 AI 時代下的安全挑戰(zhàn)

騰訊如何運用AI 技術(shù)應(yīng)對安全挑戰(zhàn)？AI時代下，安全攻防又有哪些新變化？——在6月30日的2018 全球人工智能與機器人峰會（CCF-GAIR）上，騰訊安全平臺部總監(jiān)、Tencent Blade Team負責(zé)人胡珀，揭秘了騰訊AI安全布局和最新進展。

胡珀首先分享了對AI本身的安全問題的考量與反思。他提出，AI將是下一次的工業(yè)革命，但不可避免的存在安全方面的局限性。智能設(shè)備滲透到各行各業(yè)，也將會帶來很大的安全隱患。除了自身算法安全、第三方組件問題，AI技術(shù)還可能被黑產(chǎn)利用。

面對AI時代的安全隱患，胡珀認為：“安全絕不僅僅是被動的事后處理，而是也要主動研究最前沿、最尖端的技術(shù)，用未雨綢繆的前瞻性研究來武裝我們的工作。” Tencent Blade Team正是騰訊專項進行安全研究的部門，研究重點隨著騰訊和整個安全行業(yè)面臨的實際場景不斷進行調(diào)整變化。近年來隨著AI大規(guī)模工程化、實用化，Tencent Blade Team加大了對 AI 智能設(shè)備安全方面的研究。

在具體場景下不斷實戰(zhàn)的同時，騰訊也助力行業(yè)進行技術(shù)優(yōu)化。17年年底，騰訊發(fā)現(xiàn)谷歌人工智能學(xué)習(xí)系統(tǒng)TensorFlow存在嚴重安全風(fēng)險，可被黑客利用帶來安全威脅，Tencent Blade Team向谷歌報告了這一風(fēng)險并獲得致謝。據(jù)悉，該風(fēng)險是TensorFlow首個自身安全風(fēng)險。

相比同行業(yè)公司，騰訊的AI+安全所面臨的場景更加豐富。騰訊主營業(yè)務(wù)涵蓋游戲、社交、支付等多個領(lǐng)域，如QQ及微信的登錄、QQ及微信內(nèi)垃圾信息的打擊等，都用到機器學(xué)習(xí)來保障用戶的安全。除此之外，面對近期發(fā)展迅速的AI+醫(yī)療、智慧零售和智慧樓宇，Tencent Blade Team也在探索更新的AI安全解決方案。

胡珀是國內(nèi)首個漏洞獎勵平臺TSRC負責(zé)人，自2007年加入騰訊以來，他一直從事國際范圍內(nèi)的前沿安全攻防技術(shù)、黑客攻防技術(shù)對抗研究，包括人工智能（AI）、物聯(lián)網(wǎng)、移動互聯(lián)網(wǎng)、數(shù)據(jù)安全等，先后負責(zé)過漏洞掃描、惡意網(wǎng)址檢測、主機安全、DDoS攻擊防護系統(tǒng)的建設(shè)和運營以及應(yīng)急響應(yīng)、前沿安全、安全培訓(xùn)、安全研究、漏洞獎勵計劃等工作。

胡珀演講全文如下：

今天非常榮幸能夠分享一下騰訊在AI安全方面所做的一些事情。先做一個自我介紹，我叫胡珀，在騰訊安全平臺部工作了11年，一直在從事黑客攻防對抗方面的工作。我的一部分工作是屬于安全研究，一直以來我們的理念就是安全絕不僅僅是被動的事后處理，而是也要主動研究最前沿、最尖端的技術(shù)，用未雨綢繆的前瞻性研究來武裝我們的工作。為此，我們也組建了一支團隊——Tencent Blade Team，專門進行安全的前沿研究，研究重點隨著騰訊和整個安全行業(yè)面臨的實際場景不斷進行調(diào)整變化。比如最開始是研究Web安全，后來逐漸向移動互聯(lián)網(wǎng)安全、物聯(lián)網(wǎng)安全轉(zhuǎn)型。近年來隨著AI大規(guī)模工程化、實用化，我們也加大了對 AI 智能設(shè)備安全方面的研究，這個演講就是對我們研究的總結(jié)。

AI是下一次的工業(yè)革命，我們現(xiàn)在不管是開會、人臉識別、車牌識別，還有智慧城市、智慧零售，還是智能手環(huán)、智能手機、智能音箱等，AI越來越滲透到我們的生活里。所有東西都AI了，基本上各個行業(yè)也都會引入AI，我們?nèi)ィ〞觯┩饷婵匆幌?，全是各種智能的設(shè)備。

但是物聯(lián)網(wǎng)設(shè)備或者所謂的智能設(shè)備滲透到各行各業(yè)，到我們生活之中，可能會帶來很大的安全隱患。比如智能音箱有接收語音指令的功能，如果音箱被黑客控制的話，就可能會變成竊聽器。同理，攝像頭如果被黑掉，也可能被用來監(jiān)視我們。

今天我要講的主要分為兩部分，第一部分是以智能設(shè)備為典型代表的AI存在的安全問題，第二部分講騰訊把AI應(yīng)用到安全場景去做安全檢測或者安全防護上的實踐。

AI的安全問題我們總結(jié)了一下，大概歸為三類：第一類是AI算法自身的安全問題，前面幾位老師也有講到，比如現(xiàn)在我們的圖像識別，圖像欺騙，自己用PS定制一張圖片，加一些像素進去，可能就會導(dǎo)致自動駕駛中的識別系統(tǒng)受到干擾。

第二類就是AI系統(tǒng)引入第三方的組件，但這些組件也會存在問題，這就是傳統(tǒng)的安全問題了，包括對文件的處理，對網(wǎng)絡(luò)協(xié)議的處理，各種外部輸入?yún)f(xié)議的處理都可能會出問題。

第三類就是黑產(chǎn)也會用到AI。大家不要以為AI只是停留在學(xué)術(shù)界或者是工業(yè)界，其實現(xiàn)在黑產(chǎn)也大量在使用AI，之前我們處理過一個案子，就是黑產(chǎn)用機器學(xué)習(xí)的算法來識別驗證碼，最高可以達到80%到90%的識別率，這個團伙被摧毀后，我們發(fā)現(xiàn)這是我們見過的科技含量最高的黑產(chǎn)之一。

首先我們會發(fā)現(xiàn)，AI是很容易被帶壞的。這是微軟推出的機器人，通過跟網(wǎng)友對話進行學(xué)習(xí)，惡意的網(wǎng)友就會亂教它，比如罵臟話，甚至是種族歧視。

前面的老師也講過，現(xiàn)在AI是孩子，你教什么就學(xué)什么，結(jié)果學(xué)壞了，最后罵人，后來微軟馬上下架去修改，這就是一種樣本的問題。

第二個問題就是AI會被蒙蔽。只需要一些簡單的操縱，人眼看起來毫無區(qū)別，AI識別卻會得出完全錯誤的結(jié)果。比如這是一個人臉識別系統(tǒng)，給一張照片會識別出這個人的性別、年齡、表情、魅力值，第一張圖正常圖片可以識別出是男性，21歲，表情黯然傷神，但是如果經(jīng)過特殊處理，加一些圖層進去，對我們?nèi)搜蹧]有影響，但就會被AI就識別成女性，20歲。另外兩個也是，疊加圖層上去，整個AI識別結(jié)果完全顛覆了，結(jié)果變成了男性，36歲。我們進行了測試，最大會有20%的識別錯誤幾率。

針對標識的識別也是如此。我們可以看到，通過類似的圖層疊加手法，會嚴重影響AI的識別結(jié)果。比如第一張圖可以直行，第二張圖加入圖層后，我們?nèi)搜圩R別完全沒變化，但到AI去識別就可以直行也可以右轉(zhuǎn)，限速30變成限速80。這就是對AI的攻擊。大家可以想像，如果這個攻擊案例被用到了實際環(huán)境，可能直接導(dǎo)致車毀人亡的嚴重情況。

第三個問題就是被污染，也就是在AI的底層框架存在的問題。比如谷歌的深度學(xué)習(xí)系統(tǒng)TensorFlow，Tencent Blade Team研究之后，發(fā)現(xiàn)它其實存在一些傳統(tǒng)的網(wǎng)絡(luò)安全問題，比如惡意構(gòu)造一個模型文件，格式經(jīng)過特殊構(gòu)造就可以控制它整個AI系統(tǒng)，然后可以算出AI系統(tǒng)的設(shè)計或者架構(gòu)問題。除此之外，如果引用了惡意的第三方組件，也會導(dǎo)致系統(tǒng)崩潰，拿到系統(tǒng)權(quán)限。

這些漏洞我們都報給了官方，并拿到了致謝。這些系統(tǒng)如果底層出問題，被黑客利用，后果是災(zāi)難性的，所以現(xiàn)在產(chǎn)業(yè)界、學(xué)術(shù)界都非常關(guān)注AI的底層架構(gòu)安全。

第四，許多智能設(shè)備都可能被控制。比如智能音箱可能被竊聽，我們團隊對市面上的一些智能音箱做了一系列研究，許多智能音箱都有安全問題，包括協(xié)議的解析和認證授權(quán)等，其實還是傳統(tǒng)的安全問題。如果大家感興趣，可以在今年8月份在拉斯維加斯的DEF CON上關(guān)注我們介紹智能音箱的漏洞技術(shù)細節(jié)的議題。

另外就是智慧城市，現(xiàn)在很多地方都引入了智慧城市，里面會用很多新的協(xié)議，比如 IoT 的協(xié)議，這個也存在許多安全隱患。

我們選用騰訊大廈作為目標進行了測試，發(fā)現(xiàn)它所使用的智能樓宇設(shè)備協(xié)議和加密通訊存在一些技術(shù)風(fēng)險，這就造成我們可以通過遠程控制某一層的會議室燈、空調(diào)、窗簾，包括插座等。

我們當(dāng)時放了一個無人機到頂樓，掛了一個信號發(fā)射器，實現(xiàn)了對整層樓的開燈關(guān)燈關(guān)窗簾的控制，在歐洲的HITB安全峰會上我們也詳細講了這個漏洞的技術(shù)細節(jié)。

因為供應(yīng)商是國外的，我們把問題報給官方，也修復(fù)了，做這個實驗本身就是希望把這個問題修復(fù)掉。

除了智能音箱、智慧樓宇等，我們還研究過無人機。2015年，Blade Team參加一個黑客比賽，遠程用電腦把無人機劫持了。我們破解了無人機的通訊協(xié)議，破解之后發(fā)現(xiàn)，只能夠抓到一部分無線電協(xié)議，就可以去模擬搖控器發(fā)出來的協(xié)議，把當(dāng)時的無人機給劫持掉。

攝像頭也是類似。2014年的時候，我們對國內(nèi)的攝像頭做了一系列的安全評測，2014年是智能攝像頭元年，所以我們也要去跟進看一下。大家有沒有見過有部電影叫《竊聽風(fēng)云》，里面有個橋段就是加了一個設(shè)備，把攝像頭替換掉，導(dǎo)致保安沒有發(fā)現(xiàn)有人進去了。

有些攝像頭我們發(fā)現(xiàn)也是有這個問題的，我這里放了一個QQ公仔，攝像的 wifi 網(wǎng)絡(luò)被我劫持替換，就能控制它所有想要展示的圖像，我重新可以錄視頻，把公仔隱掉。

另外就是一些智能手機，因為智能手機現(xiàn)在用了越來越多的一些所謂的生物識別、智能識別，比如說人臉解鎖，人臉解鎖之前有很大的問題，但是我直接用照片，而且用二維的照片就可以解鎖。不過現(xiàn)在應(yīng)該已經(jīng)加了3D或者活體識別了，就沒那么簡單，但是我們目前在進行的一些研究中發(fā)現(xiàn)還是有機會的。所以后面有機會大家還可以看到我們的分享。

有些手機可以支持智能設(shè)備解鎖，比如手環(huán)解鎖，只要手機靠近手環(huán)就解鎖了，不用輸密碼，這也是比較方便。但在設(shè)計的時候會出問題，解鎖的時候它只會檢測我的手環(huán)match地址，這個也很容易實現(xiàn)，我們可以直接解鎖他的手機。另外一些品牌手機可能采取的是指紋解鎖，但我們發(fā)現(xiàn)用一個類似的導(dǎo)電硅膠，直接把紙巾按上去就可以了，根本不需要指紋，這個硅膠按上去算法也通過了，最后解鎖也通過。就像現(xiàn)在的智能電鎖，也是類似的原理。大家會發(fā)現(xiàn)，現(xiàn)在的智能手機也是不夠靠譜的。

前面我講的是智能設(shè)備本身的一些安全問題和供給場景演示，但除了他們本身存在的問題之外，AI技術(shù)還可能被黑產(chǎn)濫用。

這就是我們現(xiàn)在看到的，越來越多的智能設(shè)備鏈接到了網(wǎng)絡(luò)上，但是這些智能設(shè)備的安全防護又沒有傳統(tǒng)的PC防火墻，反而會被黑客黑掉，黑客就拿來挖礦、進行DDoS攻擊等等，這樣就會帶來很大的問題。

這些就是一些惡意軟件，把物聯(lián)網(wǎng)設(shè)備拿來做DDoS攻擊，現(xiàn)在大量的IoT設(shè)備都連接上了網(wǎng)絡(luò)，包括路由器、攝像頭，很容易淪為黑客控制的工具。還有一些機器學(xué)算法也加入了黑產(chǎn)團隊。

以上就是我講的第一部分，AI的安全問題，下面我來展開講一下第二部分，AI安全應(yīng)用在具體場景下的應(yīng)用，包括實戰(zhàn)等。

大概也是這三個方向：一個是會向傳統(tǒng)的生物特征轉(zhuǎn)變，第二個是研究工具有變化，以前是用特征工程來對抗黑客攻擊，現(xiàn)在可能會轉(zhuǎn)入機器學(xué)習(xí)的方法，可能用機器學(xué)習(xí)給它建一個域值和模型，通過模型來看它是否是黑客攻擊。

框架大概是這樣，可能就是有一個整體的平臺，再加上機器學(xué)習(xí)作為一個分析引擎，和其他的數(shù)據(jù)層、信譽庫等一起，協(xié)同進行合作。

現(xiàn)在有一種很麻煩的攻擊，就是UDP模擬，包括協(xié)議都會模擬到正常的業(yè)務(wù)，這樣怎么做呢？還是會用機器學(xué)習(xí)相對好一點，在UDP模擬協(xié)議的特定場景之下，這種效果是非常好的。傳統(tǒng)的 DDoS 防護是通過一個量來發(fā)現(xiàn)，但機器學(xué)習(xí)可以通過很多維度解決這個問題。

我們可以看一下，大概引入機器學(xué)習(xí)的實際效果。我們主要是應(yīng)用在兩個層面，一個是DDoS，一個是黑客的入侵行為，我們看一下 DDoS 的效果。

這是一個傳統(tǒng)的DDoS的模型，加上一個 AI 環(huán)節(jié)，用機器學(xué)習(xí)給所有商戶做畫像。在騰訊云上有很多這樣的小商家，可能它單個商戶面臨的流向不一樣，QQ空間和微信朋友圈流量非常大，小的商戶流量非常小，如果采取傳統(tǒng)的特征工程的方法不能很好解決，比如商戶做活動或者雙十一整體流量上升，就會有這樣那樣的問題。

如果用AI畫基線，比如取前面三個月或者前面一個月的數(shù)據(jù)，引入機器學(xué)習(xí)生成一個模型，通過檢測模型來看是否是DDos的攻擊或者活動量突增。這樣的話，平時就不僅是流量的大小，還包括原IP的屬性，或者原端口、整個IP的值，我們會把整個協(xié)議讓機器自己去學(xué)，讓它自己提特征出來，大概會選出很多維度，我們會用這個維度做模型。如果它某一天或者某一個時刻偏離這個模型，就可能是遭到DDos攻擊。

最后平均準確率從80%到了96.4%，效果還可以，但機器也有誤報，我們現(xiàn)在采取雙引擎在跑，避免出問題。

在反入侵上也是類似，比如說我們的系統(tǒng)管理員登陸服務(wù)器，登陸之后可能會做一系列的運維，或者是部署操作，但它是個有限的集，同時它可能會在某一個特定的時間，或者會有特定的習(xí)慣，反正是有規(guī)律的。

這個規(guī)律如果通過特征工程很難做，但通過機器學(xué)習(xí)，可以很好地為服務(wù)器的每一個管理員帳號進行精準畫像，這樣就可以解決黑客冒用帳號的攻擊方式。現(xiàn)在大部分情況是黑客直接拿一個帳號密碼，冒充管理做操作，但它的操作跟管理員是不一樣的，一個是時間，還有一個是翻找文檔，或者是偷數(shù)據(jù)的行為，但這些是正常運維管理員和普通用戶不會出現(xiàn)的行為。所以完全可以通過這種模型，直接算一個匹配度，同時把它標注出來。

騰訊也有在做這塊東西，效果就是我們的幾次演習(xí)，拿到管理員帳號做進一步滲透的時候，他會明顯發(fā)現(xiàn)有異常，會告警出來，效果還可以。

今天我總結(jié)一下，講了兩部分：一部分就是AI本身的安全問題，其實我們可以看到，隨著現(xiàn)在AI和智能設(shè)備越來越應(yīng)用到我們的生活，有很多各式各樣的安全問題，不管是智能音箱、智能插座還是智慧樓宇等，一定會有很多黑客盯著，學(xué)術(shù)界、產(chǎn)業(yè)界最好提前發(fā)現(xiàn)解決，避免出更大的事故，畢竟以前的互聯(lián)網(wǎng)都是信息化的東西，現(xiàn)在跟物理世界結(jié)合之后，可能會產(chǎn)生很大很嚴重的影響。

第二部分是把機器學(xué)習(xí)方法應(yīng)用到傳統(tǒng)的安全場景，在某些特定場景下，AI絕對是優(yōu)于人類或者傳統(tǒng)的特征工程，但在某些場景我們還需要繼續(xù)探索。