阿爾法狗再進化：AlphaGo Zero自學(xué)3天100:0擊敗老狗，附詳細解讀

倫敦當(dāng)?shù)貢r間10月18日18：00（北京時間19日01：00），AlphaGo再次登上世界頂級科學(xué)雜志——《自然》。

一年多前，AlphaGo便是2016年1月28日當(dāng)期的封面文章，Deepmind公司發(fā)表重磅論文，介紹了這個擊敗歐洲圍棋冠軍樊麾的人工智能程序。

今年5月，以3:0的比分贏下中國棋手柯潔后，AlphaGo宣布退役，但DeepMind公司并沒有停下研究的腳步。倫敦當(dāng)?shù)貢r間10月18日，DeepMind團隊公布了最強版AlphaGo ，代號AlphaGo Zero。它的獨門秘籍，是“自學(xué)成才”。而且，是從一張白紙開始，零基礎(chǔ)學(xué)習(xí)，在短短3天內(nèi)，成為頂級高手。

團隊稱，AlphaGo Zero的水平已經(jīng)超過之前所有版本的AlphaGo。在對陣曾贏下韓國棋手李世石那版AlphaGo時，AlphaGo Zero取得了100:0的壓倒性戰(zhàn)績。DeepMind團隊將關(guān)于AlphaGo Zero的相關(guān)研究以論文的形式，刊發(fā)在了10月18日的《自然》雜志上。

“AlphaGo在兩年內(nèi)達到的成績令人震驚?，F(xiàn)在，AlphaGo Zero是我們最強版本，它提升了很多。Zero提高了計算效率，并且沒有使用到任何人類圍棋數(shù)據(jù)，”AlphaGo之父、DeepMind聯(lián)合創(chuàng)始人兼CEO 戴密斯·哈薩比斯（Demis Hassabis）說，“最終，我們想要利用它的算法突破，去幫助解決各種緊迫的現(xiàn)實世界問題，如蛋白質(zhì)折疊或設(shè)計新材料。如果我們通過AlphaGo，可以在這些問題上取得進展，那么它就有潛力推動人們理解生命，并以積極的方式影響我們的生活。”

不再受人類知識限制，只用4個TPU

AlphaGo此前的版本，結(jié)合了數(shù)百萬人類圍棋專家的棋譜，以及強化學(xué)習(xí)的監(jiān)督學(xué)習(xí)進行了自我訓(xùn)練。

在戰(zhàn)勝人類圍棋職業(yè)高手之前，它經(jīng)過了好幾個月的訓(xùn)練，依靠的是多臺機器和48個TPU（谷歌專為加速深層神經(jīng)網(wǎng)絡(luò)運算能力而研發(fā)的芯片）。

AlphaGo Zero的能力則在這個基礎(chǔ)上有了質(zhì)的提升。最大的區(qū)別是，它不再需要人類數(shù)據(jù)。也就是說，它一開始就沒有接觸過人類棋譜。研發(fā)團隊只是讓它自由隨意地在棋盤上下棋，然后進行自我博弈。值得一提的是，AlphaGo Zero還非常“低碳”，只用到了一臺機器和4個TPU，極大地節(jié)省了資源。

AlphaGo Zero強化學(xué)習(xí)下的自我對弈

經(jīng)過幾天的訓(xùn)練，AlphaGo Zero完成了近5百萬盤的自我博弈后，已經(jīng)可以超越人類，并擊敗了此前所有版本的AlphaGo。DeepMind團隊在官方博客上稱，Zero用更新后的神經(jīng)網(wǎng)絡(luò)和搜索算法重組，隨著訓(xùn)練地加深，系統(tǒng)的表現(xiàn)一點一點地在進步。自我博弈的成績也越來越好，同時，神經(jīng)網(wǎng)絡(luò)也變得更準確。

AlphaGo Zero習(xí)得知識的過程

“這些技術(shù)細節(jié)強于此前版本的原因是，我們不再受到人類知識的限制，它可以向圍棋領(lǐng)域里最高的選手——AlphaGo自身學(xué)習(xí)。” AlphaGo團隊負責(zé)人大衛(wèi)·席爾瓦（Dave Sliver）說。

據(jù)大衛(wèi)·席爾瓦介紹，AlphaGo Zero使用新的強化學(xué)習(xí)方法，讓自己變成了老師。系統(tǒng)一開始甚至并不知道什么是圍棋，只是從單一神經(jīng)網(wǎng)絡(luò)開始，通過神經(jīng)網(wǎng)絡(luò)強大的搜索算法，進行了自我對弈。

隨著自我博弈的增加，神經(jīng)網(wǎng)絡(luò)逐漸調(diào)整，提升預(yù)測下一步的能力，最終贏得比賽。更為厲害的是，隨著訓(xùn)練的深入，DeepMind團隊發(fā)現(xiàn)，AlphaGo Zero還獨立發(fā)現(xiàn)了游戲規(guī)則，并走出了新策略，為圍棋這項古老游戲帶來了新的見解。

自學(xué)3天，就打敗了舊版AlphaGo

除了上述的區(qū)別之外，AlphaGo Zero還在3個方面與此前版本有明顯差別。

AlphaGo-Zero的訓(xùn)練時間軸

首先，AlphaGo Zero僅用棋盤上的黑白子作為輸入，而前代則包括了小部分人工設(shè)計的特征輸入。

其次，AlphaGo Zero僅用了單一的神經(jīng)網(wǎng)絡(luò)。在此前的版本中，AlphaGo用到了“策略網(wǎng)絡(luò)”來選擇下一步棋的走法，以及使用“價值網(wǎng)絡(luò)”來預(yù)測每一步棋后的贏家。而在新的版本中，這兩個神經(jīng)網(wǎng)絡(luò)合二為一，從而讓它能得到更高效的訓(xùn)練和評估。

第三，AlphaGo Zero并不使用快速、隨機的走子方法。在此前的版本中，AlphaGo用的是快速走子方法，來預(yù)測哪個玩家會從當(dāng)前的局面中贏得比賽。相反，新版本依靠地是其高質(zhì)量的神經(jīng)網(wǎng)絡(luò)來評估下棋的局勢。

AlphaGo幾個版本的排名情況

據(jù)哈薩比斯和席爾瓦介紹，以上這些不同幫助新版AlphaGo在系統(tǒng)上有了提升，而算法的改變讓系統(tǒng)變得更強更有效。

經(jīng)過短短3天的自我訓(xùn)練，AlphaGo Zero就強勢打敗了此前戰(zhàn)勝李世石的舊版AlphaGo，戰(zhàn)績是100:0的。經(jīng)過40天的自我訓(xùn)練，AlphaGo Zero又打敗了AlphaGo Master版本。“Master”曾擊敗過世界頂尖的圍棋選手，甚至包括世界排名第一的柯潔。

對于希望利用人工智能推動人類社會進步為使命的DeepMind來說，圍棋并不是AlphaGo的終極奧義，他們的目標始終是要利用AlphaGo打造通用的、探索宇宙的終極工具。AlphaGo Zero的提升，讓DeepMind看到了利用人工智能技術(shù)改變?nèi)祟惷\的突破。他們目前正積極與英國醫(yī)療機構(gòu)和電力能源部門合作，提高看病效率和能源效率。

以下轉(zhuǎn)載一篇關(guān)于論文深度解讀，部分內(nèi)容會與前面部分有重復(fù)

論文深度解讀

作者: 開明 Nature上海辦公室

人工智能棋手 AlphaGo先后戰(zhàn)勝了兩位頂尖圍棋高手李世乭和柯潔。在這場猛烈風(fēng)暴席卷了世界后，AlphaGo宣布不再和人下棋。但它的創(chuàng)造者并沒有因此停下腳步，AlphaGo還在成長，今天Deepmind又在《自然》期刊上發(fā)表了關(guān)于 AlphaGo的新論文。

Deepmind于2016年1月28日在Nature雜志上發(fā)表第一篇關(guān)于AlphaGo的論文，并登

這篇論文中的 AlphaGo是全新的，它不是戰(zhàn)勝柯潔的那個最強的 Master，但卻是孿生兄弟。它的名字叫AlphaGo Zero。和以前的 AlphaGo相比，它：

• 從零開始學(xué)習(xí)，不需要任何人類的經(jīng)驗

• 使用更少的算力得到了更好的結(jié)果

• 發(fā)現(xiàn)了新的圍棋定式

• 將策略網(wǎng)絡(luò)和值網(wǎng)絡(luò)合并

• 使用了深度殘差網(wǎng)絡(luò)

白板理論（Tabula rasa)

AlphaGo Zero最大的突破是實現(xiàn)了白板理論。白板理論是哲學(xué)上的一個著名觀點，認為嬰兒生下來是白板一塊，通過不斷訓(xùn)練、成長獲得知識和智力。

作為 AI 領(lǐng)域的先驅(qū)，圖靈使用了這個想法。在提出了著名的“圖靈測試”的論文中，他從嬰兒是一塊白板出發(fā)，認為只要能用機器制造一個類似小孩的 AI，然后加以訓(xùn)練，就能得到一個近似成人智力，甚至超越人類智力的AI。

現(xiàn)代科學(xué)了解到的事實并不是這樣，嬰兒生下來就有先天的一些能力，他們偏愛高熱量的食物，餓了就會哭鬧希望得到注意。這是生物體在億萬年的演化中學(xué)來的。

監(jiān)督學(xué)習(xí) Vs 無監(jiān)督學(xué)習(xí)

計算機則完全不同，它沒有億萬年的演化，因此也沒有這些先天的知識，是真正的“白板一塊”。監(jiān)督學(xué)習(xí)（Supervised Learning）和無監(jiān)督學(xué)習(xí)（Unsupervised Learning）是鏡子的兩面，兩者都想解決同一個問題——如何讓機器從零開始獲得智能？

監(jiān)督學(xué)習(xí)認為人要把自己的經(jīng)驗教給機器。拿分辨貓貓和狗狗的AI來說，你需要準備幾千張照片，然后手把手教機器——哪張照片是貓，哪張照片是狗。機器會從中學(xué)習(xí)到分辨貓狗的細節(jié)，從毛發(fā)到眼睛到耳朵，然后舉一反三得去判斷一張它從沒見過的照片是貓貓還是狗狗。

而無監(jiān)督學(xué)習(xí)認為機器要去自己摸索，自己發(fā)現(xiàn)規(guī)律。人的經(jīng)驗或許能幫助機器掌握智能，但或許人的經(jīng)驗是有缺陷的，不如讓機器自己發(fā)現(xiàn)新的，更好的規(guī)律。人的經(jīng)驗就放一邊吧。

從無知到無敵

就像這篇新論文中講述的那樣。AlphaGo Zero是無監(jiān)督學(xué)習(xí)的產(chǎn)物，而它的雙胞胎兄弟Master則用了監(jiān)督學(xué)習(xí)的方法。在訓(xùn)練了72小時后AlphaGo Zero就能打敗戰(zhàn)勝李世乭的 AlphaGo Lee，相比較AlphaGo Lee訓(xùn)練了幾個月。而40天后，它能以89:11的成績，將戰(zhàn)勝了所有人類高手的Master甩在后面。

AlphaGo Zero從0開始的學(xué)習(xí)曲線,這個版本的神經(jīng)網(wǎng)絡(luò)由40個模塊組成。

圖靈的白板假設(shè)雖然無法用在人身上，但是AlphaGo Zero證明了，一個白板AI能夠被訓(xùn)練成超越人類的圍棋高手。

強化學(xué)習(xí)

強化學(xué)習(xí)（Reinforcement Learning）是一種模仿人類學(xué)習(xí)方式的模型，它的基本方法是：要是機器得到了好的結(jié)果就能得到獎勵，要是得到差的結(jié)果就得到懲罰。AlphaGo Zero并沒有像之前的兄弟姐妹一樣被教育了人類的圍棋知識。它只是和不同版本的自己下棋，然后用勝者的思路來訓(xùn)練新的版本，如此不斷重復(fù)。

AlphaGo Zero就像人類初學(xué)者，需要經(jīng)歷一定時間摸索。不同訓(xùn)練階段進行的三場自我對弈游戲中的

通過這一方法，AlphaGo Zero完全自己摸索出了開局、收官、定式等以前人類已知的圍棋知識，也摸索出了新的定勢。

算法和性能

如何高效合理得利用計算資源？這是算法要解決的一個重要問題。AlphaGo Lee使用了48個TPU，更早版本的 AlphaGo Fan（打敗了樊麾的版本）使用了176個GPU，而Master和AlphaGo Zero僅僅用了4個TPU，也就是說一臺電腦足夠！

由于在硬件和算法上的進步，AlphaGo變得越來越有效率。

AlphaGo Zero在72小時內(nèi)就能超越AlphaGo Lee也表明，優(yōu)秀的算法不僅僅能降低能耗，也能極大提高效率。另外這也說明，圍棋問題的復(fù)雜度并不需要動用大規(guī)模的計算能力，那是只浪費。

AlphaGo Zero的算法有兩處核心優(yōu)化：將策略網(wǎng)絡(luò)（計算下子的概率）和值網(wǎng)絡(luò)（計算勝率）這兩個神經(jīng)網(wǎng)絡(luò)結(jié)合，其實在第一篇 AlphaGo的論文中，這兩種網(wǎng)絡(luò)已經(jīng)使用了類似的架構(gòu)。另外，引入了深度殘差網(wǎng)絡(luò)（Deep Residual Network），比起之前的多層神經(jīng)網(wǎng)絡(luò)效果更好。

Deepmind 的歷程

這不是 Deepmind第一次在《自然》上發(fā)論文，他們還在Nature上發(fā)表過《利用深度神經(jīng)網(wǎng)絡(luò)和搜索樹成為圍棋大師》和《使用深度強化學(xué)習(xí)達到人類游戲玩家水平》（論文鏈接：//rdcu.be/wRDs）以及《使用神經(jīng)網(wǎng)絡(luò)和動態(tài)外存的混合計算模型》三篇論文，Deepmind在Nature Neuroscience上也發(fā)過多篇論文。

我們可以從中一窺 Deepmind的思路，他們尋找人類還沒有理解原理的游戲，游戲比起現(xiàn)實世界的問題要簡單很多。然后他們選擇了兩條路，一條道路是優(yōu)化算法，另外一條道路是讓機器不受人類先入為主經(jīng)驗的影響。

這兩條路交匯的終點，是那個真正能夠超越人的AI。

結(jié)語

這是AlphaGo 的終曲，也是一個全新的開始，相關(guān)技術(shù)將被用于造福人類，幫助科學(xué)家認識蛋白質(zhì)折疊，制造出治療疑難雜癥的藥物，開發(fā)新材料，以制造以出更好的產(chǎn)品。

本文來源：【EETOP】版權(quán)歸原作者所有