【熱點(diǎn)資訊】人工智能再下一城！碾壓Dota2準(zhǔn)職業(yè)玩家的OpenAI Five究竟是何方神圣？
DOTA AI在去年的TI7首度亮相賽場(chǎng)，就技驚四座。在TI7正賽的期間，V社舉辦了一場(chǎng)別開生面solo表演賽——人機(jī)SOLO大戰(zhàn)。
人類方是TI活化石，世界頂尖的中單選手dendi，而他的對(duì)手是一個(gè)U 盤，里面裝著由OpenAI 開發(fā)的Dota AI。
OpenAI 是由特斯拉CEO埃隆·馬斯克成立的一家非營(yíng)利公司，旨在開發(fā)更安全的AI技術(shù)，預(yù)防人工智能帶來(lái)的危害。目前，OpenAI 的全職員工已經(jīng)超過(guò)50 人。
在賽前的宣傳片里，OpenAI 開發(fā)的Dota AI已經(jīng)打敗了現(xiàn)役的Arteezy、SumaiL等世界冠軍。
而讓人大跌眼鏡的是，比賽開始沒(méi)10分鐘，曾經(jīng)的世界最頂尖的solo選手dendi就打出了GG（goodgame，投降），敗下陣來(lái)，而且是被AI打的毫無(wú)還手之力。
最令人窒息的是AI的進(jìn)攻性非常強(qiáng)，打法侵略性十足，一旦有了一點(diǎn)點(diǎn)優(yōu)勢(shì)就會(huì)開始?jí)褐啤?/span>
根據(jù)OpenAI官方給出的數(shù)據(jù)，AI每分鐘的操作次數(shù)（APM）僅僅是人類的平均水準(zhǔn)，換言之，AI的每次出手收益都比Dendi更高，無(wú)效操作更少。
也就是說(shuō)，AI不會(huì)有任何無(wú)效操作，這樣在對(duì)陣過(guò)程中，AI英雄消耗和被消耗也會(huì)大大減少，然后AI將有更多的經(jīng)濟(jì)轉(zhuǎn)化為屬性裝，而玩家將消耗大量經(jīng)濟(jì)在補(bǔ)給和回復(fù)上。
這樣可怕AI，人類沒(méi)有任何機(jī)會(huì)，完全碾壓！
而讓人無(wú)法想象的是，AI不需要任何訓(xùn)練數(shù)據(jù)，完完全全從零開始，整個(gè)學(xué)習(xí)過(guò)程隨機(jī)開始，并且通過(guò)和自己對(duì)抗進(jìn)行學(xué)習(xí)。從工作人員的口中得知，AI一開始也是出現(xiàn)許多游戲里的“愚蠢”行為，但很快就通過(guò)“自主”學(xué)習(xí)，學(xué)會(huì)了人類玩家們的操作和技巧，到現(xiàn)在擊敗世界冠軍一共也就花了僅僅兩周的時(shí)間，成長(zhǎng)速度快的嚇人。
OpenAI的團(tuán)隊(duì)在賽后表示，這一次人機(jī)solo只是一個(gè)初步的嘗試，將在DOTA2 TI8上上演5V5的人機(jī)對(duì)戰(zhàn)。
這不，就在一周前的8月6號(hào)，OpenAI Five開始了與人類正式的二番戰(zhàn)，5v5人機(jī)對(duì)戰(zhàn)，由前職業(yè)選手組成的戰(zhàn)隊(duì)對(duì)戰(zhàn)OpenAI Five。
北京時(shí)間8月6日早上5點(diǎn)58分，人類半職業(yè)Dota高手隊(duì)對(duì)戰(zhàn)OpenAI Five第二局接近尾聲，被稱為“大老師”的DotaPlus大數(shù)據(jù)對(duì)人類戰(zhàn)隊(duì)宣判了死刑。
它說(shuō)，AI戰(zhàn)隊(duì)的勝率是100%。
6點(diǎn)整，人類第二次打出GG，AI宣告勝利。
這是OpenAI Five首次在5v5戰(zhàn)局中，對(duì)上職業(yè)選手。今天的人類代表隊(duì)由職業(yè)和半職業(yè)選手組成，在舊金山和AI展開三局兩勝的廝殺。
結(jié)果似乎并不出人預(yù)料，三局兩勝的賽制，OpenAI Five“榮耀2:1”戰(zhàn)勝了人類戰(zhàn)隊(duì)。
AI究竟是通過(guò)什么樣的方式讓人類玩家一敗涂地的呢？
目前可以得知的情況是這樣：OpenAI訓(xùn)練Dota的方式，是讓AI從隨機(jī)狀態(tài)開始，依靠自我對(duì)局來(lái)優(yōu)化。
（以下信息來(lái)自O(shè)penAI Five官網(wǎng)）
通過(guò)自我對(duì)抗學(xué)習(xí)，OpenAI Five 每天相當(dāng)于玩180年的游戲。訓(xùn)練上，它使用256 塊GPU、12萬(wàn)8000 個(gè)CPU核心使用近端策略優(yōu)化（ProximalPolicy Optimization）方法進(jìn)行訓(xùn)練，這是在去年建立的solo Dota2系統(tǒng)上的擴(kuò)增。OpenAI為每個(gè)英雄使用單獨(dú)的一個(gè)LSTM，模型就可以在沒(méi)有人類數(shù)據(jù)的情況下學(xué)到可識(shí)別的策略。這表明強(qiáng)化學(xué)習(xí)即使沒(méi)有根本性的進(jìn)步，也能夠產(chǎn)生大規(guī)模但也可接受的長(zhǎng)期規(guī)劃。
Dota2是一個(gè)實(shí)時(shí)的5 v 5策略游戲，每個(gè)玩家控制一個(gè)英雄。而玩Dota 的 AI 需要掌握以下技能：
長(zhǎng)線策略。Dota 游戲平均每秒 30 幀，一場(chǎng)時(shí)常 45 分鐘，大概 8 萬(wàn) tick。大部分操作（例如操縱英雄移動(dòng)）都有單獨(dú)的小影響，但一些個(gè)體行為可能會(huì)影響到游戲戰(zhàn)略，例如 TP 回家。此外，還有一些策略可能會(huì)終結(jié)整場(chǎng)游戲。OpenAI Five 每 4 幀觀察一次，產(chǎn)生了 2 萬(wàn)個(gè)決策。相比之下，國(guó)際象棋一般在 40 步之前就結(jié)束了，圍棋大概 150 步，但這些游戲每一步都很有策略性。
局部可觀測(cè)狀態(tài)。己方單位和建筑的視野都有限。地圖的其他部分是沒(méi)有視野的，可能藏有敵人和敵方策略。高玩通常需要基于不完整數(shù)據(jù)做推理，以及建模敵方意圖。而國(guó)際象棋和圍棋都是完全信息博弈。
高維、持續(xù)的行為空間。在 Dota 中，每個(gè)英雄能采取數(shù)十種行為，而且許多行為要么面向敵方單位，要么點(diǎn)地移動(dòng)位置。我們把這個(gè)空間離散到每個(gè)英雄 17 萬(wàn)種可能的操作（不是每 tick 都有效，例如在技能冷卻時(shí)放技能就是無(wú)效操作）；不計(jì)算連續(xù)部分，每 tick 平均 1000 個(gè)可能有效行為。國(guó)際象棋的行為數(shù)量大概是 35，圍棋 250。
高維、連續(xù)的觀察空間。Dota 是在一張包含 10 個(gè)英雄、20 幾個(gè)塔、數(shù)十個(gè) NPC 單位的地圖上操作的游戲，此外還有神符、樹、眼衛(wèi)等。通過(guò) Valve（Dota 2 的運(yùn)營(yíng)公司）的 Bot API，我們的模型把 Dota 游戲視為 2 萬(wàn)個(gè)狀態(tài)，也就代表人類在游戲中可獲取到的所有信息。國(guó)際象棋代表大概 70 個(gè)枚舉值（8x8 的棋盤，6 類棋子和較小的歷史信息）。圍棋大概有 400 個(gè)枚舉值（19x19 的棋盤，黑白 2 子，加上 Ko）。
Dota規(guī)則也非常復(fù)雜，這類游戲開發(fā)了十幾年，成百上千的代碼行實(shí)現(xiàn)游戲邏輯。而且游戲每?jī)芍芨乱淮?，環(huán)境語(yǔ)義一直在變。
所以OpenAI Five有著一套自己的學(xué)習(xí)算法。
OpenAI Five的系統(tǒng)使用一個(gè)高度擴(kuò)展版本的近端策略優(yōu)化（ProximalPolicy Optimization）算法進(jìn)行學(xué)習(xí)。OpenAI Five 和之前的1v1機(jī)器人都是通過(guò)自我對(duì)抗進(jìn)行學(xué)習(xí)的。他們從隨機(jī)參數(shù)開始，并不從人類玩家的方法中進(jìn)行搜索或者自舉。
前后兩個(gè)系統(tǒng)在效率上的提升是巨大的
AI選手們?cè)谟?xùn)練中飯量驚人，承載它們需要256塊P100GPU和12.8萬(wàn)個(gè)CPU核心。
DOTA職業(yè)選手每天的訓(xùn)練強(qiáng)度是12個(gè)小時(shí)，而DOTA AI的訓(xùn)練強(qiáng)度則是每天相當(dāng)于180年，如此快速學(xué)習(xí)和龐大訓(xùn)練強(qiáng)度，能夠擊敗半職業(yè)戰(zhàn)隊(duì)確實(shí)不難想象。
TI7上，OpenAI閃亮登場(chǎng)，贏下了solo賽，引起了不小的關(guān)注，不少隊(duì)伍和選手都想要和這些聰明的機(jī)器bot過(guò)招。
就在兩周前，OpenAI Five在5v5的比賽中以2-1擊敗了前職業(yè)選手組成的臨時(shí)戰(zhàn)隊(duì)?？雌饋?lái)這支隊(duì)伍已經(jīng)有了參加TI的能力，V社想要OpenAI來(lái)溫哥華參加本屆TI。目前他們正在調(diào)整日程表，爭(zhēng)取給OpenAI一個(gè)和頂尖職業(yè)選手過(guò)招的機(jī)會(huì)。
在經(jīng)過(guò)一年的開發(fā)后，相信今年的OpenAI歸來(lái)后肯定會(huì)變得更強(qiáng)，究竟職業(yè)戰(zhàn)隊(duì)能否打得過(guò)人工智能呢，也是讓人拭目以待。
寬泛科技專注為人工智能、影視后期、VR/AR/MR、視覺(jué)計(jì)算、虛擬化云計(jì)算、商務(wù)應(yīng)用等行業(yè)客戶提供基于深度學(xué)習(xí)、人臉識(shí)別、圖像識(shí)別、視頻分析、無(wú)人駕駛、醫(yī)療影像識(shí)別等硬件解決方案。
如有需求歡迎郵件至 hezuo@cloudhin.com
