2012 年，在 Hinton 的指導下，Sutskever 和博士生同學 Alex Krizhevsky 開發(fā)了 AlexNet，它在 2012 年 ImageNet LSVRC-2012 的比賽中脫穎而出。AlexNet 以一種新穎的神經(jīng)網(wǎng)絡(luò)架構(gòu)在 NIPS 亮相，包含五個卷積層和三個完全連接的層。這篇論文被廣泛認為是一項真正的開創(chuàng)性工作，因為它首次證明了在 GPU 上訓練的深度神經(jīng)網(wǎng)絡(luò)可以將圖像識別任務(wù)提升到一個新的水平。

更重要的是，AlexNet 讓 Sutskever 意識到深度學習可以解決任何模式識別問題，只要你有一個深度神經(jīng)網(wǎng)絡(luò)訓練大量的數(shù)據(jù)。

2012 年畢業(yè)后，Sutskever 在斯坦福大學跟隨吳恩達教授讀了兩個月的博士后課程。然后他回到了多倫多大學并加入了 Hinton 的新研究公司 DNNResearch，這是 Hinton 研究小組的副產(chǎn)品。四個月后，即 2013 年 3 月，Google 收購了 DNNResearch，并聘請 Sutskever 擔任 Google Brain 的研究科學家。

AlexNet 標志了自 2012 年起人工智能革命的開端。然而，許多領(lǐng)域仍未被深度學習算法所開發(fā)，例如自然語言處理。當時，卷積神經(jīng)網(wǎng)絡(luò)（CNN）使用的神經(jīng)網(wǎng)絡(luò)類型與文本等序列數(shù)據(jù)不兼容。

加入 Google 后，Sutskever 全身心地投入到序列建模問題中，它可以應(yīng)用于語音，文本和視頻，其中的一個非常實際的應(yīng)用就是機器翻譯。

2014 年，Sutskever 與谷歌研究員 Oriol Vinyals 和 Quoc Le 一起提出了 Seq2seq 學習（Sequence to Sequence Learning）。它輸入比如一句英文的序列結(jié)構(gòu)，再將其映射到也具有序列結(jié)構(gòu)的一句法文上。

該方法使用循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN），也就此開啟了 RNN 廣泛應(yīng)用于語言任務(wù)的時代。他們的研究應(yīng)用于機器翻譯，并且在大型數(shù)據(jù)集上，其表現(xiàn)優(yōu)于基于短語的統(tǒng)計機器翻譯基線。

Seq2seq 學習允許更少的工程設(shè)計選擇，并讓 Google 翻譯系統(tǒng)高效準確地處理大量數(shù)據(jù)集。它主要用于機器翻譯系統(tǒng)，并被證明適用于更廣泛的任務(wù)，包括文本摘要，人工智能對話和問答。

2015 年，麻省理工學院技術(shù)評論將 Sutskever 評為 Visionaries 類別的「35 歲以下創(chuàng)新者」。

在谷歌大腦團隊中，Sutskever 加入了 Google 開源庫 TensorFlow 的開發(fā)，用于大規(guī)模機器學習。

TensorFlow 具有許多便利的功能和實用程序，如今是世界上最流行的機器學習系統(tǒng)。它使用數(shù)據(jù)流圖來表示計算，將數(shù)據(jù)流圖的節(jié)點映射到集群中的許多機器上，并與各種計算設(shè)備連接，包括 CPU，GPU 和定制設(shè)計的 ASIC、稱為張量處理單元的 GoogleTPU。

同樣在谷歌大腦，Sutskever 協(xié)助了 DeepMind 的研究人員開發(fā)了劃時代的圍棋人工智能 AlphaGo，該系統(tǒng)基于深度神經(jīng)網(wǎng)絡(luò)和蒙特卡羅樹搜索方面進行訓練，并使用強化學習算法自學。

AlphaGo 在 2016 年 3 月的五場最佳對決比賽中擊敗了韓國圍棋大師李世乭，創(chuàng)造了歷史。這款機器首次在最復雜的戰(zhàn)略棋盤游戲中超越了人類最強大的能力。關(guān)于 AlphaGo 的論文于 2016 年在 Nature 上發(fā)表，Sutskever 是合著者。

在谷歌，Sutskever 一直不斷地思考著長遠的未來：當人工智能普及之后會對人類產(chǎn)生什么影響？在人工智能開發(fā)的最前沿，他看到了人工智能的能力是如何快速增長的。在不遠的將來，人工智能將取代我們的每項工作。當人工智能能為我們做出重大決策（因為它逐漸接管所有責任）時，人類將會發(fā)生怎么的改變？

偶然的機會，在 2015 年 7 月的一天，Sutskeve 參加了由 Y Combinator 總裁 Sam Altman 在 Sand Hill Road 的一家餐廳舉辦的晚宴，在那里他遇見了 Elon Musk 和 Greg Brockman。Brockman 后來在他的博客文章中回憶道，「Ilya 是一位知識和愿景廣泛的技術(shù)專家，并且可以隨時深入了解當前系統(tǒng)的局限性和能力?！?/strong>

在場的每個人達成了一個共識：人類需要一個組織，一個非營利組織，沒有任何競爭激勵來削弱其實現(xiàn)人工智能的使命；它還需要世界上最好的人工智能研究人員。

Ilya 對他離開谷歌的選擇百感交集。雖然他很享受在 GoogleBrain 的工作，但他想做的更多。2015 年 12 月，他邁出了這一步。

Sutskever 和 GregBrockman（現(xiàn)為 OpenAI 首席技術(shù)官）共同創(chuàng)立了 OpenAI，得到來自 Elon Musk，Sam Altman 和 LinkedIn 創(chuàng)始人 Reid Hoffman 的 10 億美元資金，其目標是「以最有可能造福人類的方式推進數(shù)字智能并使之成為一個整體」

Sutskever 說：「有可能在我們的有生之年，我們將建立一個在每個有意義的維度上都具有認知能力的人工智能系統(tǒng)?！?/strong>

OpenAI 吸引了幾位世界知名的人工智能研究人員，包括發(fā)明 GAN 的 Ian Goodfellow，加州大學伯克利分校的 Pieter Abbeel 和目前負責特斯拉人工智能工作的 Andrej Karpathy。

OpenAI 位于舊金山一個不起眼的辦公室，在過去的兩年里取得了許多驚人的成就：他們創(chuàng)建了一個名為 Universe 的軟件平臺，用于測量和訓練全球各地的人工智能系統(tǒng)。它旨在讓機器人學習不同的策略； 他們創(chuàng)造了人工智能的游戲玩家，在復雜的多人競技游戲 Dota2 中，他們有能力擊敗 99.95％全球玩家； 他們還建立了能完成日本相撲摔跤或者踢足球的虛擬機器人。

OpenAI 也在推進機器人研究的前沿。他們將深度強化學習應(yīng)用于機器人學，以做家務(wù)，如干凈的房間或做飯。最近，他們訓練了他們的 Dactyl 手，學習如何旋轉(zhuǎn)字母塊并將新的一面放在上面。

人工智能安全研究也屬于他們研究的范疇。兩年前，OpenAI 列出了許多關(guān)于確?，F(xiàn)代機器學習系統(tǒng)按預(yù)期運行的研究問題。

在過去的 6 年里，Sutskever 一直站在人工智能革命的最前沿。他的下一段旅程是傳播這場革命，為整個人類帶來好處，而他的團隊正在推動人工智能的發(fā)展來實現(xiàn)強人工智能的終極高峰。他的計劃是什么？我們可以發(fā)展到什么地步？我們正等著他精彩故事的下一章。

Ilya Sutskever 將于 2018 年 11 月 9 日在加利福尼亞州圣何塞舉行的 AI Frontiers 會議上發(fā)言。

AI Frontiers 大會演講嘉賓

AI Frontiers Conference 匯集了人工智能領(lǐng)域的思想領(lǐng)袖，展示最前沿的研究和產(chǎn)品。今年的發(fā)言人包括：Ilya Sutskever（OpenAI 創(chuàng)始人），Jay Yagnik（Google AI 副總裁），Lee-Fu Lee（Sinovation 首席執(zhí)行官），Mario Munich（iRobot 高級副總裁），Quoc Le（Google Brain），Pieter Abbeel（加州大學伯克利分校教授）等。