OpenAI首席科学家Ilya Sutskever：他是如何拿到190万美元年薪的
选自David Goudet's Blog
作者：David Goudet
机器之心编译
编辑：蛋酱
如果要了解 Ilya Sutskever 的故事，必须从 2015 年的一顿饭讲起。
2015 年，Ilya Sutskever 还是一位年轻的计算机科学家，这位知名 AI 学者 Geoffrey Hinton 的学生，当时正在专攻深度学习。
就在那一年，Y Combinator 总裁 Sam Altman 给他发了一封电子邮件：「Hey, let’s get dinner with some cool people.」
就这样，Ilya 与 Greg Brockman（Stripe 联合创始人）、Elon Musk 和其他有影响力的人物吃了一顿晚饭。在这场聚会上，他们解释说他们想创建一个新的人工智能实验室。
对于 Ilya Sutskever 来说，这是一个相当完美的时机，因为他一直梦想着创建自己的人工智能公司。
他们创立了 OpenAI，几年之后，这家公司成为了 AI 研究的领导者。例如著名的 GPT，这是一种能够创建令人惊叹的真实对话的深度学习模型。就像在这个例子中，GPT（ Norn）将程序员引入一个神秘的世界：
Norn，一个使用 GPT-3 创建的虚拟实体，能够创造神秘的故事
在本文中，我们将了解这位出生于俄罗斯的年轻科学家如何最终成为有史以来最有影响力的人工智能研究人员之一，以及他对该行业的预测。
正确的位置
要了解 Ilya 的故事，我们需要从 Geoffrey Hinton 的故事开始。
Hinton 是数学家和教育家 Mary Everest Boole 和她的丈夫逻辑学家 George Boole 的曾曾孙，George Boole 的工作最终成为计算机科学的基础（布尔数据类型以他的姓氏命名）。
Hinton 在英国学习心理学和人工智能，在难以为研究找到资金支持后，他搬到了美国。
1986 年，在卡内基梅隆大学工作期间，他所在的团队展示了如何使用反向传播算法成功训练神经网络。
在前些年，该领域缺乏成果的状况导致了人工智能在很长一段时间内遭遇寒冬，且由于缺乏好的训练算法，神经网络的名声很差。
多年后，Hinton 从美国搬到加拿大。Ilya 就是在那里遇见他的。
Ilya 出生在俄罗斯，在以色列长大，16 岁时他的父母移居加拿大。正如他所解释的，他的父母希望全家过上更好的生活，但移居美国通常比移居加拿大更复杂，而当你搬到加拿大时，多伦多通常是第一个去的地方。
当他在多伦多大学计算机科学专业攻读博士学位时，他的一位教授是 Geoffrey Hinton。Ilya 从小就梦想着解决问题。他在一次采访中解释说，他从小就考虑用人工智能解决国际象棋问题。Ilya 和 Hinton 讨论了几篇深度学习论文，因为 Ilya 对此非常好奇。
我只是想迈出有意义的一步，推动这个领域向前发展。——Ilya Sutskever
重塑行业
李飞飞出生于中国，15 岁移居美国。她在普林斯顿大学主修物理和计算机科学。在研究 AI 问题时，她意识到没有足够的数据来训练神经网络模型。
李飞飞创建了一个包含数百万张图像的广泛数据库，计算机可以使用这些图像来训练他们的人工视觉。她在 2009 年将该数据库命名为 ImageNet。
自 2010 年以来，ImageNet 项目每年举办一次软件竞赛，让不同软件程序比较检测对象和场景的能力。
在 2012 年，一个程序能做到的最好程度，就是以近 30% 的错误率识别图像。Ilya Sutskever、Geoffrey Hinton 和 Alex Krizhevsky 想参加比赛。他们设计了一个卷积神经网络，他们称之为 AlexNet。
2012 年 9 月 30 日，AlexNet 在 ImageNet 上实现了 15.3% 的错误率。这一成就标志着新一波人工智能浪潮的开始。
他们是如何做到的？
在对有史以来前 100 篇科学论文的分析中，一位物理学家发现，过去 100 年中唯一取得重大进展的领域是人工智能。但是，大多数开发人员仍然不知道如何实现它。
Ilya 对人工智能未来的担忧之一是没有足够的工程师真正改进这些技术。
让我们看看他们是如何用粗线条和简单的文字创建 AlexNet 的。
人工神经网络是一种机器，我们可以像训练孩子的大脑一样训练它，例如识别圆形和矩形。为此，我们将向神经网络展示许多圆形和矩形的示例，我们可以使用 Geoffrey Hinton 证明有效的反向传播算法对其进行训练。
神经网络的表征。
当 AI 寒冬结束时，我们确信，如果想让神经网络识别更难的模式，比如区分男性和女性，我们需要一个深度神经网络（这只是一个具有两个以上隐藏层的神经网络），尽管如此，这些网络并不擅长识别更复杂的模式，比如识别图片中的人。
AlexNet 使用了卷积神经网络来检测这些模式。这些类型的网络使用滤波器来检测代码中的特定模式。想象一下，有几个工人负责特定的工作：一个工人将检测图像中的圆圈，另一个将检测边缘，另一个将使用前两个工人的输出来检测人脸。
在此示例中，由于矩阵中的 1，滤波器正在检测人脸的对角线。
虽然这看起来实现起来超级复杂，但在（由 Ilya Sutskever 协助开发的） TensorFlow 等现代框架中，只需要一行即可创建卷积层：
model.add(layers.Conv2D(32, (3, 3), activation='relu')
在接下来的几年里，这些网络变得非常流行，被用于特斯拉的汽车、Instagram 算法、谷歌的 DeepMind 以及基本上任何需要计算机视觉的地方。
奇点
那次会面后，Elon Musk、Sam Altman 和 Ilya Sutskever 创立了 OpenAI。Ilya 成为了公司的首席科学家，年薪 190 万美元，该公司迅速成为人工智能领域的领导者。
OpenAI 使用强化学习通过复制动物的进化来训练其模型：强化有助于实现目标的行为。他们训练数字人玩捉迷藏，让隐藏者和搜寻者的大脑相互竞争。
他们创建了 OpenAI Gym，这是一个供开发人员创建强化学习算法的工具。
但他们最先进的模型 GPT-3 ，真正向奇点迈进了一步。
技术奇点——或者简称奇点——是一个假设的时间点，在这个时间点，技术增长变得无法控制和不可逆，从而导致人类文明发生不可预见的变化。
GPT-3 是一种大规模语言模型，它使用深度学习来生成类人文本。Ilya Sutskever 在 Twitter 上引发了全球 AI 社区的讨论：
据 Futurism 报道，Sutskever 在发布他的推文后不久就遭到了强烈反对，大多数研究人员担心他过分描述了人工智能已经变得多么先进。
定义意识是一项非常复杂的任务，大多数时候与人类状况密切相关。我们不能说今天的神经网络是有意识的，但我们越来越接近机器可以模仿我们并以我们无法理解的方式处理其内部系统中的数据的地步。
但可以确定的是，他的工作永远改变了我们的生活。大公司都在支持 OpenAI，他们每天都在取得新的成就。而今天的 Ilya Sutskever 还不到 40 岁。
原文链接：https://davidgoudet.medium.com/how-did-this-ai-scientist
原标题：《OpenAI首席科学家Ilya Sutskever：他是如何拿到190万美元年薪的》