文章来源:晚点LatePost
“创业公司的内部全都是车祸现场。只是有的你能在媒体上看到,有的看不到。” 山姆·阿尔特曼(Sam Altman)的导师,硅谷孵化器 YC 创始人保罗·格雷厄姆曾这么总结他看过的千百家创业公司。
得益于阿尔特曼和特斯拉 CEO 埃隆·马斯克的争斗和诉讼,现在我们也能看到 OpenAI 早年的真实样子。双方各自公布了数批共 75 封内部邮件以及短信记录,时间跨度从 2015 年 OpenAI 筹备到 2019 年组建营利实体,展示了一群硅谷名流和天才 AI 研究者如何因为理想聚在一起,又如何随着 OpenAI 的发展争权夺利。
这些长达 3 万多字的内部记录也像是一堂 OpenAI 出品的创业课,涉及这家全球最大的 AI 创业公司早期如何讲故事、组建精英阵容,到薪酬设计、股权分配的方方面面;从低价与 Google 争夺人才到与微软谈判合作,甚至还包括曾考虑过的加密货币融资方案。而且,我们还能看到首席科学家伊利亚·苏茨克维 (Ilya Sutskever) 如何写双周报,制定 AGI 研究计划,以及阿尔特曼如何一步步控制 OpenAI,推动转型的过程。
我们全文翻译了这些内部交流记录,在保留语言风格、不改变原意的前提下适当编辑,并按照时间线整理,以尽可能完整呈现他们交流的情况。
2015 年:邀约马斯克 – 从 YC AI 到 OpenAI – 初始团队
问题
参与者:
山姆·阿尔特曼(Sam Altman),2014 年接任硅谷孵化器 YC 总裁,2019 年全职担任 OpenAI CEO。
埃隆·马斯克(Elon Musk),时任特斯拉、SpaceX CEO,为 OpenAI 出资 4000 多万美元,2018 年 2 月退出 OpenAI 董事会。
主题:问题
发件人:山姆·阿尔特曼
收件人:埃隆·马斯克
时间:2015 年 5 月 25 日 21:10(周一
我一直在思考,是否有可能阻止人类开发 AI。
我认为几乎不可能。
既然它迟早会发生,最好是让 Google 之外的其他人先做这件事。
你觉得 YC 启动一个类似曼哈顿计划的 AI 项目怎么样?我觉得我们可以让排名前 50 的顶级人才中的很多人参与其中。我们可以设定一个架构,让这项技术通过某种形式的非营利机构属于全世界。如果项目成功,参与其中的人能获得类似加入创业公司的报酬。当然,我们会遵守并积极支持所有的监管规定。
山姆
Re:问题
发件人:埃隆·马斯克
收件人:山姆·阿尔特曼
时间:2015 年 5 月 25 日 23:09(周一
这可能值得进一步讨论
Re:Re:问题
发件人:山姆·阿尔特曼
收件人:埃隆·马斯克
时间:2015 年 6 月 24 日 10:24(周三
我们的使命是,创造用于增强个人的能力的第一个通用人工智能(AGI)——即那个未来看起来最安全的分布式版本。更宽泛地说,安全应当是我们的首要追求。
我觉得,理想的启动团队是 7 到 10 人,然后逐步扩大。我们在山景城有一栋空余的建筑,他们可以用。
至于治理架构,我建议从 5 个人开始,我提议你、比尔·盖茨、皮埃尔·奥米迪亚(eBay 创始人)、达斯汀·莫斯科维茨(Facebook 联合创始人)和我。技术由基金会拥有,用于 “全人类的福祉”。如果遇到不确定如何应用的情况,我们 5 个人做决定。研究人员有可观的财务回报,但与他们开发的技术无关。这样可以减少一些冲突(我们会付他们有竞争力的薪水,并给他们 YC 股权)。我们将持续讨论哪些工作成果应该开源,哪些不应该开源。某个时候,我们会找一个人领导团队,但他 / 她可能不该在治理委员会内。
除了治理之外,你是否会参与其中?我认为这非常有助于工作朝着正确的方向发展,并招募到最优秀的人才。理想情况下,你可以每个月(或者类似的频率)来看看他们的进展。我们通常会称那些以某种有限的方式参与 YC 的人为 “兼职合伙人,Part-Time Partner”(比如我们和彼得·蒂尔 [Peter Thiel,Paypal 联合创始人] 的合作就这样,尽管他现在非常积极),你可以随意决定我们该怎么称呼你。即使你不能投入太多时间,能公开表示支持,对招募人才也非常有帮助。
我觉得关于监管信的正确做法是,等到这项工作启动后,我可以发布一条消息,类似于 “既然我们已经开始做这件事了,我最近也在认真思考世界需要什么样的约束来保障安全。” 如果你不想签字,我也很乐意把你从签署名单中去掉。我觉得,信发布之后,会有更多人愿意支持它。
山姆
Re:Re:Re:问题
发件人:埃隆·马斯克
收件人:山姆·阿尔特曼
时间:2015 年 6 月 24 日 23:05(周三)
我同意所有的提议。
AI docs
新增参与者:
伊利亚·苏茨克维 (Ilya Sutskever),Google 原资深研究科学家,放弃数百万美元年薪加入 OpenAI,担任首席科学家,2023 年 11 月联合 OpenAI 董事驱逐阿尔特曼,今年 5 月离职。
主题:AI docs(OpenAI 披露)
发件人:山姆·阿尔特曼
收件人:埃隆·马斯克
时间:2015 年 11 月 20 日 11:48(周五
埃隆-
我们的计划是让你、我和伊利亚三个人组成 YC AI (注:OpenAI 早期名称)的董事会,它将是一个位于特拉华州的非营利组织。我们还会描述清楚,由董事会成员选举两位外部人士加入董事会。
我们会在章程中写明,任何可能危害人类安全的技术,必须经过董事会的同意才能发布。我们也会在研究人员的聘用合同中提到这一点。
整体来说,你觉得这个方案怎么样?
我抄送给了我们的法律顾问 <****>(OpenAI 隐藏的内容,下同),请问你那边是否有人可以跟他对细节?
Re:AI docs(OpenAI 披露)
发件人:埃隆·马斯克
收件人:山姆·阿尔特曼
时间:2015 年 11 月 20 日 12:29(周五)
我认为它应该由 YC 支持并独立于 YC,而不是听起来像 YC 的一个子公司。
另外,当前的架构似乎不是最理想的。特别是,YC 的股权和非营利组织的薪水,会让激励机制变得模糊。更好的做法,可能是设立一个标准的 C 型公司(注:可以理解为营利公司),并同时设立一个非营利组织。
电话内容跟进
新增参与者:
格雷格·布洛克曼(Greg Brockman),硅谷金融科技独角兽 Stripe 原 CTO,后担任 OpenAI 总裁。
主题:电话内容跟进
发件人:格雷格·布洛克曼
收件人:埃隆·马斯克
时间:2015 年 11 月 22 日 18:11(周日
嗨,埃隆
很高兴刚才和你聊了下。
正如我在电话中提到的,这是博客文章的最新版本:https://quip.com/6YnqA26RJgKr。(山姆、伊利亚和我正在考虑新的名字,如果你有任何建议,非常欢迎。)
显然,还有很多细节需要修改,但我很好奇你对这样传递信息的看法。我不想避重就轻,如果你觉得合适,我会更直白地传递信息。我认为最重要的是,我们的信息能吸引到做研究的人(或者至少是我们想要招聘的那部分人)。我希望我们能作为一个中立的团队进入这个领域,广泛合作,将对话引导到 “人类的胜利” 上,而不是某个特定的团队或公司。(我认为这是我们成为领先研究机构的最佳途径。)
我附上了我们一直在用的 offer 模板,年薪为 17.5 万美元。以下是我发给候选人的邮件模板
附件是你正式的 YC offer!请按照你方便时间签署日期。我们还会发送另外两份文件给你:
1. 一封单独的信,向你提供每期 YC 训练营 0.25% 的股份(作为 YC 顾问的报酬)。
2.《自由雇佣协议》《信息保密协议》《发明转让协议》《仲裁协议》
(由于这是我们首次发出正式 offer,如果过程中有任何不顺畅之处,请多多包涵,若有任何疑问,随时告知!)
我们计划提供以下福利:
- 健康、牙科和视力保险
- 无限制的假期,建议每年休假四周
- 带薪育儿假
- 当你在会议上展示 YC AI 的工作成果,或者受 YC AI 邀请参加会议,相关费用由 YC AI 支付。
我们也很乐意提供签证支持。如果您准备好讨论签证相关事宜,随时联系我,我可以为你对接 YC 的 Kirsty。
如果你有任何问题,请随时联系我——我随时愿意聊!期待一起工作 :)。
gdb(注:格雷格·布洛克曼名字的缩写
Re:电话内容跟进(OpenAI 披露)
发件人:埃隆·马斯克
收件人:格雷格·布洛克曼
时间:2015 年 11 月 22 日 19:48(周日)
博客内容看起来不错,但需要调整为中立视角,不要过于偏向 YC。
我倾向于将博客调整为更吸引公众的方向——得到公众的支持对我们的成功非常重要——同时,为招聘准备一个更长、更详细、更加专业的版本,在面向公众的版本结尾附上指向该版本的链接。
我们需要提出一个远大于 1 亿美元的数字,否则在 Google 或 Facebook 的支出面前,我们会显得毫无竞争力。我建议宣布一个 10 亿美元的资金承诺。这是切实可行的,我会承担其他人未能提供的部分。
模版总体不错,只需将默认奖励调整为分期发放的现金奖金,同时允许转化为 YC 的股权,或者可能是 SpaceX 的股权(需要进一步确认具体金额)。
开头段落的草稿
主题:开头段落的草稿
发件人:埃隆·马斯克
收件人:山姆·阿尔特曼
时间:2015 年 12 月 8 日 9:29(周二)
把开头的总结部分写好非常重要。这是大家首先阅读的内容,也是媒体通常会引用的部分。发布它就是为了吸引顶尖人才。我不确定格雷格真的明白这一点。
——
OpenAI 是一家非营利的 AI 研究公司,目标是以最有可能造福全人类的方式推动数字智能的发展,不受追求财务回报的束缚。
我们公司的基本理念是,尽可能广泛地传播 AI 技术,将其作为每个人意志的延伸,确保在自由精神的指导下,数字智能的力量不被过度集中,并朝着全人类共同期望的未来演化。
这一项目的结果尚不确定,薪酬也比其他公司低。但我们相信,我们的目标和架构是正确的。我们希望这是最优秀的人才最看重的东西。
Re:开头段落的草稿
发件人:山姆·阿尔特曼
收件人:埃隆·马斯克
时间:2015 年 12 月 8 日 10:34(周二)
这个怎么样?
——
OpenAI 是一家非营利的 AI 研究公司,目标是以最有可能造福全人类的方式推动数字智能的发展,不受追求财务回报的束缚。
由于我们没有财务压力,可以专注开发对人类影响最大、影响最积极的 AI 技术,并尽可能广泛地传播。我们相信 AI 应该是个人意志的延伸,并且在自由精神的指导下,避免将其集中在少数人手中。
这一项目的结果尚不确定,薪酬也比其他公司低。但我们相信,我们的目标和架构是正确的。我们希望这是最优秀的人才最看重的东西。
刚刚得到消息 ……
主题:刚刚得到消息 ……
发件人:山姆·阿尔特曼
收件人:埃隆·马斯克
时间:2015 年 12 月 11 日 11:30(周五)
刚刚得到消息,DeepMind 明天会给 OpenAI 的每个人提供高价 offer,试图打压我们。
你是否介意我主动提高大家的薪酬,每年增加 10 万到 20 万美元?我认为他们都受到使命的激励,但加钱会向大家传递一个积极的信号——我们会长期关心并照顾他们。
看起来 DeepMind 打算开战,他们甚至在 NIPS (注:AI 领域顶级学术会议)上直接堵人。
Re:刚刚得到消息 …
发件人:埃隆·马斯克
收件人:山姆·阿尔特曼
时间:2015 年 12 月 11 日(周五)
伊利亚有没有给出确切的答复?
如果有人表现出一丁点犹豫,我都很乐意亲自给他们打电话。我已经告诉 Emma,这件事是我全天候待命的首要任务。
Re:Re:刚刚得到消息 ……
发件人:山姆·阿尔特曼
收件人:埃隆·马斯克
时间:2015 年 12 月 11 日 12:15(周五)
是的,已经承诺了,刚刚拿到了他的承诺。
Re:Re:Re:刚刚得到消息 ……
发件人:埃隆·马斯克
收件人:山姆·阿尔特曼
时间:2015 年 12 月 11 日 12:32(周五)
太棒了
Re:Re:Re:Re:刚刚得到消息 …
发件人:山姆·阿尔特曼
收件人:埃隆·马斯克
时间:2015 年 12 月 11 日 12:35(周五)
大家感觉都很好,还在说一些话,类似 “尽管让 DeepMind 报价好了,遗憾的是,他们没有 ‘坚持做正确的事’ 的价值观支持”。
消息(注:OpenAI 成立)将在太平洋标准时间下午 1:30 发布
OpenAI 公司
新增参与者:
帕梅拉·瓦加塔(Pamela Vagata),Facebook 原 AI 研究工程师,2016 年离职
维琪·张(Vicki Cheung),多邻国、医疗保健公司 TrueVault 原工程师,2017 年底离职
迪亚德里克·金玛(Diederik Kingma),当时博士未毕业,2018 年离职
安德烈·卡帕西(Andrej Karpathy),当时博士未毕业,2017 年离职加入特斯拉,2023 年重返 OpenAI,2024 年再次离职
约翰·舒尔曼(John D. Schulman) ,当时博士未毕业,2024 年离职
特雷弗·布莱克威尔(Trevor Blackwell), YC 原合伙人,2017 年离职
主题:OpenAI 公司
发件人:埃隆·马斯克
收件人:伊利亚·苏茨克维、帕梅拉·瓦加塔、维琪·张、迪亚德里克·金玛、安德烈·卡帕西、约翰·舒尔曼、 特雷弗·布莱克威尔、格雷格·布洛克曼
抄送: 山姆·阿尔特曼
时间:2015 年 12 月 11 日 16:41(周五)
祝贺大家迈出了伟大的第一步!
我们在人数和资源上远不及一些大家熟知的机构,但我们站在正义这边,这一点非常重要。我觉得我们有很大的机会。
我们需要考虑的最重要的事是招募顶尖人才。任何公司的成就,最终都是团队成员共同努力的结果。如果我们能持续吸引到最有才华的人,并且方向和目标一致,那么 OpenAI 一定能够成功。
因此,请大家好好想想,应该让谁加入我们。如果在招聘或其他方面我能提供帮助,请随时告诉我。我建议特别关注那些尚未完成研究生甚至本科学业,但显然非常聪明的人。最好在他们取得突破性成果之前让他们加入。
期待与大家合作,
埃隆
2016 年:组建团队 – 薪酬架构 – 微软的千万美元订单 – 马斯克的反对
祝贺猎鹰 9 号成功
主题:转发:祝贺猎鹰 9 号成功(OpenAI 披露)
发件人:埃隆·马斯克
收件人:山姆·阿尔特曼、伊利亚·苏茨克维、格雷格·布洛克曼
时间:2016 年 1 月 2 日 8:18(周六)
[转发邮件]
——
嗨,埃隆,
祝你新年快乐,███!(注:█ 是 OpenAI 隐藏的信息,下同)
恭喜猎鹰 9 号着陆,这真是一个了不起的成就,现在是时候开始打造舰队了!
最近我看到你(还有山姆和其他 OpenAI 的人)频繁接受采访,称赞 AI 开源的优点,但我想你也清楚,这并不是某种万能的方案,它总不能神奇地解决安全问题吧?实际上,有许多有力的证据表明,你们采取的这种方法可能非常危险,甚至可能增加世界的风险。一些显而易见的观点在这篇博客文章中有很好的阐述,我相信你已经看过了,但还有一些其他的重要因素值得考虑:http://slatestarcodex.com/2015/12/17/should-ai-be-open/
我很希望能听到你对这些观点的反驳意见。
Re:转发:祝贺猎鹰 9 号成功(OpenAI 披露)
发件人:伊利亚·苏茨克维
收件人:埃隆·马斯克、伊利亚·苏茨克维、格雷格·布洛克曼
时间:2016 年 1 月 2 日 9:06(周六)
文章的重点是 “迅速突破” 场景:如果发生迅速突破,并且开发一个安全的 AI 比开发一个不安全的 AI 更难,我们开源所有内容,就可能让拥有大量硬件资源的恶意行为者轻易开发出一个不安全的 AI,而这个 AI 将迅速突破。
随着我们离开发 AI 越来越近,减少开放会变得更加合理。在 OpenAI 的语境中,“开放” 意味着 AI 开发完成后,所有人都可以从中受益。但不分享成果是完全可以接受的(不过短期乃至中期,为了招聘,分享所有成果无疑是正确的策略)。
Re:Re:转发:祝贺猎鹰 9 号成功(OpenAI 披露)
发件人:埃隆·马斯克
收件人:伊利亚·苏茨克维
时间:2016 年 1 月 2 日 9:11(周六)
没错。
后续想法
主题:后续想法(OpenAI 披露)
发件人:伊利亚·苏茨克维
收件人:埃隆·马斯克
抄送:格雷格·布洛克曼、山姆·阿尔特曼
时间: 2016 年 2 月 19 日 10:28(周五)
几点说明:
- 解决了 “概念” 问题,并不意味着我们就能获得 AI。还需要解决的其他问题包括无监督学习、迁移学习和终身学习。目前我们在语言理解方面的表现也相当差。这并不意味着,这些问题在未来几年不会取得显著进展。但我们不能说,只有一个问题阻碍着我们实现完全达到人类水平的 AI。
- 我们今天无法开发 AI,是因为缺乏关键想法(也可能是计算机太慢了,但我们现在还无法确定)。强大的想法来自顶尖的人才。大规模的计算集群确实有帮助,非常值得投入,但作用相对较小。
- 接下来 6 到 9 个月内,我们有望取得传统意义上的重要成果,因为我们已经有了一支非常优秀的团队。要想取得改变整个领域的突破性成果更难、风险更大,需要更长时间。但我们也有合理的计划来应对这些挑战。
Re:后续想法(OpenAI 披露)
发件人:埃隆·马斯克
收件人:伊利亚·苏茨克维
抄送:格雷格·布洛克曼、山姆·阿尔特曼
时间: 2016 年 2 月 19 日 12:05(周五)
坦率地说,AI 社区花了这么长时间才弄清楚这些概念,让我感到惊讶。这看起来并不算太难。将大量深度网络在高层次上连接到一起,听起来像是正确的方法,或者至少是正确方法的关键部分。
DeepMind 创造出深度智能的概率每年都在增加。也许在 2 到 3 年内它不会超过 50%,但很可能会超过 10%。考虑到他们的资源,在我看来,这个想法并不疯狂。
无论如何,我认为高估竞争对手总比低估好得多。
这并不意味着,我们应该着急地招聘不够优秀的人才。这么做无法取得任何好结果。我们需要做的是加倍努力,去寻找世界上最优秀的人才,采取一切必要的手段将他们吸引到公司里,并给他们高度的紧迫感。
在接下来的 6 到 9 个月内,OpenAI 必须取得一些重要的成果,来证明我们真正有实力。不一定非得是重大突破,但至少应该足够让全球的关键人才注意到它,并产生兴趣。
薪酬框架
主题:薪酬框架
发件人:格雷格·布洛克曼
收件人:埃隆·马斯克
抄送:山姆·阿尔特曼
时间: 2016 年 2 月 21 日 11:34(周日)
大家好,
我们正在进行成立以来的第一轮全职招聘。这显然非常重要,因为这将对未来产生长期影响。我现在还不太有把握单独做决定,希望能得到一些指导。
以下是我们当前的安排:
创始团队: 年薪 27.5 万美元 + 0.25% 的 YC 股权
- 也可以选择把年薪永久转为每年固定的 12.5 万美元奖金,或者等值的 YC 或 SpaceX 股权。我不确定是否有人选了这个。
新聘人员: 17.5 万美元年薪 + 12.5 万美元年终奖或等值的 YC 或 SpaceX 股权。奖金根据绩效评估,可能为 0% 或大于 100%。
特殊情况: 格雷格 + 伊利亚 + 特雷弗
我们的计划是基本薪资保持大体一致,用浮动的奖金奖励表现优秀的员工。
一些说明:
- 股权 8 年内归属完成,我们使用 20% 的年化折算,12.5 万美元的奖金相当于 0.12% 的 YC 股权 。因此,最终价值大约为 75 万美元。虽然这个数字听起来更有吸引力,但估值很难精确。
- 创始团队最初每人 17.5 万美元年薪。在实验室启动的第二天,我们主动将每个人的薪水加了 10 万美元,告诉他们,我们在实验室成功时会在财务上全力支持他们,并要求他们承诺忽视所有 offer,相信我们会照顾好他们。
- 我们目前正在面试 Brain (注:Google 的研究部门)的伊恩·古德费洛(Ian Goodfellow),他是我们这个领域内顶尖的两位科学家之一(另一个是 DeepMind 的亚历克斯·格雷夫斯[Alex Graves])。他是 Brain 中最优秀的人,所以 Google 肯定会全力争取他。我们计划将他纳入创始团队的薪酬方案。
一些薪资数据:
- 约翰在 DeepMind 的年薪总包为 25 万美元,他认为自己可以轻松谈到 30 万美元。
- FAIR(Facebook AI 实验室)口头上给 Wojciech(沃伊切赫·萨伦巴)的报价是每年 125 万美元(但没有具体的书面信息)。
- 安德鲁·图洛克(Andrew Tulloch)在 Facebook 的年薪为 80 万美元(大部分是股票,还在归属中)。
- 伊恩·古德费洛目前在 Google 的薪酬是 16.5 万美元现金 + 每年 60 万美元股票。
- 苹果公司有点急着招人,提供 55 万美元现金(加股票,推测还有额外补偿)。不过,我认为没什么优秀的人会接受。
我目前在关注的两个具体候选人:
- 安德鲁很有可能接受我们的报价,但他担心薪资差距太大。
- 伊恩说,薪资不是他最关注的事,但湾区的生活成本很高,他希望能买得起房子。如果 Google 给他开出像给伊利亚那样的薪资,我不确定会发生什么。
我现在的问题是:
1. 我预计安德鲁会尝试提高薪资。我们是否应该坚持现有的 offer,并告诉他只有在他非常愿意接受这个薪资后才能加入(并告诉他其他人也放弃了更高的收入)?
2. 伊恩将在周三面试并(我相信)收到 offer。我们是否应该把他的 offer 视为最终方案,还是应该根据 Google 的 offer 调整?
3. 根据 1 和 2 的问题,我在思考这种平衡薪资的策略是否可行。如果我们继续保持现状,我觉得我们可能需要特别强调浮动奖金的价值。或许可以考虑使用签约奖金作为杠杆吸引人才?
4. 虽然不太重要,但我们的实习生薪资低于市场:每月 9 千美元。(Facebook 提供 9 千美元 + 免费住房, Google 提供约 1.1 万美元的月薪)。对实习生来说,薪资并不是最重要的,经验才是重点。但我认为我们可能因此失去了一些合适的候选人。考虑到实习生每小时的薪资比全职员工低很多,我们是否应该考虑提高薪资?
随时可以讨论这些问题。
gdb
Re:薪酬框架
发件人:埃隆·马斯克
收件人:格雷格·布洛克曼
抄送:山姆·阿尔特曼
时间: 2016 年 2 月 22 日 0:09(周一)
我们必须全力以赴争取顶尖人才。就提高薪资吧。如果某个时候需要重新调整现有员工的薪资,那也没问题。
我们要么吸引到世界上最优秀的人才,要么被 DeepMind 打败。
不惜一切代价吸引顶尖人才,我完全支持。
DeepMind 正在给我带来极大的心理压力。如果他们赢了,后果将非常严重,他们 “一心统治世界” 的价值观让我非常担心。
显然,他们正在取得重大进展,毕竟那边的天才实在太强了。
Re:Re:薪酬框架
发件人:格雷格·布洛克曼
收件人:埃隆·马斯克
抄送:山姆·阿尔特曼
时间: 2016 年 2 月 22 日 0:21(周一)
明白,完全理解你的意思。计划已经定了。我会继续和山姆一起处理具体细节,如果你想了解最新情况,请随时告诉我。
gdb
《连线》杂志采访
新增参与者:
山姆·泰勒(Sam Teller),时任马斯克首席助理
主题:《连线》杂志采访
发件人:格雷格·布洛克曼
收件人:埃隆·马斯克
抄送:山姆·泰勒
时间: 2016 年 3 月 21 日 0:53(周一)
嗨,埃隆,
我接受了《连线》杂志关于 OpenAI 的采访,事实核查员向我提出了一些问题。我想特别和你同步两点,确保回答合理并与你的立场一致:
1. OpenAI 是否会公开所有的研究?
在任何时候,我们都会采取最有可能最大化造福世界的行动。短期内,我们认为最好的方式是公开我们的研究成果。但从长期来看,这可能不是最好的方法:例如,某些有潜在危险的技术可能不适合立即共享。无论在任何情况下,我们都会无偿分享我们所有研究的所有成果,并希望这些成果能惠及整个世界,而不是集中于某个特定机构。
2. OpenAI 是否认为,让尽可能多的人掌握最先进的 AI 技术,是防止过于强大的 AI 落入私人手中并威胁世界的最佳路径?
我们认为,用 AI 扩展个体意志,是确保 AI 始终造福人类的最有前景的路径。这种方法的吸引力在于,有许多能力相当的智能体存在时,它们可以相互制衡,防止单一坏人的影响。但我们不会声称已经有了所有的答案:相反,我们正在建立一个能够寻找这些答案的机构,而且无论答案为何,这个机构都能采取最佳行动。
谢谢!
gdb
Re:《连线》杂志采访
发件人:埃隆·马斯克
收件人:格雷格·布洛克曼
抄送:山姆·泰勒
时间: 2016 年 3 月 21 日 6:53(周一)
没问题。
关于莫琳·多德的问题
新增参与者:
莫琳·多德(Maureen Dowd),时任《纽约时报》专栏作家
亚历克斯·汤普森(Alex Thompson),时任莫琳·多德的助理
主题:关于莫琳·多德的问题
发件人:山姆·泰勒
收件人:埃隆·马斯克
时间: 2016 年 4 月 27 日 7:25(周三)
[转发亚历克斯·汤普森的邮件]
——
嗨,山姆,
希望你今天过得愉快,很抱歉再次打扰你。我想确认莫琳是否可以了解马斯克先生对扎克伯格先生一些公开评论的回应。特别是扎克伯格称马斯克对 AI 的担忧 “过于夸张”,并批评那些 “危言耸听” 者关于 AI 危险的言论。我在下方附上了扎克伯格先生的评论细节:
最近在德国,当被问及马斯克的担忧时,扎克伯格称这些担忧 “过于夸张”,并赞扬了 AI 的突破,其中包括一个系统。他声称,这个系统可以用手机诊断皮肤病变是否是癌症,准确性堪比 “最好的皮肤科医生”。
“除非我们真的搞砸了,” 他说,机器将始终服从于人类,而不会成为 “超人”。
“我认为,我们可以开发一种 AI,它为我们工作,帮助我们 …… 有些人渲染 AI 是一种巨大威胁,但我觉得这种担忧过于牵强,远不及疾病、暴力等造成的灾难。” 在 4 月的 Facebook 开发者大会上,他将自己的理念概括为:“选择希望,而不是恐惧。”
亚历克斯·汤普森
《纽约时报》
Re:关于莫琳·多德的问题
发件人:埃隆·马斯克
收件人:山姆·泰勒
时间: 2016 年 4 月 27 日 12:24(周三)
历史明确表明,任何强大的技术都是一把双刃剑。假设 AI——可以说是所有技术中最强大的——仅仅只有一面,是非常愚蠢的。
微软最近的 AI 聊天机器人就是一个例子,展示了它如何在短时间内迅速产生负面影响。明智的做法是,对 AI 的到来保持谨慎,确保其力量被广泛分配,而不是被任何一家公司或个人掌控。
这正是我们创立 OpenAI 的原因。
微软托管协议
主题:微软托管协议
发件人:山姆·阿尔特曼
收件人:埃隆·马斯克
抄送:山姆·泰勒
时间:2016 年 9 月 16 日 14:37(周五)
以下是微软的条款:用 1000 万美元,购买价值 6000 万美元的计算资源,我们也可以对他们在云上部署的内容提出建议。如果你有什么反馈,请告诉我。
山姆
微软 /OpenAI 条款
微软与 OpenAI:加速 Azure 和 CNTK 上深度学习的发展
此《非约束性条款清单》(以下简称 “条款清单”)由微软公司(“微软”)与 OpenAI(“OpenAI”)共同拟定,列出了双方潜在商业合作关系的条款。该条款清单用于讨论,并未涉及在签署具有法律约束力的商业协议(“商业协议”)之前需要达成一致的所有事项。该条款清单的存在及内容,以及与之相关的所有讨论,均属于双方于 2016 年 3 月 17 日签署的保密协议(“NDA”)下所定义和约束的保密信息。除保密义务外,本条款清单本身并不具约束力。
合作目的
OpenAI 专注于以造福人类的方式推动深度学习发展。微软希望与 OpenAI 合作,加速微软 Azure 上的深度学习发展。为此,微软将以优惠价格向 OpenAI 提供 Azure 的计算资源,使 OpenAI 能够有效地推进使命。
合作目标
微软
- 加速 Azure 上的深度学习发展
- 吸引下一代开发者群体
- 共同宣传并推动 Azure 上的深度学习发展
OpenAI
- 在协议期内(3 年)获得大幅折扣的 GPU 计算资源:价值 6000 万美元的计算资源,仅需支付 1000 万美元,用于其非营利研究
- 宣传和推广 OpenAI 使用 Azure
参与方(法律实体):微软、OpenAI
拟定协议签署日期:2016 年 9 月 19 日
拟定协议生效日期:同协议签署日期
法律文件起草方:微软
合作期限: 3 年
工程条款
- 计算资源: 微软将按照商定的价格向 OpenAI 提供 GPU 计算资源,支持他们在 Azure 上运行任务。
- 地理位置: 微软将根据容量和可用性自行决定计算资源的位置,并向 OpenAI 提供部署策略和时间表。
- 服务水平协议: 微软保证,OpenAI 在同一可用性集(Availability Set)部署两个或更多实例的虚拟机,在 99.95% 的时间内,至少有一个可用。微软会遵守 Azure 官方网站上的服务水平协议 。[链接失效]
- 评估、推广和使用 CNTK v2、Azure Batch 和 HD-Insight:OpenAI 将评估 CNTK v2、Azure Batch 和 HDInsight,用于研究并提供改进建议。OpenAI 与微软合作,在其研究和开发者生态系统中推广这些工具,并将微软 Azure 作为首选的公共云平台。在适合研究的前提下,OpenAI 可自行决定采用这些产品。
- 扩展计划:微软和 OpenAI 合作制定扩展计划,以平衡各集群的容量。初始扩展时间表为至少 30 天,并根据微软未来的容量扩展计划调整。
- 容量分配:OpenAI 将在短期内获得位于美国南部中部的试用集群的容量。2016 年四季度上线的 K80 GPU 集群将为 OpenAI 提供配额,预计 2017 年一季度(自然年)进一步扩大容量。
财务条款
- 微软以大幅折扣的方式提供价值 6000 万美元的计算资源(包括 GPU),OpenAI 在合作期内支付 1000 万美元。如果合作期结束时,OpenAI 使用的计算资源少于 1000 万美元,OpenAI 要支付未使用部分的差价。
营销与公关条款
微软和 OpenAI 承诺共同推广 Azure 平台的深度学习能力,并达成以下共识:
- Ignite:在微软 Ignite 活动中宣布合作伙伴关系,由双方高管(OpenAI 的山姆·阿尔特曼和微软的萨提亚·纳德拉)共同见证合作启动。
- 公关:微软和 OpenAI 将共同发布关于合作伙伴关系的联合新闻稿,并制作博客文章和视频等宣传材料。
Re:微软托管协议
发件人:埃隆·马斯克
收件人:山姆·阿尔特曼
抄送:山姆·泰勒
时间:2016 年 9 月 16 日 15:10(周五)
这真让我感到恶心。这太扯淡了,完全符合我对他们的预期。
评估、推广和使用 CNTK v2、Azure Batch 和 HD-Insight:OpenAI 将评估 CNTK v2、Azure Batch 和 HDInsight,用于研究并提供改进建议。OpenAI 与微软合作,在其研究和开发者生态系统中推广这些工具,并将微软 Azure 作为首选的公共云平台。在适合研究的前提下,OpenAI 可自行决定采用这些产品。
可以这么说,我们愿意让微软把闲置的计算资源捐赠给 OpenAI,并让外界知道这一点,但我们不想签署任何合同或同意 “推广”。他们可以随时终止支持,我们也可以随时退出。
Re:Re:微软托管协议
发件人:山姆·阿尔特曼
收件人:埃隆·马斯克
抄送:山姆·泰勒
时间:2016 年 9 月 16 日 15:33(周五)
读到那部分我也有同样的反应,他们已经同意删除这一条。
我们最初只是希望得到捐赠闲置计算资源,但团队希望确保有足够的资源。我会和微软谈,确保没有任何附加条件。
Re:Re:Re:微软托管协议
发件人:埃隆·马斯克
收件人:山姆·阿尔特曼
抄送:山姆·泰勒
时间:2016 年 9 月 16 日(周五)
我们应该低调处理这事。不要有任何承诺,也不签合同。
Re:Re:Re:Re:微软托管协议
发件人:山姆·阿尔特曼
收件人:埃隆·马斯克
抄送:山姆·泰勒
时间:2016 年 9 月 16 日 18:45(周五)
好的,我会看看这个方向上能争取到多少资源支持。
Re:Re:Re:Re:Re:微软托管协议
发件人:山姆·泰勒
收件人:埃隆·马斯克
时间:2016 年 9 月 20 日 20:05(周二)
以 “由 OpenAI 全权决定、努力保证诚信” 为前提,微软现在愿意达成一项总额为 5000 万美元的协议,并且双方可随时终止合作。没有推广要求,没有附加条件,也不会让我们看起来像微软的营销工具。可以推进了吗?
Re:Re:Re:Re:Re:Re:微软托管协议
发件人:埃隆·马斯克
收件人:山姆·泰勒
时间:2016 年 9 月 21 日 0:09(周三)
只要他们不在宣传中主动提到这件事,我没意见。如果能避免看起来像微软的 “营销工具”,这比 5000 万美元更有价值。
2017 年(上):首席科学家的双周通报 – 确定 AGI 研究计划 – 初步成果
双周通报
主题:双周通报(OpenAI 披露)
发件人:伊利亚·苏茨克维
收件人:格雷格·布洛克曼、埃隆·马斯克
时间:2017 年 6 月 12 日 22:39(周一)
这是我们双周通报的第一篇。我们的目标是让你随时了解最新情况,并帮助我们更好地利用你到公司的机会。
计算资源:
- “计算资源” 有两种用处:一种是快速运行大型实验,另一种是并行运行多个实验。
- 95% 的进展来自能快速运行大型实验的能力,并行运行多个实验的用处要小得多。
- 在过去,一个大型集群可以帮你运行更多实验,但它不能帮你快速运行单个大型实验。
- 因此,学术实验室曾经能与 Google 竞争,因为 Google 唯一的优势是能并行运行多个实验。这并不是一个很大的优势。
- 最近,将数百个 GPU 和数百个 CPU 结合起来变成可能,可以运行一个比单机实验大 100 倍的实验,花的时间也大致相当。这得益于许多不同团队的努力。结果是,为了保持竞争力,最小计算集群的规模要比以前大 10 到 100 倍。
- 目前,仅仅是用非常小的神经网络策略开发的小型 1v1 模式,每个 Dota 实验就要使用超过 1000 个内核。仅仅是为了赢得 1v1 模式,我们就需要更多计算资源。要赢得完整的 5v5 模式,我们只要运行更少的实验,但每个实验的规模至少大一个数量级(可能更多!)。
- 总结:关键在于我们实验的规模和速度。在过去,一个大型集群无法让任何人快速运行更大的实验。今天,借助大型集群,我们可以将一个大型实验的运行速度提高 100 倍。
- 想要在理论上完成我们的项目,我们要在接下来的 1 到 2 个月把 GPU 的数量增加 10 倍(我们已有足够的 CPU)。我们将在面对面会议中讨论具体细节。
Dota 2:
- 我们将在 1 个月内解决游戏的 1v1 版本。游戏粉丝们非常关心 1v1 模式。
- 我们现在已经到了这样一个阶段:* 单个实验 * 消耗数千个内核,增加更多的分布式算力能够提高性能。
- 这里有一个很酷的视频,展示了我们的机器人做了一些相当聪明的事情:[链接失效]
快速学习新游戏:
- 基础设施工作正在进行中
- 我们达到了几个基准线
- 根本来说,我们还没有达到理想状态,正在调整。
机器人:
- 当前状态:HER 算法([链接失效])可以快速学习解决许多之前无法解决的低维度机器人任务。它并不是显而易见的,但简单且有效。
- 6 个月内,我们将用 HER 算法和 sim2real 方法(如 [链接失效])完成以下至少一个目标:单手解魔方、转笔([链接失效])、健身球(Chinese ball rotation)([链接失效])。
- 上述任务将在机器人手上应用:[Google Drive 链接] [这个视频是人工控制的,而不是算法控制。需要登录 OpenAI 账户才能查看视频]。
自我对弈作为通向 AGI 的关键路径:
- 多智能体环境中的自我对弈是神奇的:如果你将智能体放到一个环境中,无论它们多聪明(或不聪明),环境都会给它们恰到好处的挑战,它们只有打败竞争对手才能应对。例如,如果你有一群孩子,他们会觉得彼此是竞争关系;同样,一群具有相似智力的超级智能体也会如此。因此,自我对弈的 “解决办法” 就是变得越来越聪明,没有界限。
- 自我对弈让我们 “从无到有”。一个竞争游戏的规则可以很简单,但玩这个游戏的最佳策略却可能极为复杂。(激励示例:[链接失效])。
- 在模拟环境中训练智能体,可以用对抗战斗(如摔跤)培养出非常强的灵活性。这里有一个我们训练的蚂蚁机器人的搏斗视频:<****>
- 当前的自我对弈工作:让智能体学习开发一种语言。(动图在 [链接失效] 中)智能体正在做 “工作中的事”,这还是一个进行中的工作。
我们还有一些更酷的小项目,将在取得重要成果时提供更新。
Re:双周通报
发件人:埃隆·马斯克
收件人:伊利亚·苏茨克维
抄送:格雷格·布洛克曼
时间:2017 年 6 月 12 日 22:52(周一)
谢谢,这是一个很棒的更新。
Re:Re:双周通报
发件人:埃隆·马斯克
收件人:伊利亚·苏茨克维
抄送:格雷格·布洛克曼
时间:2017 年 6 月 13 日 10:24(周二)
好吧。让我们找出最便宜的方式,确保计算资源不会成为瓶颈……
研发 AGI 的事项
主题:研发 AGI 的事项
发件人:伊利亚·苏茨克维
收件人:埃隆·马斯克、格雷格·布洛克曼
时间:2017 年 7 月 12 日 13:36(周三)
我们总是认为问题很难,因为聪明人已经在这些问题上努力了很长时间,却没有成功。人们很容易认为 AI 也是这样。然而,过去 5 年的进展表明,关于 AI 的最早、最简单的想法——神经网络——一直是正确的,而我们需要现代的硬件来让它们发挥作用。
从历史来看,AI 的突破总是发生在那些花 7 到 10 天训练的模型上。这意味着,硬件定义了 AI 突破的潜在边界。这更多是关于人类心理的说法,而不是关于 AI 的。如果实验时间超过这个范围,就很难把所有状态都记在脑海中,并反复迭代和改进。如果实验时间更短,你只要用更大的模型就行了。
AI 的进步不完全是一个硬件游戏,就像物理学不完全是粒子加速器的游戏一样。但如果我们的计算机太慢,再多的聪明人也无法实现 AGI,就像如果粒子加速器太小,我们就无法弄清楚宇宙是如何运作的。足够快的计算机是一个必要条件,过去所有的失败可能都是因为计算机速度不够,无法支持 AGI 实现。
直到最近,还没有办法将许多 GPU 结合起来加速实验。因此,在 “有效算力” 上,学术界与工业界是相同的。但今年早些时候,Google 使用了比通常情况下多两个数量级的计算资源改进了分类器架构,这通常需要研究人员花大量时间。几个月前,Facebook 发布一篇论文,展示如何在 256 个 GPU 上以接近线性加速的方式训练一个大型 ImageNet 模型(前提是使用一个特别配置的集群,具有高带宽的互联网络)。
过去 1 年,Google Brain 取得了令人印象深刻的成果,因为它们拥有比其他机构多一个或两个数量级的 GPU。我们估计,Brain 拥有大约 10 万块 GPU,FAIR 拥有大约 1.5 万到 2 万块,DeepMind 为每个研究员分配 50 块 GPU,并从 Brain 为 AlphaGo 租用了 5000 个 GPU。 显然,当有人在 Google Brain 运行神经网络时,它会消耗掉 DeepMind 所有人的配额。
我们仍然缺少研发 AGI 需要的几个关键想法。我们如何利用系统对 “事物 A” 的理解来学习 “事物 B”(例如,我能否教会一个系统先学会计数,再学会乘法,然后解决文字问题)?我们如何开发具有好奇心的系统?我们如何训练一个系统,去发现各种现象的深层次原因——让它像科学家一样工作?我们如何开发一个没有经过精确训练,就能够适应新情况的系统(例如,在陌生的情境中应用熟悉的概念)?但是,如果有足够的硬件,能花 7 到 10 天运行相关实验,历史表明,就能找到正确的算法,就像物理学家只要拥有足够大的粒子加速器,他们就会迅速弄清楚宇宙是如何运作的一样。
有充分的理由相信,在未来 4 到 5 年,深度学习硬件每年都会加速 10 倍。世界已经习惯了相对悠闲的摩尔定律节奏,并且没有准备好迎接这种硬件加速带来的能力剧变。这种加速的发生,并不是因为芯片有了更小的晶体管或更快的处理速度。而是像大脑一样,神经网络本质上是可以并行化的,正在开发中的高度并行硬件将会做好这一点。
接下来 3 年,机器人技术应该能彻底解决,AI 应该会解决一个长期未被证明的定理,在编程竞赛中稳定获胜,应该会出现令人信服的聊天机器人(尽管没有哪个能通过图灵测试)。仅仅 4 年,每一个过夜的实验,都可能使用巨大的算力,如果拥有正确算法,人们一觉醒来可能会面临 AGI 的到来——接下来的 2 到 4 年内,可能会在对抗的多智能体模拟实验中找出这个算法。
要从事研发安全 AGI 的工作,OpenAI 需要:
- 每年都取得最好的 AI 成果。尤其是随着硬件性能指数级增长,我们要取得更好的成果。以当前的算力水平,我们的 DOTA 和魔方项目将取得令人瞩目的成绩。明年的项目更能突破常规,但主要取决于我们能有多少算力。
- 尽快将我们的 GPU 集群从 600 块 GPU 增加到 5000 块。按照上限估算,明年需要 1200 万美元的资本支出和 500 万到 600 万美元的运营支出。接下来每年,我们都需要翻倍增加硬件投入。但我们有理由相信,最终实现 AGI 需要的硬件成本不会超过 100 亿美元。
- 扩大我们的团队规模:2017 年 7 月是 55 人,到 2018 年 1 月增加到 80 人,再到 2019 年 1 月的 120 人,最终在 2020 年 1 月达到 200 人。我们已经学会了如何组织当前的团队,现在的瓶颈主要是能尝试新想法的聪明人不多。
- 锁定压倒性的硬件优势。<****> 说,他可以在 2 年内开发出等效于 TPU 3.0 的算力芯片,(如果数量足够)可以让我们的算力与 Google 持平。Cerebras (注:成立于 2015 年的 AI 芯片公司)的设计远远领先于它们俩,如果 Cerebras 的设想成真,拥有它的独家供应将让我们大幅领先竞争对手。经过更多的尽职调查,我们对如何做到这一点有了完整的想法,最好通过电话讨论。
2/3/4 最终都需要大量资金。如果我们能够筹集到资金,就有机会为 AGI 的诞生设定初始条件。资金需求将与成果规模扩大一起增长。我们需要讨论获得相关资金的选项,这是我们当前最大的不可控因素。
本周进展:
- 我们已经击败了我们最强的 1v1 测试玩家(他在北美 1v1 排名前 30,能以大约 30% 的胜率击败北美第一的 1v1 玩家)。但机器人仍然可以被一些特殊的玩法利用。我们正在研究这些漏洞并努力解决它们。
周六会再赛一场,这是我们击败顶级测试选手的第一场比赛:[链接失效] - 每多训练一天,机器人就会变得更强大,也更难被利用。
机器人解决魔方问题取得进展。 - 改进后的解魔方模拟情况,由人类远程操控:<****>
我们防御对抗性样本(注:迷惑 AI 系统的数据)的研我们将在 8 月底前,完全解决对抗性样本问题。
短信交流记录
新增参与者:
希冯·齐里斯(Shivon Zilis),2016 年加入 OpenAI,2017 年加入特斯拉,担任项目总监,后持续在 OpenAI 活跃,同时帮马斯克监管 Neurlink 等公司;2019 年加入 OpenAI 董事会;2021 年为马斯克生下双胞胎;2023 年退出 OpenAI 董事会。
短信交流记录(OpenAI 披露)
参与人:格雷格·布洛克曼、希冯·齐里斯
时间:2017 年 7 月 13 日(周四)
OpenAI 注:格雷格向希冯·齐里斯(她是马斯克和 OpenAI 的联络人)发送了当天与马斯克会面的要点。
希冯·齐里斯(22:35):
进展如何?
格雷格·布洛克曼(22:35):
进展顺利!!
Ocean:同意在 Ti 国际邀请赛(注:Dota 2 最大的年度赛事)期间公布;他(注:埃隆)建议与获胜队伍中最好的选手对战,我觉得这个主意很棒。我请他打电话给 <****>,他说他会的。我认为这比我们原计划要好——原计划是提前宣布我们已经击败了最强的 1v1 人类选手,然后在 Ti 现场的一个设备上展示我们的机器人。
GPUs:说按我们需要的去推动
Cerebras:我们简单讨论了反向合并的想法。 Cerebras 话题之后,谈话转向了组织架构的讨论(他说非营利组织在早期确实是正确的选择,但现在可能不是最佳选择——伊利亚和我因为多个原因也同意这个观点)。他说他要去太阳谷请 <****> 捐钱。
希冯·齐里斯(22:43):
<****> 和其他人。会努力为你们争取。
双周通报
主题:双周通报
发件人:伊利亚·苏茨克维
收件人:埃隆·马斯克、格雷格·布洛克曼
时间:2017 年 7 月 20 日 13:56(周四)
- 机器人手已经能在模拟环境中解开魔方:
[网页链接](需要 OpenAI 登录)
实体机器预计 9 月也能完成同样的任务
- 1v1 机器人已经没有容易利用的漏洞
现在无法用 “非传统” 的策略击败它
有望 1 个月内击败所有人类
- 运动竞技机器人
[网页链接](需要 OpenAI 账户登录)
- 发布了一个对抗示例,能从所有角度同时欺骗摄像头:
[链接失效]
- DeepMind 直接用我们的算法生成跑酷结果:
DeepMind 的结果:https://deepmind.com/blog/producing-flexible-behaviours-in-simulated-environments/
DeepMind 的技术论文明确提到,他们直接使用了我们的算法。
关于我们算法的博客文章:[链接失效](DeepMind 使用的是旧版)。
- 接下来的计划:
设计营利架构
与 Cerebras 谈判合并条款
对 Cerebras 进行更多尽职调查
2017 年(下):马斯克提出转型营利架构 – 争控制权 – 阿尔特曼赢了
北京希望 2030 年在中国制造 AI
主题:北京希望 2030 年在中国制造 AI (OpenAI 披露)
发件人:埃隆·马斯克
收件人:格雷格·布洛克曼、伊利亚·苏茨克维
时间:2017 年 7 月 21 日 3:34(周五)
他们会想尽办法拿到我们开发的东西。这可能是要改变路线(注:指更封闭、转营利公司)的另一个原因。
[新闻报道链接]
Re:北京希望 2030 年在中国制造 AI
发件人:格雷格·布洛克曼
收件人:埃隆·马斯克
抄送:伊利亚·苏茨克维
时间:2017 年 7 月 21 日 13:18(周五)
100% 同意。我们认为发展路径必须是:
AI 研究非营利组织(到 2017 年底)
AI 研究 + 硬件营利公司(从 2018 年开始)
政府项目(时间:??)
-gdb
Re:Re:北京希望 2030 年在中国制造 AI
发件人:埃隆·马斯克
收件人:格雷格·布洛克曼
抄送:伊利亚·苏茨克维
时间:2017 年 7 月 21 日 13:18(周五)
我们周六或周日聊一下吧。我有一个初步的计划跟你们讨论一下。
明天下午
主题:明天下午(OpenAI 披露)
发件人:埃隆·马斯克
收件人:格雷格·布洛克曼、伊利亚·苏茨克维、山姆·阿尔特曼
抄送:<****>、希冯·齐里斯
时间:2017 年 8 月 28 日 00:01(周一)
你们明天下午可以见面或电话聊一下吗?
是时候让 OpenAI 迈出下一步了。这就是触发事件。(注:OpenAI 的 AI 在 Dota 1v1 比赛中击败了人类最强选手。)
OpenAI 笔记
主题:OpenAI 笔记
发件人:希冯·齐里斯
收件人:埃隆·马斯克
抄送:山姆·泰勒
时间:2017 年 8 月 28 日 00:01(周一)
埃隆 ,
正如我之前提到的,格雷格提议这个周末讨论一些事项。伊利亚也加入了讨论,他们基本上分享了他们在想的所有内容。这是那次对话的概要,归为以下 7 个未解问题,我附上了他们的评论。请注意,我并不是支持这些,只是将我听到的信息整理并分享出来。
1. 短期控制结构?
- 是否需要绝对控制权?他们在想,是否可以设定某种创造性的 “否决条款”,在几乎其他人都反对既定方向时进行干预(不只是他们 3 人 [注:指格雷格、伊利亚和阿尔特曼],还可能是更广泛的董事会)?
2. 控制权的持续时间和过渡安排?
- 非谈判条款,似乎要必须达成一个坚不可摧的协议,以确保 AGI 创造出来时,绝不会由某一个人拥有绝对控制权。这意味着无论他们 3 人发生什么情况,都必须保证 2-3 年之后,公司控制权将被分散。
3. 投入的时间?
- 埃隆计划投入多少时间,实际上能投入多少时间?时间范围是多大?是每周一小时、十小时,还是介于两者之间?
4. 如何安排投入的时间?
- 他们不确定,埃隆在其他公司是如何安排时间的,以及他希望如何在这里安排时间。格雷格和伊利亚有信心可以处理软件 / 机器学习方面的工作,但在硬件方面不太自信。他们希望埃隆能在这方面投入时间,因为这是他们的薄弱环节,但同时也希望他能在他感兴趣的所有领域提供帮助。
5. 投入的时间与控制权的比例?
- 他们可以接受投入更少时间 / 更少的控制权,或投入更多时间 / 更多的控制权,但无法接受投入更少时间 / 更多的控制权。他们担心如果投入时间太少,就无法充分讨论相关的信息做出正确的决策。
6. 股权分配?
- 格雷格本能地倾向平等分配。我个人不赞成,他也寻求并愿意听取其他观点来调整他的想法。
- 格雷格提到,伊利亚放弃了在 Google 赚钱的机会,实际上已经贡献了数百万美元。
- 他们担心团队规模太小。
7. 融资策略?
- 他们的直觉是,一开始就筹集超过 1 亿美元。他们认为单是数据中心的成本就需要这么多,因此他们倾向于筹集更多资金。
结论:
不确定这些是否可行,但根据他们抛出的所有数据点,以下情况似乎能打消他们当前的顾虑:
- 每周投入 5-10 小时,拥有近乎完全的控制权,或者投入更少时间,拥有更少的控制权。
- 在极端情况下,为格雷格 / 山姆 / 伊利亚之外的人设立一个创造性的短期否决权。
- 无论格雷格 / 山姆 / 伊利亚的情况如何,都要确保一个为期 2-3 年的有限控制协议。
- 初步筹资 2 亿到 10 亿美元。
- 格雷格和伊利亚的股权最终稍微高于埃隆的 1/10(这一点仍然模糊)。
- 扩大团队规模。
Re:OpenAI 笔记
发件人:埃隆·马斯克
收件人:希冯·齐里斯
抄送:山姆·泰勒
时间:2017 年 8 月 28 日 00:08(周一)
这太烦人了。请鼓励他们去创办一家公司吧。我已经受够了。
短信交流记录
短信交流记录(OpenAI 披露)
参与人:格雷格·布洛克曼、希冯·齐里斯
时间:2017 年 9 月 4 日(周四)
OpenAI 注:此前六周,布洛克曼等人与马斯克就营利组织条款谈判。马斯克要求获得多数股权。马斯克在一次电话中说,他不关心股权,而是要为在火星上建城市积累 800 亿美元。
格雷格·布洛克曼(20:19):
事实上,我对于提议的股权比例和董事会控制权的细节还有点困惑。
听起来埃隆始终会获得最大的控制权(3 个席位或 25% 的席位),且所有权力归属董事会。
希冯·齐里斯:
是的。我猜测,他原本打算在最初阶段给你们否决权条款,但我不太确定。
格雷格·布洛克曼:
那拥有一个特定百分比的股权会有什么权力?
听起来是要设立固定的董事会成员,或者至少是从特定群体中选出董事会成员。
所以我很想听听具体细节。另外我猜董事会成员是偶数时,50% 就意味着无法采取行动?
希冯·齐里斯:
我认为它很快就会增长到至少 7 人。问题不在于此,而是在于它何时会过渡到正常的董事会,如果确实会过渡的话。
听起来他对持有 50%~60% 的股权不愿意让步,所以讨论是否有多数控制权已经没有意义了。
Re:当前状态(OpenAI 披露)
发件人:埃隆·马斯克
收件人:伊利亚·苏茨克维
抄送:格雷格·布洛克曼
时间:2017 年 9 月 13 日 12:40(周三)
听起来不错。这三个普通股董事席位(你、格雷格和山姆)应该由普通股股东选举产生。实际上这些席位都是你们的,除非发生不太可能的情况:要么是随着时间推移,你们失去了大部分普通股股东的信任,要么是你们自愿离开公司。
我认为 A 轮优先股(我占绝大多数)应该有权任命四个(而不是三个)董事席位。我不会想立即任命这些董事。就像我说的,我会拥有公司起步阶段的控制权,但这种情况很快就会改变。
初步的目标是组建一个 12 人的董事会(如果这个董事会最终真的要决定世界命运的话,可能会达到 16 人),每位董事都要深入理解技术,至少要对 AI 有基本认识,并具有坚定且明智的道德观。
除了 A 轮的四个席位和普通股的三个席位之外,每有一个新的领投方 / 盟友可能都会有一个董事席位。但是,新增的董事会成员不能有两个或更多董事会成员反对。移除董事会成员也遵循同样的规则。
我们还会想要增加一些与投资方无关的独立董事。适用相同的规则:增加或移除都不能有两个或更多董事会成员反对。
我太累了,不想把事情搞得太复杂。这个安排看起来基本是对的。如果董事会有 16 人,我们将拥有 7/16 的投票权,而我将拥有 25% 的控制权,这是我的底线。对我来说,这听起来是合适的。如果我们邀请的所有董事会成员最后都反对我们,那我们可能确实该接受失败。
如前所述,根据我的董事会经验(假设董事会由优秀、聪明的人组成),他们都是理性且通情达理的。基本不会出现依靠单个董事投票来决定胜负的激烈对抗情况,所以这些(投票权的安排)几乎肯定(希望如此)会变成一个无关紧要的问题。
最后说一句,跟你们讨论股权和董事会的事情,我觉得特别顺畅,心里很有底。
如果你们对上面的安排有什么想法,直接跟我说。
埃隆
OpenAI 注:马斯克说,他要当 OpenAI 的 CEO。2017 年 9 月 15 日,马斯克安排下属创办名为 Open Artificial Intelligence Technologies, Inc. 的营利公司。
坦诚的想法
主题:坦诚的想法
发件人:伊利亚·苏茨克维
收件人:埃隆·马斯克、山姆·阿尔特曼
抄送:格雷格·布洛克曼、山姆·泰勒、希冯·齐里斯
时间:2017 年 9 月 20 日 14:08(周三)
埃隆,山姆,
这是格雷格和我参与过的最重要的对话,如果项目成功,这将是全世界见证的最重要的对话。同时,对我们每个人来说,这也是一场深刻且私密的对话。
昨天,当我们考虑最终承诺时,我们意识到我们犯了一个错误。我们有一些重要的担忧没向你们提出。我们之所以没有提出来,是因为我们害怕:害怕伤害彼此的关系,害怕你们会看低我们,或者失去与你们合作的机会。
我们的担忧可能是无法解决的。我们真心希望不是这样,但我们知道,如果我们现在不讨论这些问题,我们肯定会失败。我们也相信,如果我们能够共同努力,还是有希望解决这些问题,继续合作下去。
埃隆:
我们真的很想与你合作。我们相信,如果我们联手,成功的机会将是最大的,潜力也是最大的,这一点毫无疑问。我们想和你一起工作的愿望非常强烈,以至于我们愿意放弃股权、个人控制权,甚至让自己随时可以被解雇——只要能和你合作,我们不惜一切代价。
但我们意识到,我们思考控制权对世界的影响时过于草率了。似乎太自大了,我们没有认真考虑成功可能带来的影响。
当前的架构为你提供了一条路径,你最终能拥有 AGI 的单方面绝对控制权。你说过,你不想控制最终的 AGI。但在这次谈判中,你向我们表明,绝对控制权对你来说极其重要。
例如,你说你需要成为新公司的 CEO,这样每个人都会知道你是负责人,尽管你也说过你讨厌做 CEO,宁愿自己不是 CEO。
因此,我们担心,随着公司在 AGI 方面取得真正进展,你会选择保留绝对控制权,哪怕你现在说不想这么做。我们不同意你的说法——即我们能够选择离开公司是我们最大的权力——因为一旦公司真正走向 AGI,公司将比任何人都重要。
OpenAI 的目标是让未来变得美好,避免 AGI 独裁。你担心 Demis (杰米斯·哈萨比斯,DeepMind 创始人)可能会创造一个 AGI 独裁。我们也是。所以,创造一个你可能成为独裁者的架构显然是个坏主意。尤其是我们还可以创造一个避免这种可能的其他架构。
我们还有一些较小的担忧,但我们认为在这里提出来是有意义的:
如果我们决定收购 Cerebras,我强烈感觉这将通过特斯拉完成。但如果我们也可以通过 OpenAI 做到这一点,为什么要用特斯拉呢?具体来说,问题在于,特斯拉有为股东最大化收益的责任,这与 OpenAI 的使命不一致。因此,最终结果可能不会对 OpenAI 最有利。
我们认为,OpenAI 作为非营利组织之所以成功,是因为你和山姆都参与其中。山姆真正地起到了制衡你的作用,这非常有效。至少到目前为止,格雷格和我在制衡你方面要差得多。我们认为这一点甚至在这次谈判中就得到了体现:我们差点准备搁置长期 AGI 控制权的问题,而山姆坚持了自己的立场。
山姆:
当格雷格和我遇到困难时,你总能提出深刻而正确的答案。你已经非常深入和彻底地思考了这个问题的解决方案。
格雷格和我懂技术执行,但我们不知道架构的决策在接下来的 1 个月、 1 年或 5 年内将如何发展。
但在这个过程中,我们无法完全信任你的判断,因为我们不了解你的权衡逻辑。
我们不明白为什么 CEO 的头衔对你如此重要。你提到的理由一直在变,我们很难理解什么在驱动它。
AGI 真是你的主要目标吗?它与你的政治野心有什么关联?你的想法如何随着时间变化?
格雷格和伊利亚:
在这次谈判中,我们也有失败之处,我们在这里列出一些(埃隆和山姆,我们确信你们会有很多补充 ……):
在这次谈判中,我们意识到,我们让 2-3 年后的财务回报影响了我们的决策。这就是为什么我们在控制权问题上坚持——我们觉得股权已经足够好,为什么还要担心呢?但这种态度是错的,就像那些认为 AI 安全不是问题的 AI 专家一样,因为他们根本不相信自己会开发出 AGI。
我们在谈判中没有完全说出真相。虽然我们有各种借口,但这种行为对整个过程造成了伤害,我们可能会因此失去山姆和埃隆的支持。
目前的问题已经足够多,因此我们认为非常有必要见面并谈清楚。如果我们不这么做,我们的合作就不会成功。我们四个人今天能见面吗?如果我们都说出真实的想法,并解决问题,我们要创立的公司更有可能承受它未来将面对的强大挑战。
格雷格 & 伊利亚
Re:坦诚的想法
发件人:埃隆·马斯克
收件人:伊利亚·苏茨克维
抄送:山姆·阿尔特曼、格雷格·布洛克曼、山姆·泰勒、希冯·齐里斯
时间:2017 年 9 月 20 日 14:17(周三)
各位,我受够了。我已经忍无可忍了。要么你们自己去做点什么,要么继续以非营利组织的形式运营 OpenAI。在你们做出明确承诺留在 OpenAI 之前,我不会再为 OpenAI 提供资金。否则我就是一个傻瓜,白白资助你们创业。讨论到此为止。
Re:Re:坦诚的想法
发件人:埃隆·马斯克
收件人:伊利亚·苏茨克维
抄送:山姆·阿尔特曼、格雷格·布洛克曼、山姆·泰勒、希冯·齐里斯
时间:2017 年 9 月 20 日 15:08(周三)
明确一点,这并不是要求你们接受之前讨论内容的最后通牒。那些内容已经不再是可选项了。
Re:Re:Re:坦诚的想法
发件人:山姆·阿尔特曼
收件人:埃隆·马斯克、伊利亚·苏茨克维
抄送:格雷格·布洛克曼、山姆·泰勒、希冯·齐里斯
时间:2017 年 9 月 21 日 9:17(周四)
我对非营利架构仍然充满热情!
非营利组织
新增参与者:
霍尔登·卡诺夫斯基(Holden Karnofsky),美国专注研究和资助的非营利组织 Open Philanthropy 的联合创始人。2017 年向 OpenAI 捐赠 3000 万美元,成为董事,后来退出
主题:非营利组织
发件人:希冯·齐里斯
收件人:埃隆·马斯克
抄送:山姆·泰勒
时间:2017 年 9 月 22 日 9:50(周五)
嗨,埃隆,
简单汇报一下,格雷格和伊利亚说他们希望继续保持非营利组织架构。他们明白,要让这个架构发挥作用,他们需要提供一个保证,(你们)不会去做其他事情。
我还没有和阿尔特曼谈过,但他说今天下午可以聊,之后我会汇报我听到的任何消息。
如果有任何我能帮忙的地方,请告诉我。
Re:非营利组织
发件人:埃隆·马斯克
收件人:希冯·齐里斯
抄送:山姆·泰勒
时间:2017 年 9 月 22 日 10:01(周五)
好
Re:Re:非营利组织
发件人:希冯·齐里斯
收件人:埃隆·马斯克
抄送:山姆·泰勒
时间:2017 年 9 月 22 日 17:54(周五)
来自阿尔特曼:
架构:非常愿意保持非营利组织并继续支持。
信任:他承认,在这个过程中,他和格雷格、伊利亚之间失去了大量信任。他觉得,他们的信息沟通经常不一致,有时显得幼稚。
休假:山姆告诉格雷格和伊利亚,他需要休假 10 天来思考。他需要弄清楚自己对他们的信任程度,以及是否愿意继续与他们合作。他说会在 10 天后回来,到时候决定他想投入多少时间。
融资:格雷格和伊利亚认为,如果有明确的努力方向,可以通过捐赠筹集到数亿美元。山姆认为筹集数千万美元是可行的,但更多的资金无法明确。他提到霍尔登(Holden)对转向营利架构不满,所以可能在 OpenAI 保持非营利架构的情况下提供更多资金,但尚未给出明确承诺。山姆随后提到,乐观来看,金额可能达到 1 亿美元。
沟通:格雷格和伊利亚在整个过程中,将团队的每个动态告知所有成员,让山姆不满。他认为这分散了团队的注意力。另一方面,在过去的一天里,几乎所有人都被告知不会实行营利架构,对此他感到有些满意,因为他希望团队能够重新专注工作。
希冯
2018 年:考虑发币 – OpenAI 宪章 – 马斯克退出董事会
ICO
主题:ICO
发件人:山姆·阿尔特曼
收件人:埃隆·马斯克
抄送:格雷格·布洛克曼、伊利亚·苏茨克维、山姆·泰勒、希冯·齐里斯
时间:2018 年 1 月 21 日 17:08(周日)
埃隆—
提醒一下,我和一些安全团队的成员谈过,他们对 ICO 以及未来可能出现的意外影响有很多担忧。(注:ICO ,Initial Coin Offering 是企业或项目方发行基于区块链的数字代币,向投资者筹集资金。)
我计划明天和整个团队讨论,并征求意见。我会强调需要保密,但我认为让大家早点参与讨论并表达意见非常重要。
山姆
Re:ICO
发件人:埃隆·马斯克
收件人:山姆·阿尔特曼
抄送:格雷格·布洛克曼、伊利亚·苏茨克维、山姆·泰勒、希冯·齐里斯
时间:2018 年 1 月 21 日 17:56(周日)
完全同意
顶级 AI 机构现状
主题:顶级 AI 机构现状
发件人:安德烈·卡帕西
收件人:埃隆·马斯克
抄送:希冯·齐里斯
时间:2018 年 1 月 31 日 13:20(周三)
ICLR 会议(这是专注于深度学习领域的顶级会议,虽然 NIPS 规模更大,但研究主题更分散)刚刚公布录用和拒稿的决定。有人做了很好的图表,展示了当前深度学习 /AI 研究的分布状况。虽然这不是一个完美的衡量标准,因为并非所有公司都会优先考虑发表论文,但它具有一定的参考意义。
以下是一个图表,展示了各个机构论文的总数(按口头报告、海报展示、研讨会和拒稿分类):
简单来说,Google 以 83 篇论文提交量占据主导地位。学术机构(伯克利 / 斯坦福 /CMU/MIT)紧随其后,每个机构的提交量在 20 至 30 篇之间。
我只是觉得这是一个有趣的切面,展示目前研究活动的集中情况。完整数据可以在这里看到:[链接失效]
-安德烈
Re:顶级 AI 机构现状
发件人:埃隆·马斯克
收件人:格雷格·布洛克曼、伊利亚·苏茨克维、山姆·阿尔特曼
抄送:山姆·泰勒、希冯·齐里斯、安德烈·卡帕西
时间:2018 年 1 月 31 日 14:02(周三)
与 Google 相比,OpenAI 显然走在了一条必败的道路上。如果不立刻采取重大行动,除了 Google 之外的所有人,都将变得无足轻重。
我已研究过 ICO,不会支持它。在我看来,这只会导致 OpenAI 及所有与 ICO 相关的人名声变差。如果某件事情看起来好得不像真的,那它很可能就不是真的。在我看来,这是不明智地偏离方向。
我能想到的唯一出路是大幅扩张 OpenAI 和特斯拉的 AI 部门。也许两者可以同时进行。对于 OpenAI 来说,这需要大幅增加捐赠资金并吸引非常有公信力的人加入董事会。目前的董事会情况非常糟糕。
我会安排明天的时间和你们讨论。需要说明的是,我非常尊重你们的能力和成就,但我对当前的管理方式感到不满。这就是为什么我最近几个月难以深入参与 OpenAI 的原因之一。要么我们解决问题,我会增加投入的时间;要么我们不解决,我就几乎完全退出,并公开减少 OpenAI 与我的关联。我不会接受我的影响力和实际投入时间不匹配。
Re:Re:顶级 AI 机构现状
发件人:埃隆·马斯克
收件人:安德烈·卡帕西
时间:2018 年 1 月 31 日 14:07(周三)
FYI
你觉得怎样比较合理?如果电话沟通更方便的话,我也很乐意。
Re:Re:Re:顶级 AI 机构现状(OpenAI 披露)
发件人:格雷格·布洛克曼
收件人:埃隆·马斯克
抄送:伊利亚·苏茨克维、山姆·阿尔特曼、希冯·齐里斯
时间:2018 年 1 月 31 日 22:56(周三)
嗨,埃隆,
谢谢你这些深思熟虑的想法。我一直很佩服你能看到大局,我也完全同意,要实现我们的目标必须改变现在的路线。我们明天谈吧,下午 4 点及以后任何时间都可以。
我认为,想创造最好的未来,就需要让 OpenAI 大规模扩张。我们的目标和使命从根本上是正确的,随着 AGI 越来越近,这会变得越来越重要。
募资
我们的募资交流表明:
- 伊利亚和我能够说服有声望的人相信 AGI 真可能在未来 10 年内实现
- 他们对捐款有兴趣
- 他们对投资的兴趣非常大
我尊重你们对 ICO 想法的决定,这也符合我们的想法。山姆·阿尔特曼一直在研究一个不依赖 IPO 的融资结构,我们很想听听你的反馈。
一直与我们交流的人中,以下这些是我目前建议的董事会成员人选。我也很想听听你们推荐的、不在此名单上的最佳人选,我们可以一起商讨如何接触他们。
未来 3 年
未来 3 年,我们必须建设三样东西:
- 定制 AI 硬件(比如 <****> 计算机)
- 大规模 AI 数据中心(可能需要多次迭代)
- 最优秀的软件团队,在算法开发、公开演示和安全之间取得平衡
我们讨论最多的是定制 AI 硬件和 AI 数据中心。在软件方面,我们有一个可信的路径(让多智能体在竞争环境中自我对弈),这已经在 Dota 和 AlphaGo 中得到验证。我们还发现了当今深度学习中少量但确实存在的限制,这些限制阻碍了模型从人类水平的经验中学习。而且我们相信,我们正独特地走在解决安全问题的路上(至少在大方向上),预计在未来 3 年内取得成果。
我们希望按以下方式扩大团队规模:
- 2017 年初:约 40 人
- 2018 年底:100 人
- 2019 年底:300 人
- 2020 年底:900 人
道德制高点
我们最大的工具就是道德制高点。为了保持这一点,我们必须:
- 尽最大努力保持非营利性质。AI 将撼动社会结构,我们应该对全人类负责。
- 将更多精力投入到安全 / 控制问题上,而不是你在其他机构看到的装装样子。如果所有人都死了,谁赢都没有意义。与此相关的是,我们需要传达一个 “宁为生存让步,不要同归于尽(better red than dead)” 的态度——我们在努力开发安全的 AGI ,我们不愿在激烈的竞赛中毁灭世界。
- 与政府接触,提供可信的、无偏见的政策建议——我们经常听说他们不信任等公司的建议。
- 让外界认识到我们是一个为研究社区创造公共价值的组织,并通过以身作则来促使其他参与者保持诚信和开放。
过去 2 年
我很想听听,你如何评价我们过去 2 年在现有资源条件下的表现。以下是我的看法:
- 过去 5 年,业界只有两个重要的实用系统演示:AlphaZero [DeepMind] 和 Dota 1v1 [OpenAI]。(在研究人员中广受关注的 “技术突破” 突破更多,其中最具代表性的包括:ProgressiveGAN [英伟达]、无监督翻译 [Facebook]、WaveNet [DeepMind]、Atari/DQN [DeepMind]、机器翻译 [伊利亚,前 Google,现 OpenAI ]、生成对抗网络 [伊恩·古德费洛,学生时期开发,现 Google ]、变分自编码器(VAE) [德克·金马(Durk Kingma),学生时期开发,现 OpenAI]、AlexNet [伊利亚,学生时期开发,现 OpenAI ])。按这个标准来衡量,我们的表现相当出色。
- 我们在 2016 年经历了快速扩张,2017 年逐步摸索出了一个有效的管理架构。现在只要有足够资源,我们就可以大规模扩张了。目前我们确实会因为薪资低导致人才流失,但基本上也仅限于薪资问题。我正在恢复早期的招聘方式,我相信结果能比之前更好。
- 我们的团队在这个领域人才密度最高,并因此享有声誉。
- 我们不鼓励写论文,所以论文录用率不是我们要改进的指标。对于安德烈发来的 ICLR 图表,我预计我们的(录用论文数)/(提交论文的人数)比率应该是该领域最高的。
-gdb
Re:Re:Re:顶级 AI 机构现状
发件人:安德烈·卡帕西
收件人:埃隆·马斯克
时间:2018 年 1 月 31 日 23:54(周三)
很不幸,在 AI 前沿领域工作成本高昂。例如,DeepMind 在 2016 年的运营费用大约为 2.5 亿美元(不包括算力成本)。随着他们团队的扩张,现在可能每年约 5 亿美元。但 Alphabet 在 2016 年的净利润约为 200 亿美元,即使 DeepMind 没有收入,这些费用对于 Alphabet 的整体财务状况来说仍然相对较低。除了 DeepMind, Google 还有 Google Brain、Research 和 Cloud。还有 TensorFlow、TPU,他们在 AI 研究领域占据了约三分之一的份额(实际上,他们举办自己的 AI 会议)。
我也有强烈感觉,计算能力将是达到 AGI 的必要条件(甚至可能是充分条件)。如果历史趋势有参考价值,那么 AI 的进步主要由系统——计算能力、数据和基础设施——驱动。我们今天使用的核心算法自 1990 年代以来几乎没有重大变化。不仅如此,任何发表在论文中的算法进展,几乎都可以被立即复现并整合进现有系统。反过来说,单纯的算法进步如果没有足够的规模支持,也只是无力的存在,无法达到令人惊叹的效果。
在我看来,OpenAI 目前正在烧钱,而现有的融资模式无法达到可以与 Google(一个市值 8000 亿美元公司)真正竞争的规模。如果你们无法真正与其竞争,却继续以开放的方式研究,实际上可能会让情况变得更糟,等于 “免费” 帮助了他们。因为任何进展对他们来说都很容易复制并迅速大规模整合。
转向营利模式,可能会随着时间的推移创造出持续的收入来源,而且以当前团队的实力,可能会吸引大量投资。然而,从零开始打造一款产品会分散对 AI 研究的关注,这将耗费很长时间,同时尚不清楚公司是否能 “赶上”Google 的规模。而且投资者可能会在错误的方向上施加太多压力。
我之前提到过,我认为最有前景的选择是让 OpenAI 依附于特斯拉,将特斯拉作为 “现金牛”。我相信依附其他大公司(例如 苹果?亚马逊?)会失败,因为公司的 DNA 不兼容。用火箭的类比来说,特斯拉已经用 Model 3 的整个供应链、车载计算机和持续的互联网连接构建了 “第一级”。“第二级” 将是基于大规模神经网络训练的全自动驾驶解决方案,OpenAI 的专业知识可以显著加快这一进程。如果能够在大约 2-3 年内推出一个功能完善的全自动驾驶解决方案,我们可以卖出大量的汽车和卡车。如果我们做得非常好,交通行业足够大,我们完全可以将特斯拉的市值提升到大约 1000 亿美元或更高,并利用这部分收入为 AI 研究提供适当规模的资金支持。
我看不到其他方案,能在 10 年内达到 Google 级别的资本规模,而且是可持续的。
-安德烈
Re:Re:Re:Re:顶级 AI 机构现状
发件人:埃隆·马斯克
收件人:伊利亚·苏茨克维、格雷格·布洛克曼
时间: 2018 年 2 月 1 日 3:52(周四)
[转发安德烈的邮件]
安德烈说得完全正确。虽然我们可能希望情况有所不同,但在我和安德烈看来,特斯拉是唯一一条可能勉强与 Google 相抗衡的道路。即便如此,成为 Google 的对手的可能性也很小。只是不为零。
AI 更新
新增参与者:
亚当·德安吉洛(Adam D’Angelo),Quora 创始人,2023 年 11 月与伊利亚等人联合驱逐阿尔特曼,目前仍在 OpenAI 董事会
主题:AI 更新
发件人:希冯·齐里斯
收件人:埃隆·马斯克
抄送:山姆·泰勒
时间: 2018 年 3 月 25 日 11:03(周日)
OpenAI
筹资:
- 不再采用 ICO 或 “预支购买算力” 这类方法。阿尔特曼正在设计一种新的方法,让 4~5 个对 OpenAI 感兴趣的大公司投资,如果 OpenAI 最终实现某种盈利的 AGI,回报上限为 50 倍。据说这些企业似乎愿意参与,仅仅是为了获取相关研究成果。他希望能和你更详细地讨论这个方案。
正式退出董事会:
- 按照规定,你仍然在董事会中,需要发一封简短的邮件给山姆·阿尔特曼,内容类似于:“通过此邮件,我正式辞去 OpenAI 董事职务,自 2018 年 2 月 20 日起生效。”
未来的董事会:
- 阿尔特曼说,他不介意我加入董事会,后面因利益冲突退出也没关系,但他担心其他人会将我退出视为 “断了后路”。我认为,目前最好的选择是先不要加入董事会,而是以一个模糊的顾问身份参与 OpenAI。如果你有不同意见,请告诉我。他们考虑亚当·德安吉洛(Adam D’Angelo)来接替你的位置,这看起来还可以?
特斯拉 AI
- 安德烈正在考虑三个候选人,其中一到两位可能会在周二前来与你见面。他将给你发送他们的简报。另外,他正在起草一份可能发布的文章初稿,周二可以一起讨论。这篇文章将沿用我们之前讨论过的 “全栈式 AI 实验室” 角度,但如果你觉得这个方向不合适,请及时调整 …… 信息传达确实比较棘手。
Cerebras
- 他们计划在 8 月份测试芯片,计划 9 月向其他人开放远程访问。Cerebras 的那位还提到,最近许多客户对他们感兴趣,因为他们不满英伟达更改服务条款(迫使公司从消费级 GPU 转向企业级的 Pascal/Volta)。斯科特·格雷(Scott Gray,OpenAI 工程师) 和伊利亚继续与他们密切合作。
OpenAI 宪章
主题:OpenAI 宪章
发件人:山姆·阿尔特曼
收件人:埃隆·马斯克
抄送:希冯·齐里斯
时间: 2018 年 4 月 2 日 13:54(周一)
我们计划下周发布这个——有什么建议吗?
——
OpenAI 宪章
OpenAI 的使命是确保通用 AGI)——我们指的是在大多数有经济价值的创造性工作中表现超过人类的高度自主系统——能够惠及全人类。我们将尝试直接开发安全且有益的 AGI。如果我们的工作帮助他人实现这一目标,我们会认为我们的使命完成了。为此,我们承诺遵循以下原则:
利益广泛分配
我们承诺,利用我们部署 AGI 的任何影响力,确保其用于造福全人类,并避免 AI 或 AGI 用于损害人类或权力过度集中。
我们首先要对人类负责。我们预计调动大量资源来完成使命。但我们始终会尽最大努力,减少员工和利益相关者之间的冲突,以免妨碍实现广泛的利益。
长期安全
我们承诺开展必要的研究,确保 AGI 的安全,并推动此类研究在整个 AI 社区广泛应用。
我们担心后期的 AGI 开发可能演变为一场缺乏充分安全措施的竞争。因此,如果一个与我们价值观一致、注重安全的项目在我们之前接近开发出 AGI,我们承诺停止与其竞争,并转向协助该项目。我们将在具体情况下制定具体协议,但触发条件通常可能是 “在接下来的 2 年内成功的概率超过 50%”。
技术领导力
为了有效应对 AGI 对社会的影响,OpenAI 必须处于 AI 技术能力的最前沿——仅靠政策和安全倡导是远远不够的。
我们相信,AGI 出现之前,AI 就会对社会产生广泛影响。因此,我们将努力在那些与我们的使命和专业能力相关的领域发挥领导作用。
合作导向
我们将积极与其他研究机构和政策机构合作,努力创建一个全球的合作社区,共同应对 AGI 带来的挑战。
我们致力于提供有助于社会应对 AGI 发展的公共资源。目前,这包括发布我们的大部分 AI 研究成果,但我们预计,出于安全和保密的考虑,未来可能会减少传统研究成果的公开发布,同时更加看重分享与安全、政策和标准相关的研究成果。
Re:OpenAI 宪章
发件人:埃隆·马斯克
收件人:山姆·阿尔特曼
时间: 2018 年 4 月 2 日 14:45(周一)
没问题。
AI 更新(续)
新增参与者:
里德·霍夫曼 (Reid Hoffman),Linkedin 联合创始人。因为投资了 OpenAI 竞争对手 Inflection AI 等,霍夫曼 2023 年 3 月退出 OpenAI 董事会。
加布·纽维尔(Gabe Newell),游戏开发者,OpenAI 的捐资人。
主题:AI 更新(续)
发件人:希冯·齐里斯
收件人:埃隆·马斯克
抄送:山姆·泰勒
时间: 2018 年 4 月 23 日 1:49(周一)
根据与阿尔特曼的对话更新了信息。你暂定周二与他见面。
融资:
- 他再次确认,他们绝不会采用 ICO,而是采用回报上限固定的股权架构。
- 这是一个相当独特的子公司融资架构,他希望向你详细解释。
- 他计划 4-6 周完成第一轮融资(可能主要由里德 [Reid] 的资金领投,可能还有一些企业投资)。
技术:
- 他说 Dota 5v5 的表现比预期的要好。
- Dota 机器人性能的迅速提升引发了内部人员的担心,他们认为 AGI 实现时间可能比之前预想得更早。
- 他们预计很快就会攻克 Montezuma’s Revenge。
时间分配:
- 因为你退出董事会和一些因素,我已将大部分用在 OpenAI 的时间重新分配给 Neuralink 和特斯拉。如果你希望我投入更多时间在 OpenAI,请告诉我。
- 山姆和格雷格问我,是否愿意加入他们的非正式顾问委员会(目前只有加布·纽维尔)。潜在冲突较少,似乎比董事更合适?如果你觉得不合适,请告诉我你的意见。
OpenAI 更新
主题:OpenAI 更新
发件人:山姆·阿尔特曼
收件人:埃隆·马斯克
时间: 2018 年 12 月 17 日 15:42(周一)
嗨,埃隆-
明年一季度,我们计划在完全开放的游戏环境举办最后一场 Dota 锦标赛,任何职业战队都可以参与角逐高额奖金。之后,我们将宣布无模型强化学习(Model-free RL)阶段完成,部分团队成员将使用基于模型的强化学习(model-based RL)方法重新攻克 Dota 1v1。
同样在一季度,我们计划发布几个机械手演示项目——魔方、转笔特技和健身球。新任务的学习速度应该会非常快。年底时,我们将尝试在两个机械臂上各安装一个机械手,看看会有什么效果 ……
我们在语言方面也取得了快速进展。我希望明年我们能够生成短篇故事,并开发出一个优秀的对话机器人。
我们希望通过无监督学习来开发模型,使其能够完成一些高难度任务。比如在图像分类时不会犯人类从来不犯的错误 —— 在我看来,这意味着模型需要具备某种程度的概念理解能力。
我们在多智能体方面也取得了不错的进展:多个智能体现在已经能够协作建造简单的结构、进行激光对战等。
同时,我正在推进一项计划,将我们的计算资源从 Google 迁移到微软(补充我们自有数据中心)。
另外,我也很乐意讨论融资(即便采取激进的增长策略,我们目前的资金也足够支撑接下来约 2 年的发展)和不断迭代的硬件规划。不过这两个话题最好不要通过邮件讨论,也许下次你来 Pioneer 时我们可以当面聊?
Re:OpenAI 更新
发件人:埃隆·马斯克
收件人:山姆·阿尔特曼
时间: 2018 年 12 月 17 日 15:47(周一)
没问题,我们可以周三晚上在旧金山见面。
我觉得应该重申一下
主题:我觉得应该重申一下(OpenAI 披露)
发件人:埃隆·马斯克
收件人:伊利亚·苏茨克维、格雷格·布洛克曼
抄送:山姆·阿尔特曼
时间: 2018 年 12 月 26 日 12:07(周三)
如果不大幅度提高执行力和资源,我估计 OpenAI 与 DeepMind/Google 的竞争中跟上节奏的概率是 0%,不是 1%。我真希望情况不是这样。
就算是筹集几亿美元也不够。现在就需要每年投入数十亿美元,否则一切都无法实现。
不幸的是,人类的未来掌握在 <****> 手中。
他们做的远不止这些。
OpenAI 让我想起贝佐斯和蓝色起源。他们远远落后于 SpaceX,而且差距还在不断扩大,但贝佐斯的自负让他荒谬地认为并非如此!(注:OpenAI 披露了两次这封邮件,第一次披露时把这段话隐去了。)
我真的希望自己是错的。
埃隆
2019 年及之后:OpenAI 正式组建营利实体 – 马斯克凌晨 3 点发来短信
OpenAI
新增参与者:
苏·尹(Sue Yoon),Google X 机器人项目负责人,2019 年退出 OpenAI 董事会。
和塔莎·麦考利(Tasha McCauley),Fellow Robots 联合创始人,2023 年 11 月与伊利亚等人联合驱逐阿尔特曼,失败后退出 OpenAI 董事会
主题:OpenAI
发件人:山姆·阿尔特曼
收件人:埃隆·马斯克
抄送:山姆·泰勒、希冯·齐里斯
时间: 2019 年 3 月 6 日 15:13(周三)
埃隆—
这是我们计划在下周一发布的文章草稿。有需要补充或修改的地方吗?
要点:
- 我们创建了 “有回报上限的公司”,并完成了首轮融资,由里德和维诺德(Vinod Kholsa)领投。
- 我们明确告知所有投资者,他们永远不该期望获得回报。
- 我们任命格雷格为新实体的董事长,我担任 CEO。
- 我们已经与潜在的下一轮投资者沟通了这个架构,他们似乎很感兴趣。
说到最后一点,我们正在讨论一笔数十亿美元的投资,我希望在你有空时得到你的建议。你来湾区时,我很乐意过来见你。
山姆
文章草稿
我们成立了 OpenAI LP,这是一家 “回报封顶” 的新公司,使我们能够迅速增加算力和人才的投资,同时设置制衡机制来实现我们的使命。
我们的使命是确保通用人工智能(AGI)惠及全人类,主要通过努力开发安全的 AGI 并与世界共享成果来实现。
由于该领域算力投资呈指数级增长,我们需要比最初创办 OpenAI 时规划的扩张速度更快。我们预计未来几年需要筹集数十亿美元,用于大规模投资云计算、吸引和留住优秀人才,以及建设 AI 超级计算机。
作为非营利组织,我们无法筹集到如此大规模的资金。尽管我们曾考虑转为营利模式,但担心这会让我们放弃自己的使命。
因此,我们成立了一个新公司 OpenAI LP,是营利与非营利的混合体——我们称之为 “回报封顶” 公司。
OpenAI LP 的基本理念是,如果我们实现使命,投资者和员工可以获得固定回报,这使我们能够像初创公司一样通过股权吸引投资者和员工。但超出固定回报的收益——如果我们成功,我们将创造比投资者或员工应得金额大得多的价值——将归 OpenAI 非营利机构所有。
未来(在本文和其他地方),“OpenAI” 指 OpenAI LP(目前雇佣了我们的大部分员工),而原始实体称为 “OpenAI Nonprofit”。
使命至上
我们设计 OpenAI LP 的初衷,是将整体使命——确保创造和应用安全且有益的 AGI——置于投资者回报之上。
为了最大限度减少利益与使命冲突,OpenAI LP 的首要责任是推进 OpenAI 宪章的目标,公司由 OpenAI 非营利机构的董事会控制。所有投资者和员工都签署协议,明确 OpenAI LP 优先对宪章负责,即使这可能牺牲部分或全部财务权益。
我们的员工和投资者相关文件开头是这样的:主要合伙人指 OpenAI 非营利机构(正式名称为 “OpenAI Inc”);有限合伙人指投资者和员工。
仅少数董事会成员可以在合伙企业中持有财务权益。此外,有限合伙人利益与非营利使命可能发生冲突,以及任何有关向投资者和员工支付回报时,只有不持有此类财务权益的董事会成员才能投票决策。
公司架构
我们的文件中还有一项条款规定,非营利机构保留对公司的控制权。(文件中使用了 OpenAI LP 的正式名称 “OpenAI, L.P.”)
如上所述,投资者和员工的经济回报是有上限的(这一上限会和每位有限合伙人事先协商确定)。超过上限的回报将归非营利机构所有。我们的目标是确保,如果成功,我们创造的大部分价值能回馈世界,因此我们认为这是重要的第一步。第一轮投资者的回报上限设定为投资金额的 100 倍,我们预计未来轮次的回报倍数上限会降低。
OpenAI 做什么
我们的日常工作保持不变。如今,我们相信专注于开发新的 AI 技术,而非商业产品,是我们创造最大价值的方式。我们的架构为未来长期盈利提供了灵活性,但我们希望在实现安全的 AGI 之后再来探索这一问题(不过,在此期间,我们对一些不影响专注的收入来源持开放态度,诸如专利许可授权等)。
OpenAI LP 目前有大约 100 名员工,分为三个主要方向:技术能力(推动 AI 系统功能发展)、安全保障(确保这些系统符合人类价值观)和政策治理(确保适当治理这些系统)。OpenAI 非营利机构负责监管 OpenAI LP 开展 Scholars 和 Fellows 等教育项目,并主办政策倡议活动。OpenAI LP 正在加速推进由 OpenAI 非营利机构启动的发展路线图,该路线图已在强化学习、机器人技术和语言领域取得了突破性成果。
安全
我们担忧 AGI 可能会快速引起变化——可能是机器追求操作者设定的错误目标、坏人操控已部署的系统,或者是经济增长失控未能改善人类生活。如我们在宪章中所述,为了避免因竞争而难以优先考虑安全问题,我们愿意与一个价值观一致的组织合并,即使这可能导致投资者的回报减少甚至归零。
参与者
OpenAI 非营利机构的董事会包括 OpenAI LP 的员工格雷格·布洛克曼(董事长兼 CTO)、伊利亚·苏茨克维(首席科学家)和山姆·阿尔特曼(CEO),以及非员工成员亚当·德安吉洛、霍尔登·卡诺夫斯基、里德·霍夫曼、苏·尹和塔莎·麦考利。
埃隆·马斯克于 2018 年 2 月退出 OpenAI 非营利机构董事会,与 OpenAI LP 无关。
我们的投资者包括里德·霍夫曼和 Khosla Ventures。
我们正走在一条艰难而充满不确定的道路上,但我们设计了我们的架构,帮助我们在成功创造 AGI 时对世界产生积极影响。如果你想帮助我们实现这一使命,我们正在招聘 :)!
彭博社:埃隆·马斯克共同创立的 AI 研究组织组建营利部门
主题:彭博社:埃隆·马斯克共同创立的 AI 研究组织组建营利部门
发件人:埃隆·马斯克
收件人:山姆·阿尔特曼
时间: 2019 年 3 月 11 日 15:04(周一)
请明确说明,我与 OpenAI 的营利部门没有任何财务上的关系。
——
埃隆·马斯克共同创立 AI 研究组织组建营利部门
彭博社
总部位于旧金山的 AI 研究组织 OpenAI,由埃隆·马斯克及几位硅谷知名企业家共同创立,正在组建一个营利部门,以便筹集更多资金。[点击阅读完整报道。]
通过 Apple News 分享
Re:彭博社:埃隆·马斯克共同创立的 AI 研究组织组建营利部门
发件人:山姆·阿尔特曼
收件人:埃隆·马斯克
时间: 2019 年 3 月 11 日 15:11(周一)
正在处理。
短信交流记录
短信交流记录(OpenAI 披露)
参与人:山姆·阿尔特曼、希冯·齐里斯
时间:2022 年 10 月 23 日(周日)
山姆·阿尔特曼(8:07):
这是埃隆发来的,你有什么建议?
图中是凌晨 3:06 分发来的一连串信息:“我是埃隆”“新的奥斯汀号码”“看到 OpenAI 估值达到 200 亿美元,我很不安。事实上,我提供了几乎所有的种子轮、A 轮和大部分 B 轮资金。”“[新闻报道链接]”“这是诱骗和欺诈”
你之前给他提供过股权,但他拒绝了,对吧?
我不知道他说的 A 轮和 B 轮是什么意思
希冯·齐里斯:
问题到底在哪还不太明确。可能是因为没有获得股权,或者是大家仍觉得这是他最初投资的那个机构(叫 OpenAI),又或者只是对发展方向有分歧
当时确实向他提供过,但他拒绝了。我不记得最后具体是怎么决定的。如果我没记错的话,你应该在某个时候直接问过他?
如果你想了解更多背景信息可以打电话,但我建议不要立即回短信。
山姆·阿尔特曼(21:13):
如果你有空的话,能快速看一下吗?
我理解这感觉确实不好——当我们设立有盈利上限的实体时就向你提供过股权,当时你不想要,但如果你现在想要的话,我们依然很乐意给你。
考虑到我们需要的资金量,以及为了保持 “将 AGI 交给人类” 的这条路,除了设置利润上限这个方案,我们没找到其他选择。而且这个方案还允许董事会在安全需要时撤销所有股权。
顺便说一下,我个人没有任何股权,从来都没有。我正在尽最大努力在这个棘手的局面中寻找平衡,随时都很乐意和你讨论怎样才能做得更好。也很想向你展示最近的进展。
山姆·阿尔特曼(22:50):
(我发送了)
收到回复:我这周大部分时间会在旧金山处理收购 Twitter 的事。我们周二或周三谈吧。
希冯·齐里斯:
抱歉睡着了!这几天太忙了。好的
OpenAI 第一次公布的邮件:
https://openai.com/index/openai-elon-musk/
马斯克起诉书公布的邮件:
https://www.courtlistener.com/docket/69013420/musk-v-altman/
马斯克起诉书公布的邮件,lesswrong 整理版:
https://www.lesswrong.com/posts/5jjk4CDnj9tA7ugxr/
OpenAI 第二次公布的邮件和短信记录:
https://openai.com/index/elon-musk-wanted-an-openai-for-profit/