主页 > Z生活人 >FAIR和AML,两大实验室的合作支撑起Facebook称霸 >

FAIR和AML,两大实验室的合作支撑起Facebook称霸

2020-06-07 00:39:08 来源 : Z生活人 点击 : 445

FAIR和AML,两大实验室的合作支撑起Facebook称霸

本文来自 fastcompany.com《Facebook's Race To Dominate AI》,36 氪 翻译

彻底开放的文化能否帮助 Facebook 在 AI 方面赶超 Google 和微软等巨头,从而打造全世界最强大的 AI 平台呢?

Facebook 公司内部有很多文化标语,它通常会将这些文化标语张贴在办公室的各个地方,这些文化标语包括「Code wins arguments」、「Move fast and break things」、「Stay focused and keep shipping」和「Done is better than perfect」等等。

在 Facebook 位于纽约的办公室的墙上还有这幺一个标语:「Always be Open」,这个标语完美诠释了 Yann LeCun 所领导的刚创办不久的人工智慧和机器学习团队的理念。要想实现进一步扩张,人工智慧是 Facebook 不可欠缺的重要组成部分。目前,人工智慧已经被 Facebook 用于识别照片里好友的脸部和筛选 Facebook 里的讯息流。就在上週,Facebook 刚刚发布了人工智慧引擎 Deep Text。 Deep Text 能够以接近人类识别的精确度识别用户在 Facebook 上发布的所有聊天讯息的意思,每秒能识别数千条讯息,能够识别 20 多种语言, Deep Text 的目的就是为了从 Facebook 上的大量资讯里找到人们感兴趣的内容,同时过滤清除掉垃圾内容。很快, Facebook 就能将平台上的讯息自动翻译成数十种不同的语言。此外,Facebook 还在研究如何辨别声音以及识别影片里的人物,从而能够对海量影片中出现的人物进行识别和标注,方便用户根据人物搜索影片。

人工智慧领域的后起之秀

Facebook 希望自己能够在人工智慧和机器学习领域佔据主导地位,就像它在社群网络和即时通讯领域佔据主导地位一样。目前, Facebook 已经招聘了超过 150 个人专门致力于人工智慧和机器学习技术的研发。为了提升这方面的研发能力, Facebook 将自己在这方面的投入增加了三倍,不过它并未透露具体投入多少资金。

如果说上一个运算时代是移动云的时代,那幺下一个运算时代将是人工智慧的时代。 Nvidia 是全球最大的图形处理器生产商,同时也是 Facebook 在开源硬体设计领域的合作伙伴, Nvidia 的 CEO Jen-Hsun Huang 这样说道:「人工智慧是过去 20 年里在技术方面的最重要发展, Facebook 和其它很多科技巨头将展开激烈角逐,确保让人工智慧成为自己的一项核心竞争力。」

然而, Facebook 正式进入这个领域的时间还不到三年,所以要想和其它进入这个领域已经很久的巨头公司竞争, Facebook 所需要的不仅仅是资金,毕竟人工智慧是目前最热门的科技领域之一。 Pedro Domingos 是华盛顿大学的计算机科学教授,同时也是《The Master Algorithm》这本书的作者,他表示:「在人工智慧领域,Facebook 是绝对的后来者,像 Google 和微软这样的大公司已经在人工智慧领域耕耘很长时间了。」在 Mark Zuckerberg 今年 1 月份宣布将开发能控製家庭环境的人工智慧助手计划前的很长时间,其它大公司就已经开发出了自己的人工智慧软件。

微软从 1991 年 就开始在机器学习方面进行研发投入了,公司目前有数百名科学家和工程师在数十个与机器学习相关的领域开展研发工作。 Google Assistant 是 Google 在深度学习领域的核心研发成果,它未来将成为 Google 大部分 App 和服务的前端大脑。非盈利性人工智慧公司 OpenAI 目前也已经从特斯拉创始人 Elon Musk 和其它一些科技巨头那里获得了 10 亿美元的研发资金。 Amazon 的 CEO Jeff Bezos 前不久在 Code 大会上透露,公司已经在幕后秘密研究人工智慧 4 年时间了,公司目前已经有 1000 人专门投入到语音识别生态系统的研发中。此外,包括苹果和 Uber 在内的很多其它大公司也都在人工智慧领域进行了大量投入,而且都在竞相挖这个领域里为数不多的技术人才。

两大实验室协同配合: FAIR 致力于基础科学和长期项目的研究, AML 致力于将科研成果应用到产品里

上面所有这些公司在人工智慧领域的大规模投入能很好地激发这个领域的创新浪潮, LeCun 也是其中的一员。在加入 Facebook 之前, LeCun 就被外界公认为是人工智慧领域成就最大的科学家之一。在 LeCun 加入 Facebook 后, Facebook 从一个正规的人工智慧研究实验室也没有到现在发展为拥有两个正规的人工智慧实验室,其中一个是由 LeCun 本人领导的 Facebook 人工智慧研究项目,这个实验室项目主要致力于基础科学和长期项目的研究。另外一个是应用机器学习部门,这个部门由 Joaquin Candela 领导, Candela 是一位经验非常丰富的机器学习领域的专家,他还在剑桥大学创建了一门这方面的课程。他带领的团队的主要工作是找到将人工智慧和机器学习领域的研究成果应用到 Facebook 现有产品里的方法。

FAIR 和 AML 是 Facebook 内两个各自独立的部门, LeCun 和 Candela 都直接向 Facebook 的 CTO Mike Schroepfer 汇报工作。这里存在的一个挑战是如何让这两个团队很好地协同工作,将长期项目研究成果应用到短期的商业目标中去。 Facebook 採用的方法是:让这两个团队的办公场所紧靠着。 LeCun 表示:「这两个团队之间必须要建立起人际关係,而且必须要非常紧密地协作。」

在 Facebook,这两个团队不仅紧靠着办公,而且他们的办公场所就在 Zuckerberg 和 Schroepfer 的办公室的旁边,从这个细节可以看出 Facebook 对人工智慧和机器学习的重视。

然后不会因为你坐在谁谁谁的旁边办公就能让有效利用深度科学这项任务变容易一点。要想知道 LeCun 和 Candela 打算如何系统发挥作用,你首先需要了解这两个人的背景。

Facebook 人工智慧研究实验室

Yann LeCun 是全世界最顶尖的深度学习专家之一。在他的位于纽约大学计算机科学学院办公室的门上,贴有一个竖起大拇指的蓝色大 logo ,不过这并非他自己贴上去的。近日,他穿着海军蓝 polo 衫,衬衫上印有爱因斯坦头像,头像上有「THINK」这个词,他说当他两年前宣布加入 Facebook 时,不知道谁就将这个 logo 贴在他办公室的门上了,不过他自己一直没有拿下来。

FAIR和AML,两大实验室的合作支撑起Facebook称霸

今年 55 岁的 LeCun 现今依然是纽约大学计算机科学的兼职教授。如果他站在人群里,你绝对猜不到他是目前全世界最大的社群网络公司 Facebook 的人工智慧雄心计划的带头人。如果你曾在 ATM 机上取过钱的话,那幺你就已经感受到 LeCun 的研究成果在实际生活中的应用了。深度神经网络目前依然应用在银行和 ATM 机上,这完全得益于 LeCun 在上世纪 80 年 代中后期和 90 年 代初的研究成就。

作为深度学习的分支卷积神经网络的奠基人之一,LeCun 是人工智慧行业的大明星。卷积神经网络如今被认为是开发可拓展自动化自然语言处理、图像识别、语音识别和视觉搜索系统工具的构建模块,所有这些对于 Facebook、Google、百度和微软等大公司都至关重要,例如,卷积神经网络可以帮助 Google 在安卓手机上开发语音识别系统,而百度则可以利用它开发全新的视觉搜索引擎。 LeCun 在这个领域的工作重点是致力于复制生物视觉皮质工作原理的模型。

LeCun 在 Facebook 被赋予了很大的自由,不管是招人还是打造组织架构,他都可以按照自己认为合适的方式打造 FAIR。 Zuckerberg 和 Schroepfer 赋予 LeCun 这幺大的自由是有足够的依据的: LeCun 曾在贝尔实验室工作过 14 年,在多年的工作中已经培养出了一种直觉能力,知道什幺事可行,什幺行不通。而且他过去也一直在思考,如果有机会创建一个新的研究实验室,他会怎幺做。

LeCun 坚信,成功的关键在于秉承开放的理念。 LuCun 的行业工作经验和学术生涯都以这样一个开放的理念为基础:科研人员应该发布自己的科研成果、在学术会议上演讲、与学术界的其他科研人员广泛交流探讨以及将代码开源放在像 GitHub 这种开源社区里。

「我身边有很多朋友,他们从具有开放文化的科研实验室跳槽到一些大科技公司后,便开始试图改变新加入公司的文化,想让公司文化变得更加开放,结果无一例外都以失败告终。」LeCun 这样说道。在决定是否加入 Facebook 之前,LeCun 问 Facebook 的一个最重要的问题就是 Facebook 是否致力于打造一个开源的世界和一种开放的文化。

此外, LeCun 还想在做科研与将研究成果应用到产品中这两者间寻求一种平衡。他发现很多科技公司在这方面做得都很糟糕,要嘛是科研成果没有得到实际应用,要嘛过于追求眼前效益而导致科研人员无法集中精力研发。其中的一个非常典型的例子就是施乐帕克研究中心研发的图形用户界面,施乐没能有效运用这项伟大的技术,后来在贾柏斯 1979 年拜访全录后,将图形用户界面运用到了苹果的 Lisa 和 Macintosh 里。

LeCun 之前曾见过複合式研究模式的失败,在这种模式下,科学家被插入到工程团队里,这种模式只会阻碍科学家的创造力。除了这种模式外,有的公司採用的是另外一种模式,就是将科学家隐藏公司内部的空中楼阁里,他们很少与公司的其他人员交流,这维护了科学家的「尊贵」身份,但对公司并无其他益处。

在 2002 年 至 2003 年 期间, LeCun 曾在 NEC位于普林斯顿的实验室工作过。这个实验室是 NEC 创立的一个非常先进的研究实验室,创立这个实验室的目的并不是要急着研发能够很快就应用到产品里的技术。「NEC 一开始并没有要求实验室为自己的公司开发任何产品。然而突然之间 NEC 提了这种要求,他们告诉实验室人员:他们最好能为公司开发可以使用的产品。就因为 NEC 提了这个要求,实验室的几乎所有成员都离开了,包括我自己。要想打破科研团队和产品开发团队之间存在的屏障是不可能的。」LeCuN 说道。

在 LeCun 的主导下,Facebook 于 2013 年 12 月 正式成立 FAIR 实验室, FAIR 致力于解决人工智慧和机器学习领域的长远问题。 LeCun 知道,要想同时实现 FAIR 团队工作的长远利益和短期目标,就必须要有一部分科学家和工程师研发能够在未来多年以后影响这个领域的新技术,同时还要有一部分科学家和工程师专注于研发能应用到现有产品里的技术。 LeCun 表示,FAIR 团队 70% 的工作是长期的科学研究, 30% 的工作是短期的产品开发。

「FAIR 是非常开放的。我们公开发布了很多研究论文,同时开源了很多代码。所以我们是整个科研社区里的一个真正的组成部分,因为我们我们想通过自己的努力挑战极限,推动科学技术向前发展,同时确保自己能够掌控当今最先进的技术。」LeCun 这样说道。

FAIR 团队有一个野心勃勃的目标:教会机器常识——也就是让机器能够像婴儿或动物那样去学习。 LeCun 表示, FAIR 目前最大的项目是用于对话系统的自然语言理解,这也将成为 Facebook 智慧语音助手的基础。

很显然,现在很多科技巨头都想成为语言助手领域的领导者,其中最着名的莫过于苹果的 Siri。除 Siri 外,还有微软的 Cortana、Amazon 的 Alexa 和 Siri 之父新推出的语音助手 Viv 等。

Facebook 在智慧语音助手方面也有自己的计划。去年年底, Facebook 推出了自己的语音助手 M 。而人工智慧是 M 的核心,因为要想让 M 能够成功回答用户提的各种问题,它就必须要具备常识。

目前还没有出现能够赋予机器常识的技术。 LeCun 相信,要想解决这个问题,不应该通过非常直接的方式解决。相反,你首先必须想办法让机器学会理解文本讯息,然后再反过来教会机器有关这个世界足够多的背景知识,这样机器才能理解这个世界。

如果我说「我无法将这个玩具娃娃装进行李箱,因为它太小了」这句话时,你肯定知道这里的「它」是指行李箱而不是指玩具娃娃,因为你知道将某件东西装进某件东西的意思。」但机器是理解不了的,让机器也能达到和人一样的理解水平是 FAIR 的长远目标之一。

让机器掌握複杂的常识和文本理解能力不仅会影响智能语音助手,同时还会对自动语言翻译造成影响,而自动语言翻译功能在 Facebook 扩张国际市场过程中扮演着非常重要的角色。

「翻译是一项非常重要的功能。Facebook 的主要使命就是将人与人连接起来,为了达到这个目的,你要做的第一件事就是确保说不用语言的人在翻译的帮助下能够顺畅沟通。」LeCun 说道。

应用机器学习实验室

坐在由 Frank Gehry 设计的 Facebook 总部里,公司的应用机器学习实验室的负责人 Joaquin Candela 在一堆填充玩具动物的巨大箱子的环绕下显得非常格外矮小。当时已经没有空闲的会议室了,不过它并没有因此苦恼,他毫无犹豫地选在一个被遗弃在昏暗角落里的沙发上进行交流。后来不知不觉到了他与 Schroepfer 开会的时间,他依然非常慷慨地接受在前往 Facebook CTO 办公室的路上继续交谈。

当 AML 还在孵化的时候, LeCun 就已经加入了 Facebook。事实上, AML 正是在 LeCun 的推动下创立的。对此,他这样说道:「在我看来,要想将在 FAIR 研发的技术应用到产品中,AML 是一个基本的通路。」

AML 的目标是「推动先进技术在产品上的最大化应用」和「成为科研成果与产品开发间的黏着剂」。为筛选讯息流、广告、搜索、语言翻译、语音识别、影片字幕的自动生成和自然语言理解等领域开发更好的演算法都是 AML 要做的工作,AML 想藉此来提升 Facebook 的效益。

Candela 曾作为 Facebook 的技术经理带领团队打造机器学习的基础架构,当他被邀请启动 AML 这个项目的时候,他希望 AML 能避免其它很多应用研究实验室曾犯过的错误。 Candela 之前曾在微软研究院和德国着名的马克斯 -- 普朗克研究所都工作过。「我曾经看过很多实验室都没有很好地将科研成果转化为工程成果。」Candela 这样说道。 Candela 说的很多研究实验室犯的错误包括实验室与工程太过脱节,或是科研人员一点都不注重开发能应用到产品上的技术。

LeCun 的 FAIR 团队将自己 70% 的时间用在长期的科学研发上,30% 的时间用在短期的产品开发上。 Candela 带来的团队的时间分配则恰好相反。 AML 的大部分时间都用在将科研成果应用在产品上。 Candela 表示,他带来的 AML 团队是以季度或月份为周期来对待一个项目的,而不是像 FAIR 团队那样通常以 5-10 年 为周期来思考项目。 AML 通常只做 6 个月的时间规划。

儘管 AML 和 FAIR 两个团队的工作内容和方式非常不同,但 Candela 和 LeCun 都坚信,只要致力于开放,他们就能获得更大的成功。 Facebook 的 CTO Schroepfer 也认同这个观点,而且很快就为践行这一理念找到了很多量化的方法。 Schroepfer 表示,除了开源了硬体和数据中心外, Facebook 的工程师共开源了 1000 万行代码,开源社区 GitHub 上已经有 Facebook 的 350 个活跃的开源项目。

Facebook 的这种开放的精神已经成为招聘达人的一大优势。「那些顶尖的科学家一般都想要去哪里工作呢?他们当然都希望能与和自己类似想法的人一起工作,那幺他们怎幺知道我们 Facebook 的人是否和他们的想法类似呢?因为 Facebook 的开放性,他们能够看到我们 Facebook 的员工都在做什幺工作,他们能看到 Facebook 的员工都发布了什幺论文和研究成果,他们可以了解我们正在努力解决的问题以及我们是如何解决这些问题的。」

AML 的一个最新成立的团队是运算摄影团队,这个团队是在 Rick Szeliski 和其他几名科学研究人员去年 10 月从微软研究院跳槽来 AML 后成立的。这个团队的主要工作方向包括影片防震,其中包括 360 度影片,帮助用户拍更好的自拍照,同时帮助用户更好地在手机上管理视觉内容。

「我们之所以选择加入 Facebook 是因为照片和数据都在这里。我们在这里有大量可以分析的数据内容。我们每天都能接触像素和取悦用户,让用户变得更开心后,他们就会拍更多的照片和分享更多的内容。因此,这里不仅是照片的聚集地,同时也是照片「流动」场所。」Szeliski 这样说道。在加入 Facebook 前,他曾在微软研究院负责互动视觉媒体团队。

「Flow」这个词是我们在 Facebook 经常会听到的一个词。这部分是由于 FBLearnerFlow 这个专案, FBLearnerFlow 是一个由 AML 开发一个端对端的科研工程工作流,它是一个供全公司员工测试和分享机器学习模型的端对端的机器学习软体,也就是说它目前还是一个仅供 Facebook 内部员工使用的软体。 FBLearnerFlow 是一个知识库,公司里任何专注于人工智慧或机器学习的员工都可以在里面发布自己的研究成果,供其他工程师在各自的专案里使用。

「假设我们有一个新的垂直广告,需要向 Instant Articles 里投放媒体广告,但是这个团队没有什幺机器学习方面的专家,所以工程师便可以去「Flow」这个科研工程流水线里去查看公司里正在开展的所有实验和产品原型,并能够从中选择一些有用的模祖直接供自己使用。我总是鼓励大家去祈求、去借和去偷。你并不需要白费力气做重複的工作。」Candela 这样说道。

Flow 还是一个可以用来在一个可控环境下测试新功能的平台。「这是一件非常美妙的事。你可以在这里对自己的科研成果进行测试。如果我们做了一个 1% 的用户参与的测试,如果测试结果非常不错的话,那幺我们就可以将科研成果推送给 100% 的用户。」

Flow 的用途非常广泛,这也是为什幺目前 Facebook 四分之一的工程师都在使用它的原因,而不光是人工智慧领域的科研人员在使用。 Flow 也是 Facebook 在内部践行开放精神的典型案例,它不会将研究结果藏起来,而是会供所有员工使用。

Facebook 採用的这种同时依靠 FARI 做长远研究、依靠 AML 做短期应用研究的双重研究机制为自己在人工智慧和机器学习领域赢得了一定的威望,但这并不能保证能够实现 Zuckerberg、Schroepfer 和整个 Facebook 大声宣扬的 10 年愿景和目标。

有很多问题都可能导致 Facebook 这个项目的失败,其中隐私问题是其中最明显的一个问题。在 Facebook 的用户意识到这家公司正在越来越广泛地分析自己的每一条动态、每一张照片并越来越深入地挖掘自己生活里的所有事情时,用户可能就会开始反抗。

同时还可能有财务方面的问题。 Facebook 的高层和董事会会在什幺时候要求看到他们从在人工智慧和机器学习方面进行的投入中获得的回报呢? Schroepfer 自己坚持表示, Facebook 的管理层并不担心 FAIR 和 AML 的投资回报问题,他这样说道:「我认为,FAIR 和 AML 这两个团队做的工作已经为未来 5 -- 10 年的回报奠定了坚实的基础,我们现在并不担心投资回报率,因为未来可能只要 1 -- 2 个项目成功,我们就能获得期望的投资回报率。」

目前包括 Schroepfer 、 LeCun 和 Candela 在内的所有 Facebook 领导层都对开放这个本质属性非常重视,如果一旦情况发生改变,导致这些管理者放弃开放的理念,这时将会出现什幺样的情况呢?「如果他们捨弃了开放的理念,像过去很多公司所做过的那样,那幺他们可能就会丧失在科研领域的前沿领先优势。当公司到了某个发展节点后,如发展得不太顺利的时候,这时就会自然而然地出现一种促使科研人员追求短期利益的趋势,这只会伤害实验室,同时不利于公司长期愿景的实现。」蒙特利尔大学的机器学习实验室主管 Yoshua Bengio 说道。

这里的挑战在于要让像 LeCun 这样真正的强人去充当产品人员和科研人员之间的缓冲器,确保不给科研人员太多的压力去迫使他们追求短期利益。但无论如何, Facebook 未来依然会面临这方面的挑战,因为总会有追求短期目标和利益的压力存在。

即使 LeCun 自己也意识到,有时事情会在毫无徵兆的情况下发生转变。「没有人强迫我们去证明自己存在的价值。但在经历了几家科研实验室的兴衰成败后,我开始认识到这样一个事实:除非你在公司里有东西可说,如:因为我们为公司做了这些工作,所以才会花这多幺钱。否则的话,你现有的工作模式将无法持续太久。」这也是 LeCun 和 Candela 在运营这两个实验室时会寻求将科研成果最大程度地应用到产品中的原因所在,以提高成功的可能性。

「你对一家公司要做什幺事情越清楚,那幺要做的事情就越少,这时就能越出色地完成这些工作。所以,如果你要求他们做 10 件事,他们可能其中的三件事做得比较好,其它 7 件事都做得都非常糟糕。这时你只能希望他们能选对那三件事情。作为对比,如果你说公司目前只需要做一件事情,这时你就能清楚地知道他们是如何做这件事的。对我们自己而言,我们现在就有两个问题需要解决:一是做基于未来的长期科研,二是找到科研成果应用到产品上的方法。这意味着我们需要创造有效的方法在全公司内共享想法。

我们希望能够形成这样一种理想的内部流通方式: AML 成员加入 FAIR , FAIR 成员也将加入 AML。这样的情况已经在发生了。其中一个例子是, Facebook 的脸部识别团队最开始是在 FAIR 启动的,后来就搬进了 AML 实验室,因为这个团队的工作和产品的关联性越来越大。还有一个例子是, AML 实验室的机器翻译团队的一位科研人员对将神经网路研究成果运用到机器翻译领域很有热情,所以他将研究重点转移到了推动最尖端的神经网路科学研究里,于是他后来就去了 FAIR 实验室。

LeCun 表示,很多由一个实验室搭建的基础框架都流向了另一个实验室。举个例子,Facebook 刚刚发布的智慧搜寻引擎专案 DeepText 虽然由 AML 直接完成,但它使用的却是 FAIR 搭建的基础架构,因为最开始 FAIR 想要搞清楚如何使用卷积网络以及其他深度学习技术去分类文本和理解文本。

当他们在这些领域的研究举得突破的时候, Facebook 并没有将自己的研究成果隐藏起来不和大家分享。以 Deep Text 为例,在刚发布后不久, Facebook 就在自己的开源代码部落格里发布了有关 Deep Text 的深度文章。「你在学术界发表研究成果,参加科研大会,积极为整个科学界做贡献。与此同时,你还能看到自己的科研成果影响数十亿的用户。」电脑视觉团队的主管 Manohar Paluri 如此说道。

一些人可能会担心这样的开放可能会导致一些商业上的风险, LeCun 却并不这幺看认为。 Facebook 能从让外部人在自己代码的基础上工作里受益良多,因为如果这些外部人的工作做得非常好的话, Facebook 可以直接将他们招入麾下,或者直接採用他们做出的改进即可。

「基于我们的市场地位,其他人使用我们的技术是 ok 的,因为技术的价值很少存在于技术本身,而是存在于我们利用技术过程里。我们自己是一个巨大的社群网络,如果我们发明了一种能够应用到社群网络里的技术,我们就会是最快利用这个新技术的人。如果我们不先人一步运用这项技术的话,那就是我们的错了。」LeCun 说道。

相关阅读