微软Adam挑战Google Brain:我的机器学习比你快

boxi · 2014-07-15
人工智能(AI)是近年来很火的一个领域,Google、Facebook、苹果、微软等巨头都在发力。而可以帮助进行语音识别、语言翻译及提供计算机视觉的深度学习则是最近的新宠。 尽管苹果有Siri,Facebook成立了人工智能实验室,但业界普遍的看法是Google是人工智能领域竞赛的领跑者。因为最近有深度学习的领军人物Geoff Hinton的加盟,因为它展示过自己会自主学习的深度学习系统,也因为它与NASA联合成立的人工智能实验室等吸引人眼球的东西。在计算机视觉和语音识别方面,Google还保持着几个记录。 但现在微软的研究团队要向Google叫板,我的深度学习系统Adam要比你的Google Brain快。微软称,在ImageNet 22K标杆测试上,Adam在识别图像方面的熟练程度是之前系统的两倍,使用的机器则要少得多,仅为其1/30。ImageNet 22K是用来测试深度学习系统计算机视觉(自动识别图像能力)能力的数据库,共有150万张图片,图片类型多达22000种,此前只有少数系统能处理这么多类型,其中就包括Google Brain,Google的Android语音识别和Google Maps等的AI计算都要靠Google Brain。


人工智能(AI)是近年来很火的一个领域,Google、Facebook、苹果、微软等巨头都在发力。而可以帮助进行语音识别、语言翻译及提供计算机视觉的深度学习则是最近的新宠。

尽管苹果有SiriFacebook成立了人工智能实验室,但业界普遍的看法是Google是人工智能领域竞赛的领跑者。因为最近有深度学习的领军人物Geoff Hinton的加盟,因为它展示过自己会自主学习的深度学习系统,也因为它与NASA联合成立的人工智能实验室等吸引人眼球的东西。在计算机视觉和语音识别方面,Google还保持着几个记录。

但现在微软的研究团队要向Google叫板,我的深度学习系统Adam要比你的Google Brain快。微软称,在ImageNet 22K标杆测试上,Adam在识别图像方面的熟练程度是之前系统的两倍,使用的机器则要少得多,仅为其1/30。ImageNet 22K是用来测试深度学习系统计算机视觉(自动识别图像能力)能力的数据库,共有150万张图片,图片类型多达22000种,此前只有少数系统能处理这么多类型,其中就包括Google Brain,Google的Android语音识别和Google Maps等的AI计算都要靠Google Brain。

那么Adam是怎么做到的呢?

Adam并不是在算法上进行突破,而是优化了机器数据处理方式,同时调整了机器的通信方式。Adam是微软研究员Trishul Chilimbi(Bing的基础设施是他弄的)想出来的产物,其训练方式不太算是人工智能的科学,而是大规模计算机系统的艺术。

深度学习系统类似,Adam也运行于一组标准服务器(由微软Azure提供)之上。深度学习更加接近于创造了神经网络的大脑的运作方式,而这些神经网络往往需要大规模的服务器去模拟。Adam的独特之处在于使用了异步(asynchrony)技术。

我们知道,随着计算机系统越来越复杂,系统的各个组件之间的信息交换变得越来越困难,而异步可以缓解这一问题。所谓的异步,指的是将系统拆分为基本能独立运行的各个部分,然后再把计算结果合并起来。合并结果在智能手机和笔记本上是比较容易实现的,因为计算可以分布到许多计算机芯片上,但是跨许多不同计算机实现这一点就没有神经网络那么成功。此前许多研究机构和公司(包括Google在内)都是靠大型异步系统来实现这一点的,而现在微软利用了威斯康星大学研发的一种名为“HOGWILD!”的技术来实现异步系统。

HOGWILD!当初的设计主旨是让机器内的每一个处理器工作更加独立。甚至可以允许不同的芯片同时向同一个内存地址写入,即操作相互覆盖也没问题。对于大多数系统来说,这种做法是很糟糕的,因为会引发数据冲突,但是在一些情况下这么做是没问题的。威斯康星大学已经证明,在小型计算系统里,数据冲突的几率是很低的。这样的话,单台机器的速度可以显著提升。Adam则更进一步,把HOGWILD!的异步应用到整个计算机网络上。

神经网络非常稠密,所有的机器都要向主服务器发送更新,数据冲突风险很高。但是由于这种更新往往都是递增性的更新,所以发生冲突的结果往往是一致的。举个例子,机器1可能要给某个现值为5的变量加1,机器2则要给这个变量加3,这种情况下,系统不会控制两台机器的更新次序,因为最后结果是一样的,都是9。

这样一来,微软的神经网络在理解图像之类的东西是就可以快了许多且更精确。百度的深度学习专家Andrew Ng对此的评价是:

很有侵略性的做法,不过我知道为什么这种做法能省很多计算,好想法,很有趣。

微软Adam挑战Google Brain:我的机器学习比你快
令Ng感到惊讶的是,Adam运行于传统的计算机处理器而非GPU(图形处理器)上,后者往往是偏数学型计算的首选。许多深度学习系统都转向GPU以避免通信瓶颈,但是Adam却走了不同的路线。

神经网络需要大规模的数据,这种量已经超出了单台机器CPU的能力范围,所以才需要跨机器。用GPU可以更快地处理数据。问题是如果单个GPU或有多GPU的单台服务器无法容纳下整个AI模型的话,系统就会停转。因为数据中心的通信系统速率赶不上GPU处理信息的速度会导致数据拥塞。因此有些专家称GPU不适合扩展到大型神经网络上。Chilimbi也持同样的看法。

不过,由于微软并没有公布优化网络的细节,业界的专家对于Adam如何实现微软所声称的性能提升并不知晓。

目前该项目仍处于萌芽阶段。微软内部用户可以通过手机抓拍一个对象之后提交给Adam让它来识别。微软研究院负责人Peter Lee 称,他已经用Adam识别出了一种狗和一种害虫,目前该app尚未有面向公众推出的计划,但显然这种技术在电子商务、机器人和情感分析等方面都有广泛用途。微软内部也在讨论用FPGA(现场可编程逻辑门阵列)提高Adam性能的可能性。

+1

好文章,需要你的鼓励

参与评论
登录后才能参与讨论哦...
后参与讨论
提交评论0/1000

请回复有价值的信息,无意义的评论将很快被删除,账号将被禁止发言。

下一篇

对于互联网公司来说,最理想状况是房地产业基本平稳但略微艰难,而从去年底开始,市场恰恰在往这个方向发展。

2014-07-15

36氪APP让一部分人先看到未来
36氪
鲸准
氪空间

为你推送和解读最前沿、最有料的科技创投资讯

一级市场金融信息和系统服务提供商

聚集全球最优秀的创业者,项目融资率接近97%,领跑行业