苹果的新 iPad Pro,预示着“视觉”的未来方向

神译局2021-04-22
底层硬件参数没那么重要,关键在于智能和智慧。

神译局是36氪旗下编译团队,关注科技、商业、职场、生活等领域,重点介绍国外的新技术、新观点、新风向。

编者按:在 2021 春季新品发布会上,苹果正式推出了搭载 M1 芯片的新一代 iPad Pro。同时,苹果为新 iPad Pro 带来了一项名为 Center Stage(中心舞台)的新功能。在 Center Stage 模式下,iPad Pro 将使用 AI 自动检测人的位置,并通过位移、缩放镜头等操作使人始终位于画面的中央。本文作者认为,这不仅改善了疫情以来越来越流行的视频通话的体验,还预示着视觉的未来。原文标题Apple’s new hardware is built for our visual future,作者Om Malik。

进入新千年之后的20年,相当明显的一点是:没有软件和智能的硬件只不过是一个噱头。苹果公司今天的产品发布活动,再次提醒了这一新的关于硬件的事实。我很高兴地说,苹果做到了。新的iMac视频摄像头和新iPad Pro的前置摄像头是我们向视觉的未来迈出的一大步。

自从新冠疫情爆发以来,我们开始在Zoom和视频会议上花很多时间,成为我们生活的一部分,我们一直在抱怨我们电脑内置视频摄像头的质量有多差,尤其是苹果的电脑。

我们大多数人忍受着糟糕的视频质量,尽管有一些人买了一个小设备,将我们更大更好的相机连接到我们的电脑上。或者,如果你像我一样,通过Camo App使用iPhone上的摄像头,毕竟,iPhone的摄像头比任何独立的流媒体摄像头都要好。不管用什么方法,我们都对电脑上不合格的前置摄像头感到无奈和厌倦。

在这次新冠疫情的经历中,我一直在想,为什么我们的电脑的摄像头,没有可以使用计算机视觉和深度感知来创造更好的视频通话体验。毕竟,需要的技术都有了。

计算机视觉算法正在日新月异地发展。我们口袋里、包里的设备和家里的电脑上都装满了计算能力、机器学习芯片和GPU。在数十亿部智能手机中使用的那些微型摄像头和传感器,现在已经有足够的能力和低廉的价格,可以内置于电脑中,最终创造出更好的视频会议体验。

正如我此前多次所写,Zoom(通过视频来工作和互动)的文化将保留下来。与1918年流感疫情不同的是,当时电话未能发挥其潜力,因为电话交换台的接线员成了流感的受害者,而目前的新冠疫情已经通过可靠的视频会议变得可以承受。永远在线的服务器不受我们其他人正在处理的那种病毒的影响。可以说,如果没有技术,新冠疫情对经济影响会比我们目前所经历的要糟糕得多,这并不是夸张。

就像品尝流媒体的便利,让我们都沉迷于在线音乐和在线影视剧一样,我们都会在很长一段时间内进行视频通话。这就是为什么我们低估了由于新冠疫情和视频通话带来的行为改变。无论是休闲的社会接触、远程医疗、远程学习或远程工作,我们已经进入了一个沟通将越来越视觉化的时代。

新冠疫情期间的数据清楚地表明了这一点。2020年,谷歌Duo和谷歌Meet的用户,在全球范围内进行了超过1万亿分钟的视频通话。研究美国网络流量模式的公司OpenVault在最近的一项研究中指出,2020年的上行总流量增加了63%。其中很大一部分是由于视频会议应用程序的使用。OpenVault的数据显示,在Zoom上进行一小时的通话,需要占用360M到1.2G流量。在工作时间,带宽的使用量几乎翻了一番。这种额外的带宽带来了新的挑战和机遇,谷歌已经在与它的人工智能部门合作,使用新的编解码器将音频和视频压缩到更少的空间。

随着我们的工作和生活越来越视觉化,提供卓越的体验成为一种机会。苹果已经认识到这一点,亚马逊、Facebook、谷歌和微软也是如此,它们都推出了专门的视频通话设备。

新款iMac有一个1080PHD的摄像头,利用M1芯片中的图像信号处理器和神经引擎,更好的降噪、更大的动态范围以及改进的自动曝光和白平衡来提高图像质量。三麦克风阵列减少了的反馈回声。有定向波束成形技术,有助于减少背景噪音,并集中在用户的声音。简而言之,苹果公司表示,对话中的声音将自然而清晰。六个扬声器也设计为使用了算法,并实现了空间音频(Spatial Audio)。

苹果并不是第一个将视频与人工智能、机器学习结合起来的公司。谷歌和微软提供更好的功能已经有一段时间了。例如,谷歌去年在其视频通话服务上推出了噪音消除、背景模糊和低光模式等许多功能。然而,苹果可以充分利用其垂直整合的优势。新的音频和视频硬件将利用M1芯片的组件,如图像传感器、神经引擎和GPU,从而发挥其潜力。

问题是,在未来的视频通话方面,我们将走向何方?我们不必看得太远,新的iPad Pro给了我们足够的线索。iPad Pro现在采用了与Mac设备相同的M1芯片。除了TrueDepth相机系统外,iPad Pro还有一个新的超宽前置相机。看看新iPad Pro的摄像设备,不难看到这些同样的功能会出现在你的笔记本电脑或台式机上。最肯定的是,肯定会出现在iPhone上。视觉传感器的能力比我们所经历的要强得多。关键是要利用这种能力和人工智能来创造用户体验。

苹果希望通过在iPad Pro上推出的一项名为Center Stage的新功能来实现这一目标。我不会向任何人推荐与Facebook有关的东西,但 Center Stage让我想起了Facebook的Portal设备,它提供类似的视频通话功能,并跟踪人们的行动。

苹果公司在一份新闻稿中指出:“Center Stage”利用新的前置摄像头更大的视野和M1的机器学习能力来识别和保持用户在画面中的位置。当用户走动时,Center Stage会自动平移,使他们保持在镜头中。当其他人加入时,相机也会检测到他们,并平滑地放大以将每个人都纳入视野,确保他们是对话的一部分。

今天,我目前在用的2018年型号的iPad Pro和最新的iPad Pro之间很难说有什么区别。2021年款的屏幕可能更好,它可能有一个更新的芯片,它甚至有一个能力更强的端口来连接外围设备。但最终,我升级的唯一原因是使用新的摄像头功能,以获得更多的视频通话体验。底层硬件参数没那么重要,关键在于智能和智慧。

译者:蒂克伟

+1
3

好文章,需要你的鼓励

参与评论
登录后才能参与讨论哦...
后参与讨论
提交评论0/1000

请回复有价值的信息,无意义的评论将很快被删除,账号将被禁止发言。

文章提及的项目

下一篇

「故事的结尾并不重要,你觉得值得就好。」

2021-04-22

36氪APP让一部分人先看到未来
36氪
鲸准
氪空间

为你推送和解读最前沿、最有料的科技创投资讯

一级市场金融信息和系统服务提供商

聚集全球最优秀的创业者,项目融资率接近97%,领跑行业