搜索

谷歌AI发布新技术:可实时跟踪虹膜,判断与手机的距离

大数据文摘 · 2020-08-19
或许我们手机上的摄像头可以再少一点~

编者按:本文来自微信公众号“大数据文摘”(ID:BigDataDigest),编译 朱科锦,36氪经授权发布。

近日,Google研究中心的研究工程师Andrey Vakunov和Dmitry Lagun发布了一款新技术“MediaPipe Iris”,有了它,或许我们手机上的摄像头可以再少一点~

目前市面上很多的应用,包括计算摄影(例如“人像模式”和闪烁反射)和“增强的现实效果”(例如虚拟化身),都依赖于通过跟踪虹膜来估计眼睛的位置。

一旦实现了准确的虹膜跟踪,无需使用专用的深度传感器,谷歌研究团队就可以确定相机到用户之间的距离。

这项技术可以改善各种应用,从计算摄影到适当大小的眼镜和帽子的虚拟试戴,到根据用户距离调整字体大小的设计。

由于有限的计算资源,多变的光照条件以及遮挡物(例如头发或人斜视)的存在,在移动设备上解决虹膜跟踪是一项艰巨的任务。通常,这项任务需要使用复杂的专用硬件来实现,而硬件的要求限制了可实现虹膜追踪的移动设备的范围。

FaceMesh可以设计虚拟化身(中),‍通过额外使用虹膜跟踪(右),虚拟形象的仿真性大大提高。

MediaPipe Iris的眼睛重新着色的示例。

谷歌一个研究团队发布了一款新的机器学习模型“MediaPipe Iris”,可以用于精确虹膜估算。(https://solutions.mediapipe.dev/iris) 基于谷歌在MediaPipe Face Mesh上的工作,该模型能够使用单个RGB摄像机实时跟踪涉及虹膜,瞳孔和眼睛轮廓的界标,而无需专用硬件。通过使用虹膜界标,该模型还能够确定用户和相机之间的度量距离。

无需使用深度传感器,相对误差就可达到小于10%。请注意,虹膜跟踪不会推断人们正在看的位置,也不能提供任何形式的身份识别。由于该系统是在MediaPipe中实现的(MediaPipe是一个开放源代码的跨平台框架,可供研究人员和开发人员构建世界一流的ML解决方案和应用程序)因此该系统可以在大多数现代手机,台式机,笔记本电脑甚至网络上运行。

适用于远视人群的可用性原型:用户观察到的字体大小保持恒定,与设备和用户间的距离无关。

虹膜跟踪的ML管道

第一步是利用谷歌先前在3D Face Meshes上所做的工作,Face Meshes使用高保真人脸地标生成近似人脸几何形状的网格。从该网格中,研究小组分离出原始图像中的眼睛区域,以用于虹膜跟踪模型。接下来的问题分为两部分:眼睛轮廓估计和虹膜位置。研究小组设计了一个包含统一编码器的多任务模型,每个任务都有一个单独的组件,这使他们可以使用特定于某任务的训练数据。

虹膜(蓝色)和眼睑(红色)跟踪的示例。

为了从裁剪的眼睛区域训练模型,研究小组手动注释了约50k的拍摄自不同地理区域的各种照明条件和头部姿势的图像,如下所示。

眼睛区域以眼睑(红色)和虹膜(蓝色)轮廓标注。

眼睛区域的裁剪形成了模型的输入,该模型通过单独的组件预测地标。

虹膜深度:从单个图像的深度估计

谷歌这款虹膜跟踪模型能够确定用户到相机的距离,无需任何专用硬件,并且误差不到10%。该模型依靠以下事实完成:不同人群眼睛的水平虹膜直径基本上相等[1,2,3,4] 大致保持恒定在11.7±0.5 mm。请考虑将针孔相机模型投影到正方形像素的传感器上。

则可以通过使用相机的“焦距”估算物体的距离,该焦距可以使用相机捕获API来获取,或者可以直接从所捕获图像的“EXIF元数据”以及其他相机固有参数来获得。给定焦距,从被摄物体到相机的距离与被摄物体眼睛的物理尺寸成正比,如下图所示。

可以使用类似的三角形,根据焦距(f)和虹膜大小来计算被摄体的距离(d)。

左:MediaPipeIris 可用Pixel2虹膜跟踪预测物体距离(以厘米为单位),而无需使用深度传感器。右:地面深度。

为了量化该方法的准确性,谷歌收集了200多个参与者的前置同步视频和深度图像,将其与iPhone 11上的深度传感器进行了比较。研究人员使用激光测距装置通过实验验证了iPhone 11深度传感器在2米以内的距离的误差小于2%。研究人员评估表明,使用虹膜尺寸进行深度估计的方法的平均相对误差为4.3%,标准偏差为2.4%。

谷歌研究人员在有或没有眼镜的参与者(不计入参与者的隐形眼镜)上测试了他们的方法,发现眼镜将平均相对误差略微提高到4.8%(标准偏差为3.1%)。他们没有在患有任何眼部疾病(如角膜变性老年环或者 血管翳)的参与者上测试这种方法。考虑到MediaPipe Iris不需要专门的硬件,结果表明,可以在范围很广的设备上从单个图像获取深度数据。

估计误差的直方图(左)和实际距离与估计距离的比较(右)。

发布MediaPipe Iris

谷歌将在台式机,移动设备和Web上运行的平台MediaPipe上发布虹膜和深度估计模型。如谷歌最近在上MediaPipe上的Google Developer Blog发布的帖子所述,利用WebAssembly和XNNPACK在浏览器中本地运行Iris ML管道,而无需将任何数据发送到云中。

左:虹膜追踪。右:从仅具有EXIF数据的照片计算得出的虹膜深度。

使用MediaPipe的WASM堆栈,你可以在浏览器中本地运行模型!

可以在这里(https://viz.mediapipe.dev/demo/iris_tracking)尝试虹膜跟踪,在这里尝试虹膜深度测量(https://viz.mediapipe.dev/demo/iris_depth)。

前景

该谷歌小组计划对MediaPipe Iris模型进行扩展,使其跟踪更加稳定,减少错误,并将其应用到可访问性用例中。他们坚信共享代码可以实现可重复的研究,加速实验以及在不同领域中开发新思想。

在“文档”和随附的“模型卡”中,他们详细说明了预期的用途,限制和模型的公平性,以确保这些模型的使用符合Google的AI原则。请注意,此技术并不适用于任何形式的监视或标识。谷歌研究人员希望,向更广泛的研究和开发社区提供这种虹膜感知功能,以研究新的应用程序。

有关MediaPipe的其他ML方案,请参阅( https://solutions.mediapipe.dev/ 以及 https://developers.googleblog.com/search/label/MediaPipe)。

参考文献:

1. Bergmanson, Jan Pg, and Jesus G Martinez. “Size Does Matter: What Is the Corneo-Limbal Diameter?” Clinical and Experimental Optometry, vol. 100, no. 5, 2017, pp. 522–528., doi:10.1111/cxo.12583.

2. Wang, L., and G.u. Auffarth. “White-to-White Corneal Diameter Measurements Using the Eyemetrics Program of the Orbscan Topography System.” Modern Cataract Surgery Developments in Ophthalmology, 2002, pp. 141–146., doi:10.1159/000060793.

3. Baumeister, Martin, et al. “Comparison of Manual and Automated Methods to Determine Horizontal Corneal Diameter.” Journal of Cataract & Refractive Surgery, vol. 30, no. 2, 2004, pp. 374–380., doi:10.1016/j.jcrs.2003.06.004.

4. Hashemi, Hassan, et al. “White-to-White Corneal Diameter Distribution in an Adult Population.” Journal of Current Ophthalmology, vol. 27, no. 1-2, 2015, pp. 21–24., doi:10.1016/j.joco.2015.09.001.

相关报道:

https://ai.googleblog.com/2020/08/mediapipe-iris-real-time-iris-tracking.html

+1
3

好文章,需要你的鼓励

参与评论
登录后才能参与讨论哦...
后参与讨论
提交评论0/1000

请回复有价值的信息,无意义的评论将很快被删除,账号将被禁止发言。

下一篇

36氪APP让一部分人先看到未来
36氪
鲸准
氪空间

为你推送和解读最前沿、最有料的科技创投资讯

一级市场金融信息和系统服务提供商

聚集全球最优秀的创业者,项目融资率接近97%,领跑行业