包括计算摄影(例如,人像模式和闪光反射)和增强现实效果(例如,虚拟化身)在内的大量实际应用都依赖于通过跟踪虹膜来估计眼睛位置。一旦获得了准确的光圈跟踪,我们就可以确定从相机到用户的公制距离,而无需使用专用的深度传感器。反过来,这可以改善各种用例,从计算摄影到适当大小的眼镜和帽子的虚拟试戴,到根据视听者的距离采用字体大小的可用性增强。
由于有限的计算资源,可变的光照条件以及遮挡物(例如头发或人斜视)的存在,虹膜跟踪是在移动设备上解决的一项艰巨任务。通常,会使用复杂的专用硬件,从而限制了可在其中应用该解决方案的设备范围。
FaceMesh可以用来驱动虚拟化身(中间)。通过额外使用虹膜跟踪(右),可显着提高化身的活泼性。
MediaPipe Iris启用的眼睛重新着色的示例
Google发布MediaPipe Iris,这是一种用于精确虹膜估计的新机器学习模型。基于Google在MediaPipe Face Mesh上的工作,该模型能够使用单个RGB摄像机实时跟踪涉及虹膜,瞳孔和眼睛轮廓的界标,而无需专用硬件。通过使用虹膜界标,该模型还可以在不使用深度传感器的情况下确定相对误差小于10%的对象和相机之间的度量距离。请注意,