大数据如何采集瞳孔信息及分析图(延迟3ms、采样率500Hz，MEMS眼球追踪方案牛在哪)

编辑柚子

2022-04-20 07:36:39

近日，眼球追踪技术厂商AdHawk发布了基于MEMS微电机系统的可穿戴/可拆卸眼球追踪解决方案AdHawk MindLink。据悉，这款产品的特点是用MEMS方案取代了传统的相机眼动追踪方案，号称结构设计更简单、更精确、更快速、更省电，可嵌入AR/VR头显，适合全天候使用。

据AdHawk官网显示，目前开发者套件以高达3500美元的优惠价出售，5月起恢复原价至10000美元。那么背后使用了哪些独特的技术呢？与现有的眼球追踪技术有何不同？让我们来看看更多关于MindLink的细节。

让我们先来看看它的一些参数:

尺寸:14.6 x 16.6 x 4.2cm；；

重量:27g；

Imu: 6轴；

校准视角:40x25

平均绝对误差:

采样率:500赫兹/秒；

延迟:3毫秒

在功能和特性上，MindLink可以识别多种眼球数据，例如:1)双目眼球追踪；2)聚散度；3)瞳孔大小等。其特点包括:可在室外阳光下运行，一键眼球追踪，眼镜滑动也可追踪，可输出眼球追踪视频和数据，支持注视点验证，可更换屈光镜片。

此外，除了可佩戴的眼球追踪眼镜，MindLink的全套产品还包括一部智能手机、校准设备、耐用的眼镜盒、USB连接线、防滑耳钩和可更换的鼻垫。

关于原则

接下来详细了解一下MindLink方案的原理，比如如何在不使用摄像头的情况下实现眼球追踪。其实青亭。com在2017年报道了AdHawk的技术。当时，它声称所用的MEMS模块尺寸太小，肉眼无法识别，整个系统可以提前20毫秒预测凝视点的方向，甚至可以检测早期的阿尔茨海默病、帕金森病、焦虑症、阅读障碍、注意力不集中、脑震荡、癫痫，并识别用户的情绪、认知负荷等数据。

据AdHawk介绍，MindLink通过MEMS方案跟踪注视点的速度和效率是同类产品的两倍以上(眼球跟踪速度是相机方案的10倍)，眼球数据采样率为每秒500次，平均跟踪误差小于1。此外，AdHawk比传统的眼球追踪模块省电50%，适用于全天候、不限场合。

详细来说，位于MindLink鼻托下方的两个高速移动的MEMS模块会向眼球发射动态光束，反射光会被镜架内部的集成光学传感器识别，生成一些眼球数据。在一秒钟内，角膜、虹膜、瞳孔的数据可以被采集上千次。

相比之下，市场上使用的AR/VR眼球追踪模块通常需要至少一个摄像头，外观略厚，用于VR头显的体积相对较小，但如果集成到轻量级的AR眼镜中会更显眼，看起来比较笨重突出。

大数据如何采集

应用场景

AdHawk认为，MEMS高速眼球追踪技术可以用于AR/VR凝视点渲染，或者通过分析凝视点信息来提高游戏技能，或者作为一种输入方法。

此前有研究人员指出，为了避免VR凝视点的渲染被用户察觉，眼球追踪的延迟要控制在几十秒以内，市面上只有Fove-0和Varjo VR-1等少数VR头戴设备(延迟分别为15-16ms和35-36ms)能达到这一标准。相比Fove-0和Varjo VR-1，AdHawk的眼球追踪延迟只有3ms，快了很多，因此更容易达到快速自然的注视点渲染效果。

在应用场景上，萨卡尔认为MEMS眼球追踪技术可以用于神经系统和眼部健康的研究，或者用于日常健康检测，追踪长途司机的注意力，预测大脑信号，生物识别，帮助研究人员收集数据，研究注意力不集中，脑震荡，癫痫等症状，检测认知负荷和阅读障碍。此外，它还可以用于帮助检测阿尔茨海默病和帕金森病等神经系统疾病。

未来，AdHawk的眼球追踪技术将继续优化视线预测功能，并为OEM厂商提供替代的AR/VR视线渲染方案。

相关专利

据悉，Sarkar从2018年到今年申请了多项MEMS眼球追踪技术专利，包括:1)基于共振频率的眼球追踪系统和方案；2)眼球追踪系统及方案；3)眼球跟踪校准等。

在这些专利中，Sarkar描述了很多关于AdHawk眼球追踪技术的细节，例如，它可以与头部追踪、手势追踪、大型空相互定位、单光纤内窥镜等技术相结合，并用于AR/VR头显、武器瞄准系统、自动驾驶舱控制、辅助驾驶/防撞系统、广告设计、行为调查、网页设计、运动训练、健康监测等。

此外，该专利中描述的系统包括激光光源、2D扫描镜、分立传感器和识别电路。扫描识别眼球信息后，系统会实时生成眼球深度图，通过比较每一帧的深度变化来预测眼球运动。在扫描过程中，扫描镜会在眼球的横轴和纵轴上匀速发射光源，反射光会被位于框架内部的传感器识别。然后，通过光反射所需的时间，可以估计出眼球的位置、外观、特征和结构信息。

为了保持准确的眼球追踪效果，MEMS模块会定期运行校准程序，调整扫描镜的位置和角度，甚至根据生成的眼球深度图进行校准。这样，即使眼球追踪模块偶尔轻微移动，也可以实时调整，无需长时间重新校准。

此外，专利中指出，扫描镜可以使用等温致动器来调节反射面的角度，并且根据脉宽调制驱动信号来控制其位置。

关于原意

据了解，AdHawk由首席执行官尼尔·萨卡尔(Neil Sarkar)于2017年在加拿大安大略省创立。Sarkar读研究生时学的是MEMS相关专业，曾经是芯片工程师。在大学研究期间，他开发了一种亚纳米精度的传感器，可以用光束扫描眼球。后来基于这项技术，他成立了源自滑铁卢大学的AdHawk公司，并先后获得了英特尔、三星创投、惠普、索尼创投、溢达国际等公司的融资。