pix像素智能(实现动静态视觉融合,「锐思智芯」推出全球首款融合仿生事件视觉传感器ALPIX-Pilatus)

文|,戴昊彤,编辑|彭孝秋

近年来人工智能计算机视觉随着科技的崛起,机器感知的时代已经到来。传统相机因其响应速度慢、功耗高、运动物体拍摄模糊等缺点而受到限制计算机视觉技术发展。为了解决这一问题,事件摄像机模仿了人类视网膜的工作原理,具有信息响应快、冗余数据少、功耗低、动态范围大等优点,适用于机器视觉。2015年,活动摄像机进入工业化阶段,并应用于一些场景。

然而,在大多数真实场景中,事件驱动该相机需要与传统的图像传感器配合使用。在事件驱动摄像头+传统图像传感器的双摄像头系统中,由于两个摄像头的视角不同,以及事件摄像头和传统图像传感器的数据类型不同,很难实时注册这两个数据。因此,在芯片级将传统的图像传感器与事件摄像机相结合已成为未来的发展方向。

像素高的智能手机

为了解决现有的局限性,锐思智芯自主研发了混合视觉技术,即集成仿生视觉方案和事件摄像机与传统摄像机的集成视觉传感器成为实现“静态”与“动态”的视觉融合

就技术而言,其工作原理和优势主要体现在以下三个方面。首先,将仿生视觉技术与传统图像传感器融合在同一芯片上,可以同时输出高质量的图像数据和事件流数据,实现实时图像融合。其次,为了模仿人类视网膜神经元的工作原理,该方案的事件摄像机功能是基于事件驱动的,只输出变化信息,其响应速度达到微秒级,并在整个时域内捕捉变化信息。第三,延续传统图像传感器的技术优势,确保图像拍摄模式下的全图质量和图像细节。

芯片工作原理

锐思智芯此次发布的ALPIXPilatus(以下简称ALPIX-p)是基于“混合视觉”开发的世界上第一款将传统图像传感器技术和仿生事件摄像头技术集成在同一像素中的芯片。ALPIXp可以在传统图像传感器模式和仿生事件相机模式之间快速切换。在图像模式中,ALPIXp是最高的帧速率120帧全局曝光传感器与现有的传统图像传感器完全一致,并与现有的成熟视觉系统完全兼容。在仿生事件摄像机模式下,ALPIXp具有超高帧率、高有效信息比例和大动态范围的特点。

目前,芯片样品递送已经开始。验证了“混合视觉”技术在批量生产、成本和性能方面的可行性

锐思智芯在ALPIXp的设计基础上,开发了两款ALPIX系列传感器芯片产品,分别是ALPIXTitlis(以下简称ALPIXt)融合低功耗仿生视觉传感器和ALPIXEiger(以下简称ALPIXe)融合高端仿生视觉传感器。

两者的区别主要在于应用场景,ALPIXt传感器芯片适用于对功耗敏感的各种视觉物联网应用程序,例如智能门锁,智能安防等等,同时保持对场景的连续感知,降低系统功耗。ALPIXt的事件摄像机模式可以以非常低的功耗过滤掉80%的无效信息,大大提高了有效信息的比例,从而降低了系统的整体功耗。同时,ALPIXt在适应现有影像系统的基础上,增加了独立的事件流数据,可以提高图像识别算法的效率和准确性。

ALPIX-e融合高端仿生视觉传感器主要应用于手机、安防等高端成像领域以及其他场景。在确保行业最高分辨率的同时,其像素大小达到行业最低值。

在商业化方面,锐思智芯为客户提供了两种服务模式:提供ALPIX芯片+基础SDK和支持客户相关应用开发;提供基于ALPIX芯片的小型应用模块,即算法+模块(如交互、识别等),支持客户上层应用开发。目前,锐思智芯已经积累了一批阿尔法客户。未来,其芯片应用产品将扩展到消费电子和手机等汽车领域。

就团队的核心优势而言,主要体现在锐思智芯在技术难度上的突破和创始团队的技术积累上。一方面,技术难点在于:

首先,仿生视觉传感器像素设计的核心具有高度的复杂性,晶体管很多。要将传统的图像传感器与之集成,不仅需要前者的设计经验,还需要仿生视觉传感器的研发经验。

其次,ALPIX是一个系统级的设计,这需要强大的工程经验,这需要研发时间的积累。

此外,如果ALPIX被缩小,则需要先进的技术和深入的理解。目前,该团队已与这些顶级OEM工厂进行了十多年的长期合作。

另一方面,从核心成员的技术背景来看,锐思智芯首席执行官邓坚、首席技术官颖云等核心成员一直在从事各种高端视觉传感器的研发,如高端图像传感器、TOF芯片、X射线、神经元信号检测芯片等。

邓坚对36氪披露该团队对仿生事件摄像机的研究始于2014年,并积累了七年的研发经验。当时,该团队参与了仿生视觉传感器芯片原型项目的研发。该项目由瑞士创新基金资助。主要目标是设计一种仿生视网膜芯片,用于植入盲人的眼球,使盲人能够重新感知外部事物的轮廓。基于这个项目,团队接触到了仿生视觉领域。后来,该团队先后开发了两款可商业化的动态视觉传感器芯片,并在原有技术路线的基础上不断优化。

因此,该团队对仿生事件视觉传感器的技术路线进行了深入而深入的研究。此外,核心创始人毕业于剑桥大学、苏黎世联邦理工学院(ETH)浙江大学以及其他著名的学校,有着多年的教学经验恩智浦飞思卡尔Intel、有magicleap等企业工作经验。公司成立之初,只有大约6名核心团队成员,现在团队规模扩大到50人,其中研发人员占85%

回顾锐思智芯的融资过程,该公司已经完成了两轮融资。到2019年底,该公司将完成数千万元天使轮融资,投资者是中科创星传奇资本。到2020年底,锐思智芯将完成到2015年,A轮融资前已近1亿元海康威视与耀图资本共同投资,科大讯飞风险投资、舜宇中央研究院、全智科技、卓远风险投资考恩资本有了这笔投资,老股东联想风险投资和中科创星继续增资。

您可以还会对下面的文章感兴趣

最新评论

  1. 超级干饭人
    超级干饭人
    发布于:2022-04-27 09:28:40 回复TA
    驱动的,只输出变化信息,其响应速度达到微秒级,并在整个时域内捕捉变化信息。第三,延续传统图像传感器的技术优势,确保图像拍摄模式下的全图质量和图像细节。芯片工作原理锐思智芯此次发布的ALPIXPilatus(以
  1. 声名鹊起
    声名鹊起
    发布于:2022-04-27 14:04:28 回复TA
    原理,具有信息响应快、冗余数据少、功耗低、动态范围大等优点,适用于机器视觉。2015年,活动摄像机进入工业化阶段,并应用于一些场景。然而,在大多数真实场景中,事件驱动该相机需要与传统的图像传感器配合使用。在事件驱动摄像头+传统
  1. 逍遥浪人
    逍遥浪人
    发布于:2022-04-27 16:15:06 回复TA
    客户上层应用开发。目前,锐思智芯已经积累了一批阿尔法客户。未来,其芯片应用产品将扩展到消费电子和手机等汽车领域。就团队的核心优势而言,主要体现在锐思智芯在技术难度上的突破和创始团队的技术积累上。一方面,技术难点在于:首先,仿生视觉传感器像素设计的核心具有高度的复杂性
  1. 喻颖璧璧
    喻颖璧璧
    发布于:2022-04-27 06:29:48 回复TA
    忌妒别人,不会给自我增加任何的好处。忌妒别人,也不可能减少别人的成就。

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。

使用微信扫描二维码后

点击右上角发送给好友