7月6日,世界领先的神经拟态视觉解决方案企业普诺飞思(Prophesee)宣布完成数千万美元C轮融资,由创新工场领投,小米及上海韦豪创芯跟投,数家老股东加码。普诺飞思总部位于法国巴黎,此前已获北美、欧洲和日本的知名投资人支持。此轮中国行业顶级投资人的参与,将组成强大的国际资本阵容,助力普诺飞思扩展全球布局,深耕中国市场。
定位“TECH VC”的创新工场深耕人工智能赛道多年,迄今已经培育出了7个AI独角兽公司。普诺飞思是创新工场投资的第一家欧洲企业。
“创新工场一直致力于寻找和支持有潜力的、颠覆性的技术先驱,以能够真正地改变基于人工智能技术的范式,帮助改善并提升人们的生活质量。” 创新工场董事长兼CEO李开复博士表示,“普诺飞思的神经拟态机器眼技术在多个领域具备巨大潜力,包括计算摄影、自动驾驶、工业自动化、物联网、医疗保健、AR 和 VR 等,为行业已逐渐普及的机器视觉应用带来更令人振奋的前沿技术突破。我相信,普诺飞思在神经拟态视觉领域的先进技术,将为AI和机器视觉技术的发展开创更多的可能性与机会,帮助更多行业实现自动化、安全以及效率方面的提升。”
创新工场合伙人方益民表示,普诺飞思是基于事件传感器技术的国际领跑者,作为一家科技VC,创新工场在过去三年多的时间里持续关注并跟踪了公司的发展,现在多个业务场景开始步入实质落地阶段。“创新工场此次领投本轮融资,我们充分看好普诺飞思未来在全球,特别是中国市场,通过独特的神经拟态传感器技术,不仅能为消费者带来用户体验的升级,更能为企业客户带来巨大的新价值。”
— 黑科技 —
让机器看到和人眼一样的画面
普诺飞思是世界上最先进的神经拟态视觉系统的发明者,其原视觉(Metavision®)传感器专利和AI算法引入了一种全新的基于人眼和大脑工作原理的计算机视觉范例。普诺飞思的技术可以被理解为“神经拟态机器眼”。
当前,许多机器视觉技术都遵循传统的成像原则——即机器每秒看到25帧的静止图像,通过对每帧图像进行智能解析,做进一步的识别与分析。但这种“基于帧”的成像方式不仅让机器的“眼”和“大脑”速度不匹配,系统响应时间慢,机器每一帧都做记录还会储存大量的无用数据,产生大量冗余数据,耗费系统处理资源。
左: “基于帧” 的成像;右:“基于事件” 的成像和人眼视觉原理类似,Prohesee开发的传感器只有在感知到场景变化时才会进行记录,不同于传统图像传感器以固定的时序源(帧时钟)记录图像信息
受人眼视网膜和大脑工作原理的启发,普诺飞思创建了神经拟态传感器和生物启发算法,将基于图像静止帧的传感器改为“基于事件”的视觉系统。 让机器看到更流畅的事件
在基于事件的视觉传感器上,每个像素都是异步且独立的,能独立感知并记录场景中物体的运动。像素会随着场景变化的节奏而动态变化,而非按照预先设定好的每秒25帧。通过普诺飞思神经拟态视觉传感器和软件技术,生成的数据量比传统的图像传感器减少十到千倍。
让机器“眼”更神速
基于事件的视觉传感器实现了微秒级的时间分辨率(等效于10k+ fps,实时分辨率),能够在瞬息万变动态场景中抓住转瞬即逝的图像信息,响应时间极快且功耗非常低。
让机器在极端光照条件下也能看清场景图像
传统图像传感器容易因强烈的光照对比而丢失部分场景信息,因此需要在传感器层面调节曝光。但基于事件的传感器可实现像素级别的曝光调节,即使在极端的光照条件下,也可实现 >120dB的动态范围。
普诺飞思“基于事件”的“神经拟态机器眼”不仅能让每个像素独立展现场景的动态及生命力,更可以让机器看见隐藏的场景运动信息,进一步模拟人类双眼,“看到”行云流水般的世界。
— 落地场景 —
渗透自动驾驶、手机等,获奔驰等巨头青睐
基于事件的视觉系统突破了传统机器视觉的固有限制,“神经拟态机器眼”为自动驾驶、移动设备、工业自动化、医疗保健、物联网等领域带来了开创性的技术革新。
自动驾驶
* 全球首个基于神经拟态视觉系统的座舱监控技术
利用普诺飞思原视觉(Metavision®)传感技术提供的事件数据,Xperi 旗下的子公司 DTS 开发了全球首个基于神经拟态视觉系统的驾驶员监控解决方案(DMS)。
新的传感技术补充了标准视觉系统的功能,增强了驾驶员和乘员的安全性,提升了个性化升级,将驾驶舱提升至第三空间体验
该方案是下一代车内体验和安全性的新突破,为驾驶员监控功能提供了更优的微光性能,以及新的检测功能,如眼跳或微表情检测等。
* 基于事件的高级驾驶辅助系统
由高级驾驶辅助软件开发商Terranet AB与梅赛德斯-奔驰共同开发的 VoxelFlow™ 传感器技术,采用了普诺飞思原视觉(Metavision®)传感器,使自动驾驶(AD)汽车和 ADAS 系统能够快速、准确地理解周围的环境,增强了现有的雷达、激光雷达和摄像头系统。VoxelFlow™ 可扫描车辆周围半径为40米的区域,并在3毫秒内做出反应。
VoxelFlow™ 由三个事件摄像头和一个连续激光扫描仪组成,使用三角测量进行同时观察,在纳秒内生成3D图像
移动设备
* 神经拟态视觉为传统相机带来巨大的提升
目前最先进的慢动作技术只能在明亮光线下达到满意的效果,而在室内很难做到。使用神经拟态原视觉(Metavision®)传感器,曝光时间没有限制,甚至在低光和每秒10,000帧的情况下,也能消除噪音、滚动快门或闪烁效果。
同时,普诺飞思的技术能够实现更强的大实时图像去模糊技术。通过在同一时间基准上同步基于帧和基于事件的传感器,使系统能够将事件与每一帧的曝光时间关联起来。利用这些事件,算法便可以捕捉到时间分辨率达 1 微秒的运动,以及与之相关的运动模糊。
利用普诺飞思的“神经拟态机器眼”,相机将提供更为完善、强大和反应迅速的 3D 传感功能,提供身临其境的体验。
工业自动化
* 高速计数 应用场景:物体计数和测量 、药丸计数、机械零件计数等
通过以超过 1,000 个零件/秒的吞吐量实时计算视野中移动的物体,并利用紧凑、经济高效的系统有力地提高生产率。
普诺飞思的“神经拟态机器眼”免去了对超高速、矩阵或线阵扫描相机的需求,降低了设备的成本和复杂性。Imago VisionCam EB现已将普诺飞思基于事件的视觉技术应用于工业部署。
* 振动监测 应用场景:运动监测、振动监测、预测性维护的频率分析
通过追踪场景中每个像素的时间变化,以像素级精度连续远程监控振动频率。对于每个事件,都会记录像素坐标、变化的极性和确切的时间戳,从而提供对振动模式的全局、持续理解。
医疗
* 基于实时细胞批量无菌测试的下一代细胞疗法
标准的无菌测试依赖于几十年前的微生物学,通常需要 7-14 天的时间来完成。从而影响了有关细胞治疗的发展。
使用普诺飞思原视觉(Metavision®)传感器和 AI 模型来检测、跟踪和分类污染物,Cambridge Consultants 构建了一个自动化的污染检测系统,该系统能够持续更新,并在几毫秒内提供反馈。
* 借助光遗传学治疗恢复部分视力的首个病例
《自然-医学》(Nature Medicine)发表了首例晚期视网膜色素变性 (RP) 失明患者恢复部分视力的病例报告。该患者接受了 GenSight Biologics 的 GS030 光遗传疗法试验。
GS030将单次玻璃体内注射的基因治疗(GS030-dp)与可穿戴式光电视觉刺激装置(GS030-md)相结合
这一项目将基因疗法与光刺激医疗设备与护目镜的形式相结合,通过普诺飞思基于事件的原视觉(Metavision®)传感器来感知世界。
— 未来 —
进一步加强在中国商业化落地
基于本轮的融资合作,普诺飞思将加速下一代神经拟态视觉传感技术的硬件和软件产品的开发与商业化;针对新兴市场规划产品路线;完善基础设施,支持运营及规模扩张。此外,普诺飞思已经将中国总部设立在上海,还将依托合作伙伴的各项优势,进一步加强在中国的商业发展与资源积累,满足市场与客户不断增长的需求,并在半导体、工业、机器人、物联网和移动设备等关键生态领域建立更广泛的合作关系。
在新一轮投资人的支持下,普诺飞思将进一步扩大在中国市场的影响力。小米和韦豪创芯的战略参与,也为普诺飞思进入关键的移动设备和半导体领域提供了支持。
“小米对神经拟态视觉以及人工智能技术领域,保持密切关注,普诺飞思在该领域积淀深厚。”小米集团战略投资部管理合伙人李建滨表示,“我们关注并支持能够为人们带来更美好生活体验的前沿技术,让每一个人都能享受到科技的乐趣。”
“通过过去10年的技术和产业演进,视觉CIS已经非常广泛渗透进手机、智能汽车产业,也深刻的影响着我们每一个人的日常生活,韦豪创芯密切关注任何对于视觉感知有促进的技术创新。” 韦豪创芯合伙人梁龙表示,“这次非常有幸参与普诺飞思的投资,并希望与其一起推动神经拟态传感器技术的发展,并将先进技术尽快落地产品化,让手机、AR/VR,自动驾驶乃至城市生活的‘眼睛’可以看得更快,更准,更智能。”
“得益于本轮融资,普诺飞思将进一步在神经拟态机器视觉,以及人工智能相关领域树立领导地位。我们将扩大在全球,尤其是中国市场的客户规模,并推广普诺飞思革命性的基于事件的视觉传感方案。”普诺飞思联合创始人兼CEO Luca Verre表示。“公司在持续地更新战略,以满足目标细分市场的发展需求,包括移动设备、汽车、AR 和工业自动化等。创新工场、小米和豪威科技等行业领导者的支持,将进一步助力我们强化专业积淀、完善业务网络,让我们在相关生态领域占领优势地位 。”