面向自主驾驶车辆的智能摄像头新技术

admin

          随着摄像头系统在车辆中的应用日趋普遍，对改型仪表板录像机（行车记录仪）、辅助驾驶、报警摄像头、倒车摄像头以及夜视系统的需求也与日俱增。 由于消费者对这些系统的功能需求日益增多，所以各种新型摄像头技术应运而生。它们既可以单独使用，也可以和复杂的传感器融合应用中的标准 CMOS 图像传感器一起使用。

       同时，因为有众多参考设计和开发工具可供您快速上手，所以采用这些新技术来开发系统变得前所未有的简单。 下面是我们认为在这一富有挑战性的应用领域最具前景的部分精选技术和工具。

红外摄像头

     红外摄像头的成像依据是波长超过可见光的红外线，也就是说，发热的物体看上去较亮，而较冷的区域将看上去较暗。 这对于机器视觉系统十分有用，因为它可以检测视场内的人或动物，可能包括在车辆周围公路上活动的行人、宠物或野生动物。 在增强可见光摄像头的噪声数据方面，红外技术尤为有效；但红外摄像头也可以作为夜视系统单独使用，帮助驾驶者在黑暗处行车或倒车进入昏暗车库时发现行人或动物。 在车内，红外摄像头可以检测有无宠物或孩童，以免他们被遗忘在高温车厢内，在基于摄像头的控制系统中也可用于手势识别。

      多年来市场上出售的红外摄像头都采用检测长波红外线 (LWIR) 的 CMOS 图像传感器形式，但由于所检测波长较长，导致所能检测到的物理尺寸有限制，其外型也相对笨重，直到近期，情况才有所改善。 如今的处理技术和小型化技术已经能生产出微小型设备，且其价格是传统热成像摄像机的十分之一，因此得以广泛应用于消费类电子产品和车辆成像系统。

图 1：(a) FLIR Lepton 小型红外摄像头。 (b) Lepton 摄像头模块框图。

     FLIR Systems 的 Lepton 红外摄像头就是顺应这一趋势的完美典范。 最前沿的制造技术能够作为成像器自身一部分在制造过程中从晶圆级构建出低成本的透镜，从而减少工艺步骤数。   晶圆级封装与单片集成控制电子元件（其中包括 DSP 和 SPI 接口）相结合，可使器件的封装降至最小——80 x 60 像素的摄像头，足以小到可以安装到如今很多手机摄像头所用的 32 针连接器中。 有三种型号的摄像头视场设置为 25° 或 50°，可查看范围更广的场景或用于更长距离成像。

    Lepton 热成像相机分线板是 FLIR 针对此摄像头提供的评估板，可以极其快速地评估这些红外摄像头模块，并且它兼容各种基于 ARM 的开发系统，例如 BeagleBoard 和 Raspberry Pi。

3D 飞行时间摄像头

     针对车载摄像头推出的另一项技术是飞行时间 (TOF) 3D 图像感应技术，这一技术的推出归功于集成度和小型化的发展。 这些复杂的设备可有效地映射 3D 表面，精度达到毫米级。 激光 LED 发出调制式红外光后，传感器检测到其反射光。 然后再测量照射光和反射光之间的相移，并据此计算视场内物体和传感器之间的距离。 此计算将按每个像素进行，结果将用于产生三维图像数据的点图。

      与其它 3D 成像方法相比，如使用两个摄像头产生立体视觉或将结构化光图案投射到场景上并测量失真方式，TOF 技术在物理紧凑性、响应时间和简洁性方面更胜一筹。 相对而言，它也不受环境光条件变化影响。

很容易想象，如何在汽车装置中使用 TOF 3D 摄像头，为倒车摄像头系统提供更为精细的数据，以辨别倒车车辆和路上任何障碍物之间的距离。 TOF 3D 成像也可用于自动驾驶应用，以帮助汽车了解场景（因为它有助于分离背景和前景），或在汽车内部用于人脸识别或手势检测系统。

图 2：(a) TI 针对其 TOF 传感器的摄像头开发工具框图。 (b) 传感器板。

       市面上供应的 Texas Instruments TOF 传感器：OPT8241。 此 QVGA 格式传感器（320 x 240 分辨率）最大帧率为 150 fps，支持高像素调制频率 (> 50 MHz) 且信噪比提高至 5 倍。 设计与此 IC 搭配使用的是 OPT9221 TOF 控制器，其中包括了可编程定时发生器，用于控制图像的光调制、读出和数字化序列。 由于定时发生器可编程，所以可以根据很多个变量进行优化，包括环境光消除和运动鲁棒性，并且它还可用兴趣区域来编程。

TI 针对 TOF 传感器的摄像头开发工具（图 2）具有 OPT8241 图像传感器，外加 OPT9221 TOF 控制器以及一个模拟前端 (VSP5324)。 采用此设置，帧率最高可达 60 fps，视场为 75°（水平）和 60°（垂直）。 它可映射最远 4 米外的物体，因此最适合提醒驾驶者即将碰到柱子。

人脸识别

最新的摄像头技术不但价格低廉而且处理器尺寸紧凑，因此已经有人开发出了人脸识别板，例如 Omron B5T HVC（人类视觉元件）。 使用复杂的专有算法，Omron 的识别板可以识别人的脸和手势，甚至会尝试猜测所检测脸部的表情。 识别人是车辆应用方面一项十分有用的功能，可用于检测驾驶者并将收音机调到他们最喜欢的频道，或预先加载导航系统，将其设为他们喜欢去的地方。 或在孩子们在车里时告诉娱乐系统并将节目限于适合全家共赏的内容。 此外，也可用于单纯计算乘客数量并相应调整空调系统。

                                                                                    

图 3：Omron 人脸识别板。

      Omron 的算法还可实现像检测眼睛何时闭上甚至估计凝视方向之类功能，现已广泛用于数字摄像头来辨别对象何时看向摄像头。 这些功能可用于售后摄像头系统，检测驾驶者是否在看路或被车内其他事物分心，也可以在他们快要睡着时发出警报声叫醒他们。

Omron 的人脸识别板只有 60 x 40 mm 见方，并且耗电不足 0.25 A。该识别板很容易数字值来作为参数，用户 ID、每只眼睛的眨眼程度、水平和垂直凝视角度、估计年龄等，且可以选择使用获取的图像。 距摄像头 1.3 米之内效果最佳。

双仪表板摄像头

     安装在仪表板和挡风玻璃上的摄像头可记录车外情况，在市场上很受欢迎，因为它们通常被用作“黑匣子”来确定事故中的过错方。 随着消费者对这些系统的接受度增加，他们将获得车道偏离或前方碰撞提醒功能，这都得益于图像处理技术。 因为这些系统越来越复杂，有些使用双摄像头实现 3D 立体视觉或物体检测，或只是单纯为了获得前端和后端视野（通过前后窗口）。

图 4：(a) Lattice 双输入参考设计框图。 (b) 采用 MachX02 双图像传感器接口板结构的参考设计。

      采用双摄像头输入系统的挑战在于保持图像质量的同时使成本降低。 虽然有些系统使用两个摄像头模块和两个图像处理器，或使用一个较为昂贵的可以处理两个输入的处理器，但实际上，大多数图像处理器可以支持来自两个图像处理器的数据，虽然它们一直被设计为只处理一个输入。Lattice 已提出使用其 MachX02 可编程逻辑器件作为桥接器的适用于双摄像头系统的参考设计（图 4）。 此设计允许两个摄像头与一个图像处理器交互，从而降低零件数量和成本。  它可以同步、合并串联传感器接口并可将其转换为 CMOS 并行总线。

     此参考设计可以使用 MachX02 双图像传感器接口板、9MT024 传感器 NanoVesta Headboard 和 HDR-60 开发工具进行构建。 Lattice 器件能够解串两个传感器接口，然后在 SDRAM 辅助下组合图像进行帧缓冲。 输出为组合图像的并行总线，因此图像信号处理器可以处理该数据流。

       随着行业在面向自主驾驶车辆的智能摄像头系统领域不断取得进步，部分技术已应用于普通轿车。 新的摄像头技术以及复杂的图像处理解决方案应用越来越广，这些创新可用于改型摄像头系统，增加现有车辆的智能水平，提高舒适性、娱乐性和安全性。