账号:
密码:
智动化 / 文章 /

智慧汽车之眼-单眼摄影机
ADAS应用的挑战与商机(一)
[作者 Aish Dubey]   2017年04月11日 星期二 浏览人次: [8535]


摄影机是以高画质如实捕捉数据资料最精密的机器。如同人类的眼睛,摄影机可以捕捉细腻的影像和生动的画质,其他的感测器如雷达、超音波和雷射,都无法呈现如此美丽的细节。从全球各地洞穴发现的数万年前史前绘画,可以证明图像和绘画辅以感官视觉是传递精确资讯的最佳方法。


有人说,科技界下一个最富挑战性的尖端工程,就是​​即时机器视觉和智慧化。其应用包括但不限于:即时医疗分析(手术机器人)、拥有自主智能的工业用机器和汽车。此系列文章将聚焦在自主先进驾驶辅助系统(ADAS)应用,并探讨为何摄影机和立体视觉是汽车可以安全又自主地「看见」和「驾驶」的关键。


如何选择摄影机?

ADAS需要摄影机的关键应用如图一所示,有些应用只需一套视觉系统,例如前置、后置和侧置摄影机,即可侦测车道、行人、辨识交通号志、侦测盲点和车道。其他如融合雷达数据和摄影感测器的智能主动车距控制巡航系统(ACC),在面对复杂的情况如市区交通、弯曲道路或高速驾驶时,更显重要。



图一: 汽车ADAS的摄影机感测器应用:(a)前置摄影机—车道侦测、行人侦测、交通号志辨识和紧急煞车(b)侧置和后置摄影机—停车辅助、盲点侦测和两侧来车警示系统(Cross Traffic Alert)
图一: 汽车ADAS的摄影机感测器应用:(a)前置摄影机—车道侦测、行人侦测、交通号志辨识和紧急煞车(b)侧置和后置摄影机—停车辅助、盲点侦测和两侧来车警示系统(Cross Traffic Alert)

摄影机所拍摄的真实世界是三维的。而真实世界中不同景深的物体,在录影感测器的二维映射世界中看起来会彼此相邻。图二显示的是Middlebury图片集的照片;显然地,照片前景的摩托车比后方的储物箱靠近摄影机大约两公尺。请注意图中标注的点1和点2。背景中的红箱子(点1)看起来就在摩托车叉的旁边,即使红箱子距离摄影机至少二公尺远。人类的头脑具有透视的能力,能够让我们从2D场景判断景深的远近,不过对汽车的前置摄影机来说,透视分析并不容易。



图二 : 2014年Middlebury图片集照片。前景中的摩托车比储物柜靠近摄影机,尽管在2D平面图所有的物体看起来都相邻。
图二 : 2014年Middlebury图片集照片。前景中的摩托车比储物柜靠近摄影机,尽管在2D平面图所有的物体看起来都相邻。

如果我们安装一支摄影感测器,拍摄到的影片必须进行后制处理和分析,这个系统就叫做单眼(Single-eyed)系统;拥有两支独立摄影机的系统,则称为立体视觉系统。单眼摄影机系统的分析能力可以正确辨识行径路线中的车道、行人、交通号志以及其他车辆,但该系统比较无法做到的是,从它的单眼感测器所接收的2D平面影像来计算真实世界的3D影像。对生来就有两只眼睛的人类和大多数较进化的动物来看,这并不令人意外。


分析单眼摄影机拍摄的影片(影像)高阶流程和演算法来看,第一阶段是影像预处理步骤,透过影像(通常指的是每一个像素)滤波器,除去感测器噪音和其他不需要的讯息。这个阶段也会把从摄影机感测器接收到的BAYER数据格式,转换成可以让接下来的步骤进行分析的YUV或RGB格式。


完成第一阶段特征预除(边缘、哈尔、贾伯滤波、方向梯度直方图)后,第二和第三阶段会进一步分析影像,透过分割、光流、区块比对和模式辨识等演算法找出感兴趣区域(Regions of Interest)。最后一个阶段运用先前阶段产生的区域资讯和特征资料,针对感兴趣区域的物体级别做出智能分析决策。这个简短的解释不完全说明ADAS影像处理演算法,但由于本文的目的是要凸显立体视觉系统所带来的额外挑战和强大的功能,区块演算法的相关资讯已足以让我们深入地探讨这个主题。


单眼摄影机如何从2D数据测量物体距离?

单眼摄影机有两种方法进行距离测量。第一个方法是根据一个简单的原理:物体愈近在镜头里看起来愈大,在画面中所占的画素面积也愈大。假设有个物体被认定是汽车,它的面积可以透过计算覆盖其上的最大矩形面积得出。矩形面积愈大,物体(例如汽车)就愈靠近摄影机。紧急刹车演算法即是藉由计算画面里两个物体的距离,是否比预设的安全数值还要近,来决定是否要启动防撞或驾驶人警示措施。


这个方法的优点是简单明了,不过却有几项缺点。首先,物体必须先被正确的辨识,否则无法正确计算物体的距离。例如图三的情境,有三个行人图形。行人1是个高个子,行人2是个小男孩,这两个行人与摄影机的距离相同。行人3距离摄影机较远,也是个高个子。物体侦测演算法辨识后会在这三位行人上画出矩形。很不幸的,覆盖在离摄影机较近的小男孩(行人2)身上的矩形面积与覆盖在离摄影机较远的高个子(行人3)身上的面积是相同的。因此,2D影像中的物体画素面积并非计算物体与摄影机距离的完美可靠指标。另一个问题是,倘若场景中的物体无法被辨识,距离就无法确定,因为该演算法无法得知物体的画素面积。有许多原因造成物体无法被辨识,例如遮挡、光线、图像伪影。



图三 : 此虚拟图显示移动汽车的摄影机所拍摄到3位行人。行人3和行人2的画素面积一样大,但行人2却比行人3距离汽车近得多。
图三 : 此虚拟图显示移动汽车的摄影机所拍摄到3位行人。行人3和行人2的画素面积一样大,但行人2却比行人3距离汽车近得多。

使用单眼摄影机计算物体距离的第二个方法称为从运动恢复结构原理 (structure-from-motion, SFM)。由于摄影机理论上是在移动中,透过比对连续拍摄的画面可以找出重要特征。对极几何原理(Epipolar geometry)先定义一个约束参数,从移动中(或翻转中)的摄影机连续拍摄的二个画面中,找出一个画素点,约束参数就是此点在3D空间移动的方向。图四即为SFM计算距离的高阶数据流程。



图四 : SFM计算距离的高阶数据流程。稀疏光流(OF)可以被稠密光流(图像上所有画素点的光流)计算取代。上述光流假设是30fps。
图四 : SFM计算距离的高阶数据流程。稀疏光流(OF)可以被稠密光流(图像上所有画素点的光流)计算取代。上述光流假设是30fps。

(本文作者Aish Dubey任职于德州仪器)


**刊头图(Source:YouTube)


相关文章
各式感测器已成为工具机设备的关键元件
联结城与城 工业电脑打造智慧城乡
提升设备效能与价值 AI已是工业电脑的未来
车联网技术研讨会 预告新汽车革命时代来临
智慧制造需求多元 机器视觉设计大不同
comments powered by Disqus
  相关新闻
» IEK: 台湾智慧制造生态系规模底定 加速半导体等关键产业应用扩散
» 意法半导体收购软体开发商Draupner Graphics
» TI最新嵌入式系列解决方案 建立工业自动化系统的第一站
» 意法半导体公布2018年第一季财报
» 以共创模式打造产业化聚落 工研院创新园区揭牌启用
  相关产品
» Vicor推出10kW PowerTablet AC-DC转换器
» 瑞萨扩大提供强固智财(IP)组合的授权
» 英飞凌推出TPM 2.0 原始码软体堆叠
» 东芝推出4引脚SO6小型封装的中压光继电器IC
» APEC 2018Littelfuse推出超低导通电阻1200V碳化矽MOSFET