Image Processing during the Pursuit of Beacon Lamp by Smart Cars
-
摘要: 针对自动化系统中的信标定位技术，提出了一种基于图像进行信标定位的方法，并将其应用于智能车竞赛中.综合考虑真实环境的情况，利用中值滤波算法、动态求阈值算法、交换帧丢弃算法、改进型连通域算法和改进型畸变还原算法等多种算法处理线阵CCD和CMOS摄像头采集的图像，研究该方法的误判率.经实验测试和竞赛中的应用检验，该方法能实现智能车在高速行驶时对信标灯目标的追寻，在强光(约200 lx)、弱光(约75 lx)环境下测试1 000次的误判率分别为1.4%和3.2%.研究结果对解决准确定位信标问题具有重要意义.Abstract: To improve the beacon positioning technology in automation system, an image-based beacon positioning method is proposed and applied to smart car competition. The real environment is considered and the median filtering algorithm, the dynamic threshold algorithm, the exchange frame discarding algorithm, the improved connected area algorithm and the improved distortion reduction algorithm are used to process images captured by CCD and CMOS cameras. The error rate of this method is analysed. The results of the experiment and the application of the method in competition show that this method can achieve the goal of searching beacon lights for smart cars at high speed. The error rates of 1 000 tests under strong light(about 200 lx) and weak light(about 75 lx)environments are 1.4% and 3.2% respectively. The research results are of great significance for solving the problem of accurate beacon positioning.
-
Keywords:
- beacon positioning /
- smart car /
- image processing /
- median filtering /
- linear array CCD /
- distortion reduction
-
在20世纪50年代中后期，智能车的概念首次被提出，当时的智能车技术[1]主要由德国、美国、英国等发达国家主导.中国从20世纪80年代开始该领域的研究，虽然与国外相比起步晚，但是也取得了一些阶段性成果[2]，特别是在军事、探测和无人驾驶等领域.
智能汽车一般由机械结构、传感单元、驱动单元和控制单元四部分组成，其中传感单元(机器视觉)是智能车的眼睛，是最不可缺少的一部分，同时也是智能汽车领域重要的研究课题.截至目前应用于智能车的传感单元多种多样，其中比较常见的有红外传感器、接近开关、摄像头、CCD、激光雷达等.得益于上述传感单元的快速更新换代，智能车的研究迅速发展，理论与技术的体系已经越来越成熟和完善.
70年来，智能车领域的研究成果硕果累累：JIANG等[3]提出了基于OV7620摄像机的智能汽车道路信息视频采集与处理研究；CHRISTIAN等[4]针对智能车门内全向摄像头采集的灰度图像，提出了鲁棒背景估计和前景检测的算法，成功地实现了对行人、自行车、汽车等物体的跟踪；SANKET等[5]提出了一种关于车道检测的计算机视觉智能系统，借助车道图像的捕获完成车道检测及识别. WANG等[6]
提出了一种基于BLE的室内停车库寻车步行导航系统等.近几年来，智能车的这些研究已被广泛应用于机器人、物流和无人驾驶等多个领域[7-15]，并且应用前景越来越广阔，但是它也存在一些问题[16](如车辆抢线、追尾、线路乱串等)，因此展开对智能车技术的研究十分必要.
本文基于当前智能车领域的信标定位技术中“多用光通信技术而少用图像处理技术”[11]的问题，提出了一种基于图像处理的信标定位技术，并以第十三届全国大学生“恩智浦杯”智能汽车竞赛的信标组为例应用该方法.
1. 研究方法
1.1 线阵CCD采集图像
线阵CCD是一种由128×1个感光单元组成的线阵传感器，其对颜色和亮度敏感，不同颜色在其拍摄图像中的像素点感光强度差别明显，亮度的情况类似，因此可以利用该特性来检测与环境有明显色差或亮度差的障碍物，以达到避障的目的.图 1为线阵CCD对颜色敏感的示意图，图 1B中圆圈标记的部分为图 1A中白色区域的成像信号.
1.2 CMOS采集图像
CMOS是具有较高帧频率且能实现硬件二值化的摄像头，这减少了软件二值化过程，提高了程序处理的效率. CMOS区别于线阵CCD的特征是它的广角大，分辨率为60 px×80 px，能把具体信标的形状和大小等特性拍摄出来，可以满足定位信标的要求.图 2A是手机拍摄的具体环境(左图拍摄的镜头离信标较近，右图的较远)，图 2B是CMOS摄像头相同环境下拍摄的图像.
![]()
图 2 手机和CMOS在相同环境下采集的图像Figure 2. The images taken by mobile phone and CMOS in the same environment1.3 采用线阵CCD图像检测障碍
线阵CCD在具体的应用中存在以下问题：(1)图像的孤立噪声较大；(2)感光强度受环境光强影响较大.因此，为了让智能车能准确确定前方是否有障碍，本文采用中值滤波算法和动态求阈值算法处理线阵CCD采集的图像.
1.3.1 中值滤波算法
线阵CCD采集图像时会夹杂着各种噪声和干扰，其幅度和出现的位置为高斯过程[7].常用的滤波算法较多，本文对中值滤波算法进行改进.中值滤波器的基本原理是选择一个由多个相邻像素组成的窗口，将该窗口中像素点的感觉强度排序后，取其中值作为滤波器的输出信号，从而滤除图像中的尖锐噪声点[8].
设图像的像素点感光强度为P[i](0≤i≤127)，取1个含有N个像素点的窗口Sx，从图像左边开始步进，让窗口遍历处理图像.
(1) 利用快速排序算法求窗口中像素点的中值：
创建1个跟图像大小一致的数组存放图像中所有像素点的感光强度，再定义2个指针begin(指向数组的首元素)、end(指向数组的尾元素).以数组中的第一个元素的值为参考值key，begin从前往后找出比key大的元素，找到后停下；end从后往前找key小的元素，找到后停下，然后交换这2个元素的值，依次循环操作，直到begin和end相等并交换两者的值.最终可以得到从小到大排序的数组.遍历排序后的数组，找到窗口中像素点感光强度的中值.
(2) 将返回的中值作为滤波器的输出信号.
在保证不失真的前提下，经过中值滤波算法处理后的图像比原图更加整齐，且噪声点明显减少，为下一步的动态求阈值算法做好准备.
1.3.2 动态求阈值算法
现实中的光强是不断变化的，而线阵CCD本身易受光强影响，不同光强下感光强度有明显的差别，因此提出了一种动态求阈值的算法.
若设定固定阈值检测障碍信号，将出现如下情况：当阈值较大时，在弱光(约70 lx)环境中判断不出障碍; 阈值小时, 在强光(约200 lx)环境中正常背景被误判障碍.因此，设动态阈值为A和图像感光强度为P[i](0≤i≤127), 加入N(任意自然数)避免误差.求该帧图像动态阈值
A=127∑i=0P[i]128+N, (1) 若连续多个P[i]满足P[i]≥A，则线阵CCD所拍到的图像中存在障碍，需要智能车做出必要的防撞措施.
1.4 CMOS图像的处理算法(信标检测)
1.4.1 交换帧丢弃算法
由于现实中可能存在灯光闪烁的问题，CMOS采集到的图像可能存在前一帧有信标信号而后一帧无任何有用信息的情况.为此，本文提出一种抛弃包含无用信息的图像而提取有价值图像的思路——交换帧丢弃算法.智能车与信标之间的距离影响着丢弃的帧数，而距离在图像上映射为像素点的行数.因此，在综合考虑智能车的稳定性和高效性之后，采用分段丢弃的思路(图 3).
1.4.2 改进型连通域算法
对于包含有用信息的图像，利用一种快速且准确锁定信标的算法——改进型连通域算法.连通域标记算法有很多种，其中最常见的连通域算法包括One-Pass和Two-Pass[9]. One-Pass算法的运算效率在连通区域的数量级为103及以上时, 效率比Two-Pass算法的高，但是其原理复杂，而正常情况下比赛图像的连通区域数量不超过100.因此本文采用原理更为简单的Two-Pass算法，并通过改进使其适应信标定位.
采用Two-Pass算法对图像进行2次遍历.第一次对图像从上到下、从左往右利用四邻域法(图 4)依次遍历.若当前白色像素点没有与已扫描的白色像素点相邻，则给该像素点一个自增加的label值；若有相邻，则以相邻被标记像素点的最小label值赋给当前白色像素点，并将其存入一个数组中[10].第二次遍历时将同一数组里的label值更换为数组里面最小的label值，以最小label值记录该连通区域块和计算区域的大小和形状.由前面的论述可知，信标离摄像头的距离决定信标在图像中的大小，且信标有固定形状，则利用此特性筛选每个标记的连通区域，排除为噪声的光斑点，最终锁定信标的位置.
1.4.3 改进型畸变还原算法
由于摄像机镜头的原因，拍摄的二维图像都因被压缩而产生畸变，因此只利用连通域算法确定信标位置是不够的.若按照畸变的图像追寻信标，智能车会因这种畸变(图 5A为信标成像位置和实际位置对比)而无法准确锁定信标的真实位置.且由于智能车的行驶，成像位置是实时变化的，这需要智能车实时调整方向，因此会导致追寻路线弯曲(图 5B中的a线为智能车在无畸变还原时的路径，b线为在有畸变还原时的路径).因此，需要利用畸变还原算法还原图像，进而准确确定信标的真实位置，以缩短智能车的追寻路径，节省大量的时间.
图像畸变包括纵向畸变和横向畸变，对于追寻信标的智能车而言，纵向的畸变基本不会对其路径产生影响，只产生纵向距离上远近的变化，因此本文只讨论影响智能车路径的横向畸变.设畸变还原前像素点的坐标为(x, y)，畸变还原后其对应的坐标为(u, v)，则横向畸变的对应关系为[10]
u=ax+by+cdx+ey+1, (2) 其中，a, b, c, d, e为映射系数.
2. 结果与分析
根据第十三届全国大学生“恩智浦杯”智能汽车竞赛发布的《第十三届竞速比赛规则》和《第十三届智能车竞赛信标比赛系统说明》，竞赛场地尺寸35m2(宽5 m，长7 m)，信标系统由信标灯、感应线圈、连线和控制盒组成，在竞赛区域内，随机放置5~10个信标灯，具体的信标系统构成图(图 6)来源于《第十三届智能车竞赛信标比赛系统说明》.
在竞赛中，信标系统只会闪烁1盏信标灯，其余信标灯不亮.对于高速行驶的智能车而言，除了闪烁的信标灯是智能车追寻的目标外，其余未亮信标灯都可能是导致智能车翻车的障碍.因此，为了让智能车既能正确追寻信标灯，又能及时避免碰撞，利用上述线阵CCD和CMOS摄像头分别避障和锁定信标灯位置是一个较优的策略.
在实际竞赛中，信标灯是白色外壳，与场地地面的蓝布之间存在明显的色差(图 6)，因此可以利用线阵CCD拍摄图像对未亮信标灯进行避障.图 7中圆圈标示为未亮信标灯的信号.
![]()
图 7 线阵CCD拍摄未亮信标灯的图像信号Figure 7. The image signal of non-luminous beacon lamp captured by linear array CCD在信标系统中，信标灯除了发红光，同时也发出红外光.利用其发红外光的特点，在CMOS镜头前增加红外滤光片，使成像只保留亮灯的红外光信号(成像为白色区域)，其余未亮信标灯和背景均成像为黑色(图 8).
2.1 中值滤波算法和动态求阈值分析
采用中值滤波算法对CCD拍摄的图像进行滤波处理(图 9)，滤波前的原始图像存在一些孤立噪声，利用中值滤波算法对图像进行处理得到滤波后的图像基本上无毛刺.
利用动态求阈值算法求出阈值，根据测试，将N设为10，恰好满足对信标的检测要求，不会引起误判(图 10).多个像素点高于阈值，则说明智能车前方有障碍，需要智能车做出避让的响应.
2.2 交换帧丢弃算法分析
在交换帧丢弃算法的测试中，选定3个与信标灯距离不同的位置，通过智能车上的LCD屏显示测试的距离.在信标灯不断闪烁时，测试智能车是否能一直识别到信标灯的存在.为了能区别信标灯与智能车距离的不同，在LCD屏上可显示CMOS所采集的图像.同时，当智能车检测到信标灯确实存在时，LCD屏上的“Get_Xinbiao_Flag”变量值显示为1，否则显示为0(图 11).可见，该算法能实现在不同距离且信标灯不断闪烁时识别信标灯的存在.
2.3 改进的连通域算法和改进的畸变还原算法分析
为了测定改进的连通域算法，给竞赛区域增加一些场外光线的影响，由CMOS摄像头采集图像.经过交换帧丢弃算法计算后得到图像，在改进的连通域算法的扫描下，确定连通域，再根据信标的形状和大小最终锁定信标灯的连通域块(图 12A、B).将锁定的信标灯进行畸变还原后，最终确定信标实际的横向位置(图 12C)，最终智能车可以根据图像的位置调整方向并追寻该信标灯.
![]()
图 12 改进的连通域算法计算结果Figure 12. The results of applying the improved connected domain algorithm2.4 误判率测试
误判率的测试主要分为强光(约200 lx)、弱光(约75 lx)2组条件下进行.具体地，在光照强度较强和较弱的情况下，分别让智能车追寻(最大时速约3.5 m/s)1 000个信标灯，统计智能车的误判次数，测试结果如表 1所示.可见，无论在强光还是弱光下，智能车识别信标灯的错误率都较低，强光下的误判率仅为1.4%，弱光下的误判率仅为3.2%，证明本文提出的方案可行.
表 1 误判率测试结果Table 1. The test of misjudgment rate分组 照度/lx 测试次数 误判次数 误判率/% 强光 200 1 000 14 1.4 弱光 75 1 000 32 3.2 3. 结论
针对信标定位技术，提出了一种基于图像处理的方法，对常规图像处理算法(如中值滤波、连通域算法和畸变还原算法等)进行改进，以及针对具体调试情况提出交换帧丢弃算法、动态求阈值算法，将上述所有算法有机结合并应用于竞赛场景中，对线阵CCD和硬件二值化CMOS相结合采集的图像进行处理.该方法经测试和验证，误判率低.本文提出的信标定位图像处理方法为其在智能车领域的应用提供了参考.
-
![]()
图 2 手机和CMOS在相同环境下采集的图像
Figure 2. The images taken by mobile phone and CMOS in the same environment
![]()
图 7 线阵CCD拍摄未亮信标灯的图像信号
Figure 7. The image signal of non-luminous beacon lamp captured by linear array CCD
![]()
图 12 改进的连通域算法计算结果
Figure 12. The results of applying the improved connected domain algorithm
表 1 误判率测试结果
Table 1 The test of misjudgment rate
分组 照度/lx 测试次数 误判次数 误判率/% 强光 200 1 000 14 1.4 弱光 75 1 000 32 3.2 
下载: 导出CSV
-
[1] 王国胤, 陈乔松, 王进.智能车技术探讨[J].计算机科学, 2012, 39(5):1-8. doi: 10.3969/j.issn.1002-137X.2012.05.001 WANG G X, CHEN Q S, WANG J. Discussion on the intelligent vehicle technologies[J]. Computer Science, 2012, 39(5):1-8. doi: 10.3969/j.issn.1002-137X.2012.05.001
[2] 陈明哲.智能汽车发展现状及前景展望[J].黑龙江科技信息, 2016(31):146-147. doi: 10.3969/j.issn.1673-1328.2016.31.140 CHEN M Z. Development status and prospect of intelligent vehicle[J]. Heilongjiang Science and Technology Information, 2016(31):146-147. doi: 10.3969/j.issn.1673-1328.2016.31.140
[3] JIANG Z J, WANG M F, GONG W. The video capture and processing research on smart car road information based on OV7620 camera[C]//2010 2nd International Asia Conference on Informatics in Control, Automation, and Robotics.[S.l.]: IEEE Computer Society, 2010: 108-111.
[4] CHRISTIAN S, SAMARAJⅡT C, GEORG F. Robust image processing for an omnidirectional camera-based smart car door[J]. ACM Transactions on Embedded Computing Systems, 2013, 11(4):1-28. http://www.wanfangdata.com.cn/details/detail.do?_type=perio&id=230d47fd066a50154e78cb599348fffa
[5] SANKET J, MANOJ D, PRASHANT S. Design of compu-ter vision intelligent system for Lane detection[C]//2016 Online International Conference on Green Engineering and Technologies.[S.l.]: Institute of Electrical and Electro-nics Engineers, 2016: 1193-1195.
[6] WANG S S. A BLE-based pedestrian navigation system for car searching in indoor parking garages[J]. Sensors, 2018, 18(5):35-57. http://www.wanfangdata.com.cn/details/detail.do?_type=perio&id=sensors-18-01442
[7] 雷志勇, 刘群华, 姜寿山.线阵CCD图像处理算法研究[J].光学技术, 2002, 28(5):475-477. doi: 10.3321/j.issn:1002-1582.2002.05.019 LEI Z Y, LIU Q H, JIANG S S. Integrative image processing algorithm for linear CCD[J]. Optical Technology, 2002, 28(5):475-477. doi: 10.3321/j.issn:1002-1582.2002.05.019
[8] 刘智嘉, 夏寅辉, 杨德振.基于中值滤波器的红外图像噪声处理的改进方法[J].激光与红外, 2019, 49(3):376-380. http://d.old.wanfangdata.com.cn/Periodical/jgyhw201903018 LIU Z J, XIA Y H, YANG D Z. An improved method for infrared image noise processing based on median filter[J]. Laser and Infrared, 2019, 49(3):376-380. http://d.old.wanfangdata.com.cn/Periodical/jgyhw201903018
[9] 翟永杰, 王迪, 伍洋.基于骨架提取的航拍绝缘子图像分步识别方法[J].华北电力大学学报(自然科学版), 2015, 42(3):105-110. doi: 10.3969/j.ISSN.1007-2691.2015.03.16 ZHAI Y J, WANG D, WU Y. Two-stage recognition method of aerial insulator images based on skeleton extraction[J]. Journal of North China Electric Power University (Natural Science Edition), 2015, 42 (3):105-110. doi: 10.3969/j.ISSN.1007-2691.2015.03.16
[10] 唐小煜, 劳健涛, 李智豪.追寻信标的智能车最优导航策略[J].物理实验, 2018, 38(7):43-46. http://d.old.wanfangdata.com.cn/Periodical/wlsy201807010 TANG X Y, LAO J T, LI Z H. Navigation strategy of intelligent car tracing the beacon[J]. Physical Experiments, 2018, 38(7):43-46. http://d.old.wanfangdata.com.cn/Periodical/wlsy201807010
[11] 史婷婷, 刘卫华, 吴明珠.基于边缘检测的多特征智能图像检索模型[J].华南师范大学学报(自然科学版), 2014, 46(1):27-31. http://journal-n.scnu.edu.cn/CN/abstract/abstract3090.shtml SHI T T, LIU W H, WU M Z. A multi-feature intelligent image retrieval model based on edge detection[J]. Journal of South China Normal University (Natural Science Edition), 2014, 46 (1):27-31. http://journal-n.scnu.edu.cn/CN/abstract/abstract3090.shtml
[12] 李志为, 张百睿, 卢伟雄.鲁棒的车道偏移实时警告系统[J].华南师范大学学报(自然科学版), 2013, 45(4):49-52. http://journal-n.scnu.edu.cn/CN/abstract/abstract3189.shtml LI Z W, ZHANG B R, LU W X. A robust real time lane departure warning system[J]. Journal of South China Normal University (Natural Science Edition), 2013, 45 (4):49-52. http://journal-n.scnu.edu.cn/CN/abstract/abstract3189.shtml
[13] 陈二阳, 张修军, 袁姜红.基于图像识别的自主驾驶智能小车的设计与实现[J].现代电子技术, 2018, 41(18):162-165. http://d.old.wanfangdata.com.cn/Periodical/xddzjs201818038 CHEN E Y, ZHANG X J, YUAN J H. Design and implementation of autonomous driving intelligent car based on image recognition[J]. Modern Electronic Technology, 2018, 41(18):162-165. http://d.old.wanfangdata.com.cn/Periodical/xddzjs201818038
[14] CHEN M Y. The Design and research of the smart path tracing car based on the image recognition[J]. The Open Automation and Control Systems Journal, 2016, 7(1):661-669.
[15] PARK J, LEE J H, SON S H. A survey of obstacle detection using vision sensor for autonomous vehicles[C]//2016 22nd international conference on embedded and real-time computing systems and applications: RTCSA 2016.[S.l.]: IEEE Institute of Electrical and Electronics Engineers, 2016: 264-264.
[16] ZHANG G L, FENG L, LAN L. A novel method of front vehicle recognition[C]//2016 Progress in Electromagne-tic Research Symposium: PIERS 2016.[S.l.]: Institute of Electrical and Electronics Engineers, 2016: 2126-2130.
-
期刊类型引用(2)
1. 张荣辉，黄敏，江华丽，胡香琳. 基于51与K66双芯片的智能小车控制系统. 计算机系统应用. 2022(02): 96-101 . 
百度学术
2. 矫龙. 自动寻车技术在汽车智能网联系统中的应用. 时代汽车. 2021(03): 163-164 . 百度学术
其他类型引用(0)
计量
- 文章访问数: 4799
- HTML全文浏览量: 1425
- PDF下载量: 220
- 被引次数: 2
