基于Gabor滤波器的电泳电子纸图像滤波系统设计

何文耀; 刘林威; 黄圳煜; 易子川; 周国富; 水玲玲

doi:10.6054/j.jscnun.2020021

基于Gabor滤波器的电泳电子纸图像滤波系统设计

1.
华南师范大学华南先进光电子研究院，广州 510006
2.
电子科技大学中山学院电子信息学院，中山 5284021

基金项目:

国家重点研发计划项目 2018YFB0407100-02

国家重点研发计划项目 2016YFB0401502

广东省科技计划项目 2014A010103024

广东省教育厅项目 2018KQNCX334

中山市引进创新创业科研团队项目 180809162197886

详细信息

通讯作者:
水玲玲，教授，Email:shuill@m.scnu.edu.cn

中图分类号: TN911.73
计量
- 文章访问数: 1991
- HTML全文浏览量: 1573
- PDF下载量: 45
出版历程
- 收稿日期: 2019-08-26
- 网络出版日期: 2021-03-21
- 刊出日期: 2020-04-24

The Design of Electronic Paper Image Filtering Based on Gabor Filters

1.
South China Academy of Advanced Optoelectronics, South China Normal University, Guangzhou 510006, China
2.
Zhongshan Institute, University of Electronic Science and Technology of China, Zhongshan 528402, China

摘要

摘要: 采集电泳电子纸(EPD)的边缘纹理、鬼影图像时，需避免外界光照条件的干扰，包括光源方向、明暗和色彩等.针对EPD显示画面采集过程中受到的光干扰问题，设计了一种基于Gabor滤波器的图像滤波系统.对于受光干扰的单一灰阶图像，先通过Gabor滤波器降低光照变化和噪声对图像的影响，再通过闭运算进行边缘补偿；对于受光干扰的彩色图像，先提取图像的R、G、B分量，分别对各分量进行Gabor滤波，最后将3组分量重新组合成彩色图像.结果表明：该系统在单一灰阶图像、彩色图像中对光干扰的消除率分别达到39.9%和39.7%.研究结果对降低采集EPD图像时的光干扰具有重要意义.
- 电泳电子纸 /
- Gabor滤波器 /
- 光干扰 /
- 彩色图像滤波 /
- 单一灰阶图像滤波
Abstract: The collection of the edge textures and the ghost image in electrophoretic display (EPD) requires avoiding the interference of outside light conditions, including the direction of the light source, lighting and shade, color and so on. A image filtering method based on Gabor filters is proposed to reduce the lighting interference in the process of collecting EPD images. For a single gray-scale image which is interfered by the lighting, the Gabor filters are used to reduce the influence of illumination variation and noise in the image, and then the edge compensation is performed by the closed operation. For the color image subjected to light interference, the R, G and B components of the image are extracted first. The components are then subjected to filtering with the Gabor filters, and finally the three components are recombined into the color image. The experimental results show that the elimination rate of light interference in single gray-scale image and color image is 39.9% and 39.7% respectively. The results of this study are of great significance in reducing the light interference introduced in EPD image collection.
- electrophoretic display /
- Gabor filters /
- lighting interference /
- color image filtering /
- single gray-scale image filtering

HTML全文

电泳电子纸(EPD)作为一种新型显示技术^[1]，具有视角广^[2]、可擦写^[3]、类纸显示^[4]、超低功耗^[5]、强光下可读的特点^[6].在分析EPD显示效果时，采集的画面容易受到光干扰，影响分析结果.因此，有效克服光干扰对图像采集过程至关重要，也是计算机视觉有待解决的难题^[7].

针对采集图像处理过程中的光干扰问题，不同研究者提出了大量算法，例如：杨颖等^[8]提出1种基于高斯频域低通滤波的方法，解决字符图像光照不均的问题；WANG等^[9]提出了一种提高EPD图像稳定性的算法; 刘先明等^[10]的研究有效改善了直流平衡问题；HSU等^[11]研究了横向电场对粒子驱动的影响，但在测试数据时存在光干扰. YI等^[12]提出了减弱鬼影的算法.但这些研究中均未避免光干扰对数据采集准确性的影响.关于EPD视频播放及驱动系统设计的大量研究^{[1, 13-18]}表明：在测量反射率及分析鬼影时未滤除光干扰，会导致测试数据不够准确.

为了解决这些问题，本文提出了一种基于Gabor滤波器的EPD图像滤波系统.对于单一灰阶图像，先通过Gabor滤波器降低图像中的光干扰，再使用闭运算进行边缘补偿；对于彩色图像，分别对红(R)、黄(G)、蓝(B)分量滤波，再重新组合成彩色图像.该系统在弱化光照干扰、提高图像质量方面具有良好的性能.

1. 研究方法

本实验显示屏采用由E-Ink公司生产的微胶囊EPD，以微控制器为主控单元，以摄像系统所采集的EPD画面为研究对象，使用MATLAB R2016a对采集的EPD画面进行分析，以Gabor滤波器为主要滤波工具，滤除图像光干扰.当EPD画面为单一灰阶图像时，经过Gabor滤波后，使用闭运算进行边缘补偿；当EPD画面为彩色图像时，先提取R、G、B分量，再分别对这3个分量进行Gabor滤波处理，从而滤除光干扰.

1.1 硬件设计原理

电泳电子纸显示画面通过摄像系统将采集的JPG或BMP数据传输到微处理器进行处理，数据保存为“.JPG”或者“.BMP”格式并存放于SD卡，再通过USB Slave接口与PC端连接，读取存放于SD卡的图片.工作流程如图 1所示.

图 1 硬件系统工作流程

Figure 1. The hardware system workflow

下载: 全尺寸图片幻灯片

1.2 软件设计原理

1.2.1 单一灰阶图像滤波原理

Gabor滤波器具有较强的空间位置和方向选择性，并且能够捕捉对应于空间和频率的局部结构信息，通过调整Gabor滤波器的方向、基频带宽及中心频率，能够很好地兼顾信号在空域和频域中的分辨能力；且对于光照、图像的亮度变化及形态具有较强的鲁棒性，通过提取图像在各个尺度和方向上的纹理信息，对图像进行滤波处理，在一定程度上降低了光照变化和噪声对图像的影响，提供图像对光照变化良好的适应性.

将采集的带光干扰的EPD图像作为样本，根据图像RGB的加权和将图像的RGB值转化为灰度值，实现灰度图像的转化：

$H = 0.299R + 0.587G + 0.114B.$

(1)

将图像转换为灰度图像后，采用Gabor滤波器去除光噪声，Gabor滤波函数如下：

$G\left( {x, y} \right) = \left[ {\frac{1}{{2{\rm{ \mathsf{ π} }}{S_x}{S_y}}}} \right]{{\rm{e}}^{ - 0.5{{\left( {\frac{x}{{{S_x}}}} \right)}^2} + {{\left( {y/{S_y}} \right)}^2} + 2{\rm{ \mathsf{ π} i}}\left( {xU + yV} \right)}},$

(2)

其中S_x和S_y分别代表着X和Y方向的差异系数；S_x、S_y通过改变图像的差异系数来控制滤波强度；U和V分别代表X和Y方向的中心频率；U、V通过控制中心频率来影响滤波宽度.

经过Gabor滤波后，图像边缘的亮度骤减，产生边缘失真.系统设计了一种基于单一灰阶图像的边缘处理方法：当所拍摄的电子纸图像为单一灰阶时，经过Gabor滤波后，先对图像进行膨胀处理，将与物体接触的所有背景点合并到该物体中，使边界向外部扩张，填充图像中的小孔与图像边缘处的微小凹陷部分；再对图像进行腐蚀处理.腐蚀是消除边界点，使边界向内部收缩的过程；先膨胀再腐蚀的过程称为闭运算.具体定义为：

结构元素B对图像A的膨胀

$A \oplus B = \left\{ {x:{{\hat B}_x} \cap A \ne \emptyset } \right\}.$

(3)

集合A被结构元素B腐蚀

$A\Theta B = \left\{ {x:{B_x} \subseteq A} \right\}.$

(4)

闭运算

$A \cdot B = \left( {A \oplus B} \right)\Theta B.$

(5)

1.2.2 彩色图像滤波原理

当采集到的EPD画面为彩色图像时，直接使用Gabor滤波会使图像失真，系统设计了一种可以保留原图像色彩的Gabor滤波方法，具体过程：

当采集到的画面为彩色图像时，先提取彩色图像的R、G、B分量：

$R = I\left( {;, ;, 1} \right);$

(6)

$G = I\left( {;, ;, 2} \right);$

(7)

$B = I\left( {;, ;, 3} \right).$

(8)

再对3组分量依次进行Gabor滤波，将滤波后的3组分量R′、G′、B′重新组合成彩色图像.

$I\left( {;, ;, 1} \right) = R';$

(9)

$I\left( {;, ;, 2} \right) = G';$

(10)

$I\left( {;, ;, 3} \right) = B';$

(11)

2. 结果与讨论

2.1 系统硬件电路及软件设计

本系统硬件：微处理器、PC端、USB Slave接口、复位电路、电源电路、联合测试工作组(JTAG)、静态随机存储器(SRAM)、按键、SD卡、LED灯、摄像头和液晶显示器(LCD)，系统硬件框架如图 2A所示. Gabor滤波器滤波流程：导入拍摄的图像，判断是否为彩色；若是则先提取R、G、B分量，设置滤波参数，再分别对这3个分量进行Gabor滤波，最后重新合成彩色图像；若图片为单一灰阶图片，则先将图像转换为灰度图，再设置滤波参数，通过Gabor滤波后进行闭运算；最后输出图像.系统软件流程如图 2B所示.

图 2 系统硬件框架与软件流程

Figure 2. The system hardware framework and the software workflow

下载: 全尺寸图片幻灯片

2.2 单一灰阶图像滤波

对于1张单一灰阶图像，在采集时受到由右下角射入的灯光照射影响，导致图像亮度不均匀(图 3A).通过对图像进行Gabor滤波后得到如图 3B所示的图像.

图 3 Gabor滤波前后的图像对比

Figure 3. The image comparison before and after Gabor filtering

下载: 全尺寸图片幻灯片

图像灰度的方差可以表示图像的均匀性，通过MATLAB计算出滤波后的图像灰度发现，其方差下降了39.9%，这说明图像的均匀性提升了39.9%，也说明滤除了39.9%的光干扰.

利用MATLAB对滤波后的图像作出三维模拟图，以描述图像像素间灰度的变化情况，其中x、y代表灰度图像中某一像素点的位置，z代表当前像素点的灰度.经过Gabor滤波后，图像边缘的灰度出现很大程度的衰减(图 4A).通过实验发现，运用闭运算的形态学运算处理后，图像边缘衰减现象明显下降(图 4B).

图 4 Gabor滤波和闭运算得到的三维模拟图

Figure 4. The 3-dimensional simulation curves obtained with Gabor filtering and closed operation

下载: 全尺寸图片幻灯片

为了验证本文方法的优越性，在相同条件下将本文方法与其他滤波方法进行对比分析.通过灰度化和高斯低通滤波的方法处理后，图像灰度仍不均匀且整体偏白，可见图像表面的光干扰并没有被滤除；图像的右下角仍有明显的入射光痕迹.而通过本文方法处理的图片灰度较均匀，且右下角入射光的痕迹已基本被滤除(图 5).

图 5 本文方法与其他方法的滤波效果对比

Figure 5. The filtering effect with the current method in compa-rison with that with other methods

下载: 全尺寸图片幻灯片

2.3 彩色图像滤波

当原图像为彩色图像时，直接进行Gabor滤波会使图像失真.通过实验发现，先将彩色图像分解为R、G、B分量，对各分量依次进行Gabor滤波，再按原顺序重新组合成彩色图片，使彩色图像在滤除光干扰的前提下又不失真.为了验证本文方法的优越性，在相同条件下将本文方法与其他滤波方法相比.通过高斯低通滤波方法处理后，图片整体偏亮，且左上方及右下角亮度仍然较高，可见图像表面的光干扰并没有被滤除；而通过本文方法处理后的图片，灰度较均匀，且左上方及右下角的光干扰滤除效果明显(图 6).

图 6 本文方法与其他方法的滤波效果对比

Figure 6. The filtering effect with the current method in comparison with that with other methods

下载: 全尺寸图片幻灯片

图像灰度的方差可表示图像的均匀性(表 1).对于单一灰阶图像，滤波前图像的灰度方差为80.2，通过Gabor滤波后灰度方差为48.2(下降了39.9%)，图像的均匀性仅提升39.9%；通过灰度化后，灰度方差为128.9(上升了60.7%)，图像的均匀性降低了60.7%.通过高斯低通滤波后，灰度方差为79.9(下降了0.4%)，说明图像的均匀性仅提升0.4%.对于彩色图像，在滤波前图像的灰度方差为3 000，通过Gabor滤波后，灰度方差为1 810(下降了39.7%)，说明图像的均匀性提升了39.7%；通过高斯低通滤波后，灰度方差为2 886(下降0.4%)，说明图像的均匀性仅提升0.4%.可见本文的方法可有效滤除EPD图像采集过程中引入的光干扰.

表 1 图像灰度值的方差比较

Table 1. The comparison of image gray scale variance

图像处理	单一灰阶图像		彩色图像
图像处理	灰度方差	方差下降率/%	灰度方差	方差下降率/%
滤波前	80.2	-	3 000	-
本文Gabor滤波	48.2	39.9	1 810	39.7
灰度化	128.9	-60.7	-	-
高斯低通滤波^[8]	79.9	0.4	2 886	0.4

下载: 导出CSV

| 显示表格

3. 结论

针对EPD显示图像采集易受光干扰的问题，设计了一种基于Gabor滤波器的图像滤波系统.对于受光干扰的单一灰阶图像，先通过Gabor滤波降低光照变化和噪声对图像的影响，再通过闭运算进行边缘补偿；对于受光干扰的彩色图像，先提取图像的R、G、B分量，分别对各分量进行Gabor滤波，最后将3组分量重新组合成彩色图像.结果表明：该系统针对单一灰阶图像能有效滤除39.9%的光干扰, 针对彩色图像能有效滤除39.7%的光干扰.该系统的不足之处在于Gabor滤波器参数的设定仍需要手动完成，后期可通过分析不同光干扰场景的数据来统计参数变化规律.

图 1 硬件系统工作流程

Figure 1. The hardware system workflow

下载: 全尺寸图片幻灯片

图 2 系统硬件框架与软件流程

Figure 2. The system hardware framework and the software workflow

下载: 全尺寸图片幻灯片

图 3 Gabor滤波前后的图像对比

Figure 3. The image comparison before and after Gabor filtering

下载: 全尺寸图片幻灯片

图 4 Gabor滤波和闭运算得到的三维模拟图

Figure 4. The 3-dimensional simulation curves obtained with Gabor filtering and closed operation

下载: 全尺寸图片幻灯片

图 5 本文方法与其他方法的滤波效果对比

Figure 5. The filtering effect with the current method in compa-rison with that with other methods

下载: 全尺寸图片幻灯片

图 6 本文方法与其他方法的滤波效果对比

Figure 6. The filtering effect with the current method in comparison with that with other methods

下载: 全尺寸图片幻灯片

表 1 图像灰度值的方差比较

Table 1 The comparison of image gray scale variance

图像处理	单一灰阶图像		彩色图像
图像处理	灰度方差	方差下降率/%	灰度方差	方差下降率/%
滤波前	80.2	-	3 000	-
本文Gabor滤波	48.2	39.9	1 810	39.7
灰度化	128.9	-60.7	-	-
高斯低通滤波^[8]	79.9	0.4	2 886	0.4

下载: 导出CSV

参考文献(18)

[1]	周国富, 易子川, 王利, 等.电泳电子纸驱动波形研究现状与前景[J].华南师范大学学报(自然科学版), 2013, 45(6):60-65. http://journal-n.scnu.edu.cn/article/id/3245 ZHOU G F, YI Z C, WANG L, et al. Present situation and prospect of the driving waveform for electrophoretic display[J]. Journal of South China Normal University(Natural Science Edition), 2013, 45(6):60-65. http://journal-n.scnu.edu.cn/article/id/3245
[2]	DANNER G M, FISKE T G, SILVERSTEIN L D. Display performance for mobile device applications[C]//Proceeding of the 21^st International Display Research Conference. Utsunomiya: The Society for Information Display, 2001: 1635-1638.
[3]	HERTEL D, PENCZEK J. Predicting the viewing direction performance of e-paper displays with front light under ambient lighting conditions[J]. Journal of the Society for Information Display, 2015, 23(11):510-522. doi: 10.1002/jsid.392
[4]	COMISKEY B, ALBERT J D, YOSHIZAWA H, et al. An electrophoretic ink for all-printed reflective electronic displays[J]. Nature, 1998, 394:253-255. doi: 10.1038/28349
[5]	PITT M G, ZEHNER R W, AMUNDSON K A, et al. Power consumption of microencapsulated electrophoretic display for smart handheld applications[J]. SID Symposium Digert of Technical Paper, 2002, 33(1):1378-1381. doi: 10.1889/1.1830204
[6]	ZHOU G F, JOHNSON M T, CORTIE R, et al. Driving schemes for active matrix electrophoretic displays[C]//Proceeding of the 21^st International Display Workshops. Utsunomiya: The Society for Information Display, 2003: 239-242.
[7]	YUAN Q P, YANG X P, GAO L J, et al. Color image single-channel encryption based on tricolor grating theory[J]. Optoelectronics Letters, 2009, 5(2):147-149. doi: 10.1007/s11801-009-8198-4
[8]	杨颖, 戴彬.基于高斯频域低通滤波和图像差分的字符图像光照不均校正法[J].华中师范大学学报(自然科学版), 2013, 47(2):181-184. doi: 10.3969/j.issn.1000-1190.2013.02.009 YANG Y, DAI B. Character images uneven illumination correction method based on Gaussian frequency low pass filtering and image difference[J]. Journal of Huazhong Normal University, 2013, 47(2):181-184. doi: 10.3969/j.issn.1000-1190.2013.02.009
[9]	WANG L, YI Z C, JIN M L, et al. Improvement of video playback performance of electrophoretic displays by optimized waveforms with shortened refresh time[J]. Displays, 2017, 49:95-100. doi: 10.1016/j.displa.2017.07.007
[10]	刘先明, 王利, 易子川, 等.基于直流平衡的电子纸驱动方法的研究[J].华南师范大学学报(自然科学版), 2015, 47(3):10-13. doi: 10.6054/j.jscnun.2015.03.001 LIU X M, WANG L, YI Z C, et al. Research on electronic paper driving schemes based on DC balance[J]. Journal of South China Normal University(Natural Science Edition), 2015, 47(3):10-13. doi: 10.6054/j.jscnun.2015.03.001
[11]	HSU P C, LIN F C, HUANG Y P, et al. In-plane lateral driving phenomena in electrophoretic displays[J]. SID Symposium Digest of Technical Papers, 2012, 43(1):1357-1360. doi: 10.1002/j.2168-0159.2012.tb06056.x
[12]	YI Z C, BAI P F, WANG L, et al. An electrophoretic display driving waveform based on improvement of activation pattern[J]. Journal of Central South University, 2014, 21(8):3133-3137. doi: 10.1007/s11771-014-2285-9
[13]	KAO W C, CHANG W T, YE J A. Driving waveform design based on response latency analysis of electrophoretic displays[J]. Journal of Display Technology, 2012, 8(10):596-601. doi: 10.1109/JDT.2012.2205896
[14]	KAO W C, LIU C H, LIU S C, et al. Towards video display on electronic papers[J]. Journal of Display Techno-logy, 2017, 12(2):129-135. http://cn.bing.com/academic/profile?id=751399dcdb8976684faf0877bb5252af&encoded=0&v=paper_preview&mkt=zh-cn
[15]	KAO W C, TSAI J C. Driving method of three-particle electrophoretic displays[J]. IEEE Transactions on Electron Devices, 2018, 99:1-6. http://cn.bing.com/academic/profile?id=f629bc68c896ad7bc8519e66ca695c4a&encoded=0&v=paper_preview&mkt=zh-cn
[16]	KAO W C, LIU C H. Display performance for mobile device applications animations on electronic papers[C]//IEEE International Conference on Consumer Electronics. New York: IEEE, 2015: 599-600.
[17]	尹倩, 白鹏飞, 周国富.电泳电子纸驱动方式的优化[J].电子技术应用, 2016, 42(4):33-35. http://d.old.wanfangdata.com.cn/Periodical/dzjsyy201604008 YIN QIAN, BAI P F, ZHOU G F. Driving waveform optimization based on electrophoretic displays[J]. Application of Electronic Technique, 2016, 42(4):33-35. http://d.old.wanfangdata.com.cn/Periodical/dzjsyy201604008
[18]	SHEN S T, GONG Y X, JIN M L, et al. Improving electrophoretic particle motion control in electrophoretic displays by eliminating the fringing effect via driving waveform design[J]. Micromachine, 2018, 9(4):143-156. doi: 10.3390/mi9040143

施引文献(1)

期刊类型引用(0)

其他类型引用(1)

资源附件(0)

图(6) / 表(1)

计量

文章访问数: 1991
HTML全文浏览量: 1573
PDF下载量: 45
被引次数: 1

1. 研究方法
1.1 硬件设计原理
1.2 软件设计原理
1.2.1 单一灰阶图像滤波原理
1.2.2 彩色图像滤波原理
2. 结果与讨论
2.1 系统硬件电路及软件设计
2.2 单一灰阶图像滤波
2.3 彩色图像滤波
3. 结论

基于Gabor滤波器的电泳电子纸图像滤波系统设计

通讯作者: 水玲玲，教授，Email:shuill@m.scnu.edu.cn

计量

出版历程