随着世界能源需求激增，太阳能因其具有无污染的优点已成为最具开发潜力的可再生能源之一^[1]。太阳能电池板在生产过程中会出现多种缺陷类型，如断栅、裂纹、黑片、实心黑等，影响发电效率，因此在生产过程中对太阳能电池板的缺陷检测至关重要^[2]。随着图像分析技术及机器视觉技术的快速发展，自动视觉检测技术得到突破。未来，自动视觉检测将逐步取代人工检测^[3]。当前，深度学习^[4]作为一种像素级的检测方式已被广泛应用于缺陷检测领域。

深度学习是以深度卷积神经网络(Convolutional Neural Networks, CNN)^[5]为基础的复杂模型，可实现高精度的分类及检测任务。在太阳能电池板的缺陷检测研究中，唐政等^[6]采用Densenet121替换YOLOv4的主干网络，通过将原算法非极大值抑制(NMS)改进为Softer-NMS，提升模型的检测能力。陶志勇等^[7]提出了一种T-VGG轻量级卷积神经网络模型，该模型结合了融合注意力机制和Ghost卷积层的创新技术，并引入批标准化。实现对电池片缺陷的高精度和高速检测。

本研究基于改进YOLOv4^[8-9]来完成目标检测任务。为减少检测模型计算量，采用2种方式实现模型的轻量化。为提升模型识别率，提出改进注意力机制和一种新的激活函数。通过消融实验并与主流模型进行对比研究，在增强后的数据集中验证本研究算法的有效性。

1.   太阳能电池板图像数据集处理

1.1   图像预处理

限制对比度的自适应直方图均衡(Contrast Limited Adaptive Histogram Equalization, CLAHE)预处理通过调整阈值参数对直方图的分布产生限制。通过对直方图中大于阈值参数的部分进行修剪，再将修剪部分均匀分配在直方图中，从而有效避免因对噪声点的过度增强而产生的干扰。

1.2   扩充太阳能电池板图像数据集

针对太阳能电池板数据集不足，对原数据集进行扩充增强，避免在训练中出现过拟合。所用数据集共有576张缺陷图，均来自于ELPV-dataset数据集，可分为断栅、裂纹、黑片、实心黑这4种缺陷。先通过CLAHE图像对部分图像进行预处理，避免对噪声点的过度增强，设置原数据量与增强后数据量之比为1 ∶ 3，并扩充原始数据集(表 1)。

表  1  检测实验样本数量的设置

Table  1.  Settings of the sample size for detection experiments

数据集	断栅	裂纹	黑片	实心黑	混合缺陷	总计
训练集	467	467	333	387	189	1 843
验证集	59	59	41	48	23	230
测试集	58	58	42	49	24	231

下载: 导出CSV 

| 显示表格

2.   改进的YOLOv4网络

2.1   骨干网络的轻量化

YOLOv4作为单阶段目标检测算法，结构上包含输入(Input)、主干(Backbone)、特征融合网络(Neck)和头部(Head)这4部分。通过Backbone对输入图像进行特征提取，然后由Neck对提取的特征多样性进行增强处理，最后利用Head来获取整个模型的输出数据并得到预测结果。

2.1.1   主干网络替换

HAN等^[10]提出了可减少大量算力的GhostNet算法。在GhostNet算法中，将卷积操作分为2个步骤：(1)利用普通卷积生成一部分特征图；(2)将生成的特征图进行线性变换进而生成更多的特征图(图 1)。经过线性运算操作后，模型的FLOPs和参数量大幅降低。

图  1  卷积对比图

Figure  1.  Convolutional comparison chart

下载: 全尺寸图片 幻灯片

Ghost Bottleneck(G-Bneck)由2个Ghost模块组成(图 2)。第1个可视为通道扩展层，按照预设的比例扩充通道数。第1个可视为通道缩减层，使得各层之间的通道数互相匹配。

图  2  Ghost瓶颈层的结构

Figure  2.  Structure of the Ghost bottleneck layer

下载: 全尺寸图片 幻灯片

由图 2可知，第1个Ghost模块用于扩展输入特征层的通道数，而第2个Ghost模块用于缩减通道数，其中步长为2的Ghost瓶颈层加入了深度可分离卷积层，旨在减少网络参数量并减小因特征图几何变换而产生信息重叠的影响。本研究采用GhostNet对CSPDarknet-53进行替换(图 3)。

图  3  GhostNet-YOLOv4模型

Figure  3.  GhostNet-YOLOv4 model

下载: 全尺寸图片 幻灯片

2.1.2   头部网络与颈部网络的轻量化

与传统卷积操作相比，深度可分离卷积降低了模型参数量及所需计算量。为进一步减少模型的参数量，利用深度可分离卷积(Depthwise Separable Convolution, DW)^[11]对模型颈部Neck模块、下采样以及头部Head中的3×3与5×5的标准卷积进行替换。

2.2   改进的注意力机制

在太阳电池图像缺陷检测中，背景噪声及母线干扰将影响检测的精度，通过引入注意力机制，侧重提取图像中的缺陷特征。为进一步减少模型参数，采用轻量级注意力模块，融合高效通道注意力(Efficient Channel Attention, ECA)^[12]模块与改进的通道注意力模块，替换原GhostNet中挤压激发注意力(Squeeze and Excitation, SE)^[13]模块，进一步加强网络模型对缺陷特征的提取，抑制不相关区域特征的提取。图 3为本研究提出的通道-空间注意力模型结构图。该注意力模型包含ECA通道注意力模块与改进空间注意力模块两部分。

ECA通过卷积核大小为k的一维卷积跨通道交互替换全连接层，计算每个通道权重：

式中，ω_c(y)为通道权值；σ为Sigmoid激活函数；C_{1D, k}为一维卷积，通道交互k与输入特征图通道数C成正比，根据通道维数相关函数，采用自适应方式确定k，即

由此可得卷积核大小k

在原空间注意力模块中，计算公式:

其中，y是经过通道注意力处理后的输入特征图；AvgPool(y)为平均池化；VarPool(y)为全局方差池化; MaxPool(y)为最大池化；σ为Sigmoid函数；f是卷积运算。

本研究通过观察特征图的数值信息，发现部分特征信息数值离散程度较大，最大值与平均值来表达数据特征，难以满足信息均衡，因此在空间注意力中引入方差池化，可提高池化结果表达能力，从而更高效地利用通道间的有效信息。对此，提出一种改进的通道-空间注意力模型(图 4)。

图  4  改进通道-空间注意力模型结构图

Figure  4.  Structural diagram of improved channel-space attention model

下载: 全尺寸图片 幻灯片

改进后的计算公式：

2.3   一种新的激活函数

为提高网络模型识别精度，减少过拟合现象，本研究提出一种新的激活函数S-T-ReLU。S-T-ReLU激活函数相较于ReLU激活函数做出以下两点改进：

(1) 负半轴采用Softsign激活函数负半轴部分，保证较小的负值信息传递，且梯度逐渐收敛。

(2) 函数正半轴对输入添加限制，以超参数的形式引入，减少过拟合现象。

S-T-ReLU激活函数公式：

S-T-ReLU激活函数图像如图 5所示。S-T-ReLU激活函数由3个分段函数组成，当X < 0时，函数为Softsign激活函数的左半部分，Softsign激活函数具有相对平稳的学习曲线，负半轴拥有逐渐收敛于0的梯度，保证适当负值信息的学习，提升检测精度。当Threshold≥X≥0时，函数为ReLU激活函数，加速模型收敛。当X≥Threshold时，函数输出恒为Threshold，通过引入阈值，减少过拟合现象，但超参数Threshold的最优数值确定针对不同数据需经过多次实验验证。因此，将改进的YOLOv4主干网络及深度可分离卷积中的ReLU激活函数替换为S-T-ReLU激活函数，以提高模型的识别精度。

图  5  S-T-ReLU激活函数图像

Figure  5.  S-T-ReLU activation function image

下载: 全尺寸图片 幻灯片

3.   实验分析

3.1   模型训练方式及参数设定

在模型训练时，首先冻结主干网络的权值更新，然后采用解冻训练，最后更新整个网络模型的权值。训练参数及优化器参数见表 2，损失和验证损失曲线如图 6所示。

表  2  改进的YOLOv4网络模型参数

Table  2.  Improved YOLOv4 network model parameters

训练方式	周期数	优化器	学习率	学习率衰减量	单批次数据量
冻结训练	200	Adam	1×10-4	0.94	8
解冻训练	200	Adam	1×10-3	0.94	8

下载: 导出CSV 

| 显示表格

图  6  训练损失及验证损失曲线

Figure  6.  Training loss and validation loss curves

下载: 全尺寸图片 幻灯片

训练损失值及验证损失值随着训练周期的增加呈现衰减趋势，在周期数为200时，模型开始解冻训练，训练损失及验证损失降低，最终接近稳定，模型得到收敛。

3.2   S-T-ReLU激活函数对比试验

将改进模型中的ReLU激活函数替换为S-T-ReLU激活函数，调节实验参数与表 2相同，通过多次实验确定S-T-ReLU在本数据集上的最优阈值(图 7A)。在本数据集上，当x=34时mAP最高，模型的检测效果也最优。图 7B~图 7F为改进模型在阈值x=34时的mAP及各项缺陷AP结果(hp、sxh、ds、lw)。

图  7  S-T-ReLU激活函数的对比性能

Figure  7.  Comparative performance of the S-T-ReLU activation function

下载: 全尺寸图片 幻灯片

3.3   消融实验

3.3.1   算法精度验证

为验证本研究所提出的改进方法对提升网络模型识别率的有效性，了解改进方式之间的相互作用，本研究进行了消融实验。消融实验具体方式如表 3所示。其中+G表示在原始YOLOv4网络中增加采用GhostNet替换原CSPDarknet-53主干网络，+D代表采用DW卷积替换传统卷积，+AT代表将原GhostNet中的SE注意力机制替换为本研究提出的改进ECA注意力机制，+S代表采用S-T-ReLU激活函数替换主干网络以及3次卷积中的ReLU激活函数。

表  3  精度验证消融实验

Table  3.  Precision validation ablation experiments

方法	+G	+D	+AT	+S	mAP/%
1	×	×	×	×	94.64
2	$\checkmark$	×	×	×	93.21
3	×	$\checkmark$	×	×	93.27
4	×	×	×	$\checkmark$	94.89
5	$\checkmark$	$\checkmark$	×	×	93.04
6	$\checkmark$	$\checkmark$	$\checkmark$	×	95.61
7	$\checkmark$	$\checkmark$	$\checkmark$	$\checkmark$	95.70

下载: 导出CSV 

| 显示表格

4种改进方式均会产生不同的检测结果，引入Ghostnet及DW模块后，由于卷积方式发生了改变，会影响模型的检测能力，降低mAP；通过引入注意力机制，较大幅度提升了mAP，可能是由于在图像噪声与检测目标相似的情况下，引入改进的注意力机制能使模型更加注重缺陷目标的位置，提升模型识别能力；通过引入S-T-ReLU激活函数后，确保较小的负值信息输入的同时限制正值信息的全部输入，从而提升模型的mAP。

为更加直观感受模型改进前后的性能对比，将裂纹缺陷的图像分别输入原始YOLOv4和GhostNet-YOLOv4模型，在模型的每层卷积之间所提取的特征图进行细节对比(图 9)。在第三个Stage的卷积层中，改进前后的模型均能比较清晰地显示图像的细节部分，2种模型所生成的特征图之间并无较大差异。在Stage 4中，原始YOLOv4所提取的特征图像已经逐渐模糊且难以辨别图像的缺陷细节，而GhostNet-YOLOv4仍能生成较清晰的缺陷特征图。在Stage 5中，原始YOLOv4所提取的特征图像已经完全模糊，而GhostNet-YOLOv4所生成的缺陷特征图尚可辨别缺陷特征，证明了改进算法的有效性。

图  9  特征图细节对比

Figure  9.  Comparison of feature map details

下载: 全尺寸图片 幻灯片

3.3.2   算法的其他性能验证

为进一步验证改进方式对模型其他性能方面的影响，本研究分别以模型Params、FLOPs、模型大小以及FPS作为评判标准。方法1至方法7与3.3.1节中保持一致，实验结果见表 4。引入GhostNet及DW模型后降低了模型的参数量、FLOPs、模型体积，提高了运算速度，尤其是替换GhostNet主干网络后，显著降低模型的FLOPs；引入改进的注意力机制后，与原SE注意力机制相比，模型参数量更低，模型体积更小，FPS增长0.6；引入S-T-ReLU激活函数后，对模型的参数量、FLOPs、模型体积的影响不大，但与ReLU激活函数相比，其计算更复杂，模型的FPS略微降低。

表  4  其他性能验证消融实验

Table  4.  Other performance verification ablation experiments

方法	FLOPs/G	模型大小/MB	参数量/M	FPS
1	111.35	244.79	60.99	24.9
2	47.68	150.30	37.46	27.6
3	75.79	137.05	34.04	29.3
4	111.35	244.79	60.99	24.7
5	12.13	42.56	10.51	33.2
6	12.13	36.89	9.08	33.8
7	12.13	36.89	9.08	33.7

下载: 导出CSV 

| 显示表格

3.4   不同算法对比试验

为验证本研究所提出的方法在太阳能电池板缺陷检测中的性能，选取SSD^[14]、Faster R-CNN^[15]、YOLOv3^[16]、MobileNet-YOLOv3^[17]、YOLOv4的目标检测模型作为对比，实验结果见表 5。针对不同类型的缺陷而言，GhostNet-YOLOv4及其余模型在检测精度方面均存在较大差异，其中断栅、黑片在YOLO系列的模型中具有较高的AP，且检测效果较好，但实心黑缺陷的AP略低于其余3种缺陷。可以看出，本文所提方法使得大部分缺陷的AP都明显上升，相比改进前YOLOv4的mAP提升了1.06%，特别是在实心黑的检测效果方面，提高了1.56%，也进一步说明本文算法对于不同尺度缺陷检测的有效性。在模型尺寸大小、参数量及FLOPs方面，本文算法均优于其余5种检测模型。与原始YOLOv4模型相比，改进后模型的FLOPs降低了89.11%，模型体积减小了82.61%，模型参数量减少了82.77%，在运算速度方面，本文算法的FPS低于SSD和MobileNet-YOLOv3，相比原始YOLOv4模型，改进后的模型FPS提升了35.34%，具有良好的实时性，基本满足太阳能电池板缺陷检测的需求。

表  5  不同模型的实验结果对比

Table  5.  Comparison of experimental results of different models

模型	AP/%				mAP/%	FLOPs	模型体积/MB	参数量/M	FPS
	ds	lw	hp	sxh
SSD	79.24	87.74	98.62	75.96	85.39	238.08 G	90.76	26.15	43.6
Faster R-CNN	85.67	88.15	94.56	80.38	87.19	324.51 G	204.01	43.96	8.1
YOLOv3	95.10	91.91	96.96	89.40	93.34	116.30 G	241.31	61.52	29.2
MobileNet-YOLOv3	93.59	91.06	97.73	87.68	92.52	37.38 M	91.08	22.68	36.2
YOLOv4	96.64	92.67	97.72	91.52	94.64	111.35 G	244.79	60.99	24.9
本文模型	97.60	93.79	98.32	93.08	95.70	12.13 G	36.89	9.08	33.7

下载: 导出CSV 

| 显示表格

3.5   注意力机制模型对比

3.5.1   不同注意力机制对比试验

为验证本研究提出的注意力模块对检测效果的有效性，本研究基于数据增强的数据集进行3组对比实验，将GhostNet-YOLOv4模型引入通道注意模块SE、ECA、卷积块注意力(Convolutional Block Attention Module, CBAM)^[18]、ECA+SAM以及改进的ECA注意力后进行对比实验，为保障实验的合理性，激活函数均采用S-T-ReLU激活函数且将阈值设定为34，实验结果见表 6。相较于GhostNet-YOLOv4模型，融合了改进ECA注意力机制的模型对所有缺陷特征区域均具有更强的分辨能力。同时，由图 11可知，相较于融合SE、ECA、CBAM、ECA+SAM四种注意力机制的模型而言，融合了改进的ECA注意力机制的模型在仅增加少量模型体积、参数量、FLOPs的情况下，mAP得到有效提升，并且模型的运算速度也几乎不变，不同注意力机制的实验结果对比进一步证明了本文算法的有效性。

表  6  不同注意力机制的实验结果对比

Table  6.  Comparison of experimental results of different attention mechanisms

方法	mAP/%	FLOPs	模型体积/kB	参数量	FPS
GhostNet-YOLOv4+SE	93.04	3 256 037 979	43 585	11 019 285	33.1
GhostNet-YOLOv4+ECA	94.22	3 254 545 919	37 784	9 515 438	33.8
GhostNet-YOLOv4+CBAM	94.93	3 257 334 392	39 254	9 524 318	33.5
GhostNet-YOLOv4+ECA+SAM	95.58	3 255 258 085	37 784	9 516 124	33.7
本文算法	95.70	3 255 614 168	37 785	9 516 467	33.7

下载: 导出CSV 

| 显示表格

3.5.2   不同注意力机制对比可视化

激活热力图(Grad-CAM)的可视化结果为模型检测效果评价提供依据^[19]。为更好地区分不同尺度缺陷的识别情况，对GhostNet-YOLOv4的输出进行可视化操作，进一步加强可视化效果，可视化结果如图 10所示。模型中引入注意力模块能提升太阳能电池板缺陷的识别效果，提取的缺陷特征信息更全面。进一步表明了改进的ECA注意力机制在太阳能电池板缺陷检测中达到了更好的实验效果，提取的缺陷特征信息更全面。

图  10  不同注意力机制的热力图

Figure  10.  Heat maps of different attention mechanisms

下载: 全尺寸图片 幻灯片

4.   结语

以太阳能电池板为研究对象，为了解决太阳能电池板缺陷检测精度不高、效率低的问题，提出一种改进的GhostNet-YOLOv4太阳能电池板缺陷检测算法。总结如下：

(1) 提出一种融合GhostNet的主干网络GhostNet-YOLOv4，并引入DW卷积用于替换传统卷积，使模型在保证检测精度的同时大幅减少参数量及FLOPs，从而提高模型的检测速度。

(2) 提出了一种全新的S-T-ReLU激活函数，函数的负半轴采用Softsign负半轴部分，正半轴对输入添加限制，以超参数的形式引入，减少过拟合现象对实验结果的影响。

(3) 提出了一种全新的注意力机制，本研究采用轻量级注意力模块ECA-Net与引入全局方差池化的通道注意力模块相结合的全新注意力机制，在增加少量的参数量的同时提升了识别的精准性。

后续研究可通过不同方法解决太阳能电池板缺陷数据不足的问题，进一步提高检测精度，减小模型体积，提升检测速度，并且对S-T-ReLU激活函数阈值范围的确定提出更为快捷、准确的验证方案。