Facial Expression Recognition Based on Improved Octave Convolution Algorithm
-
摘要: 针对目前人脸表情识别存在准确率不高、模型复杂和计算量大的问题，文章提出了一种基于八度卷积改进的人脸表情识别模型(OCNN)：使用改进的八度卷积进行特征提取，提高对细节特征的提取效果，降低特征图的冗余，在不增加参数的同时减少运算量，以提高特征提取性能；利用DyReLU激活函数来增强模型的学习和表达能力；使用自适应平均池化下采样层代替全连接层，以减少参数；将模型在大规模数据集上进行预训练，并在FER2013、FERPlus、RAF-DB数据集上进行模型性能验证实验。实验结果表明：训练后的模型权重为10.4 MB，在人脸表情识别数据集FER2013、FERPlus和RAF-DB上的准确率分别达到73.53%、89.58%和88.50%；与目前诸模型相比，OCNN模型的准确性高且计算资源消耗低，充分证明了该模型的有效性。Abstract: Aiming at the problems of low accuracy, complex model and large amount of calculation in current facial expression recognition, an improved facial expression recognition method based on octave convolution was proposed in this paper. The improved octave convolution is used for feature extraction, which improves the extraction effect of detailed feature, decline the redundancy in the feature map, and reduce the amount of calculation without increa-sing the parameters, so as to improve the feature extraction performance; DyReLU activation function was used to enhance the learning and expression capabilities of the model. The parameters are reduced using an adaptive mean pooling downsampling layer instead of a fully connected layer; the model is pre-trained on a large dataset, and then the model performance verification experiment is performed on the FER2013, FERPlus and RAF-DB datasets. The experimental results show that the trained model weights is only 10.4 MB, and the accuracy of the model on the expression recognition datasets FER2013, FERPlus and RAF-DB are 73.53%, 89.58% and 88.50% respectively. Compared with many current models, the OCNN model had higher accuracy and lower computing resource consumption, which fully proved the effectiveness of this model.
-
植被物候是植被生长发育的周期性过程，在调节陆地生态系统碳平衡方面具有重要作用[1-2]，通常可通过观察植被生长、发育、衰老过程中的关键节点(如幼芽萌发时间、叶片展开时间、叶片颜色变化时间)和卫星物候指标(如生长季节的开始日期、高峰期和结束日期)来确定[3]。由于气候变化的加剧将导致全球和地区干旱发生显著变化，干旱会对地区植被物候造成明显影响[4]，因此，必须继续研究干旱与植被物候间的复杂作用机制，以了解未来生态系统物候的动态[5]。
随着卫星数据的广泛使用，全球大尺度物候学崭露头角。遥感方法可以更宏观、便捷地识别植被物候。一般通过定义生长季的开始日期(Start of the Season，SOS)和结束日期(End of the Season，EOS)来研究地区植被物候生长季长度及其对气候变化的响应特征[6-7]。植被物候遥感识别往往是基于植被指数或其他地表参量的季节变化而得。最常用的植被指数包括：归一化植被指数(Normalized Difference Vegetation Index，NDVI)[8]、增强型植被指数(Enhanced Vegetation Index，EVI)[9]、宽动态植被指数(Wide Dynamic Range Vegetation Index，WDRVI)[10]和陆地叶绿素指数(MERIS Terrestrial Chlorophyll Index，MTCI)[11]等。其中，NDVI是植被物候研究中首选的植被指数，其简便有效的计算方法在全球范围内得到了广泛认可[12]。
植被关键物候参数一般是对去噪后的植被指数时间序列进行提取。目前常用的关键物候参数确定的方法主要包括阈值法和植被指数变化检测法，其中，植被指数变化检测法通过直接检测植被指数时间序列曲线的变化特征来提取物候参数[12]，能有效确定植被物候的关键参数[13]。如TATEISHI和EBATA[14]将植被指数时间序列上升幅度最大、下降幅度最大的时间点分别确定为春季物候的开始日期、秋季物候的结束日期。然而，在过去的植被物候与气候影响研究中，通常忽略了双季植被，并且缺乏地面数据校验，物候识别精度有待提高[15-16]。
气候变化导致自然灾害越发频繁。干旱是全球最严重的自然灾害之一，具有复杂、随机、多因素引发的特点[17]，与植被物候变化关系密切。干旱指标是研究物候响应的基础，也是评估干旱对植被物候影响程度的重要指标。在干旱监测和研究物候对干旱的响应中，其定量化标准具有关键地位[18]。据统计，全球有上百种可供研究的干旱指标，各有优缺点，目前还没有一种适用于所有地区和所有时间尺度的指标[19]。标准化降水蒸散指数(Standardized Precipitation Evapotranspiration Index，SPEI)继承了标准化降水指数(Standardized Precipitation Index，SPI)多时间尺度的优点，并考虑了气温对蒸发的影响，能够较好满足多种类型的干旱评估需求[20-21]。同时作为区域干燥程度的气候指标，饱和水汽压差(Vapor Pressure Deficit，VPD)也是植被物候变化的前兆和标志[20-22]。
综上，本研究以中国中高纬度地区为研究区，综合利用GIMMS NDVI3g、气象站点数据和农气站点观测等多源数据，结合干旱指标SPEI和VPD，从更宏观、更全面的角度探讨干旱对植被物候的影响机制，以期为促进区域植被恢复、确保粮食产量与粮食安全提供科学参考。
1. 数据与方法
1.1 研究区概况
鉴于中国30° N以北地区(图 1)的农作物主要以一年一季或一年两季轮种为主，种植方式相对简单。因此，本研究重点探究中国30° N以北地区的植被物候特征及其与VPD、SPEI的响应特征。为了排除非植被土地利用类型变化的影响，研究利用MODIS卫星的土地覆盖气候模拟网格产品(https://modis.gsfc.nasa.gov/)，剔除了2001—2014年间发生土地利用变化的区域、非植被用地类型(如荒地、水体、建筑用地、永久冰雪和永久湿地)以及小于100个像元的植被用地类型。
![]()
图 1 研究区及其植被覆被类型分布图注：该图基于审图号为GS(2023)2767号的标准地图制作，底图无修改。Figure 1. Distribution of the study area and its vegetation cover types1.2 数据来源及预处理
本研究使用GIMMS NDVI3g数据集(半月合成最大值数据，空间分辨率为0.083 33°，来源：https://iridl.ldeo.columbia.edu/SOURCES)，计算了1982—2014年植被的关键物候参数(SOS、EOS)。使用样条插值法，将中国气象数据网(CMDN)提供的1982—2014年786个监测站的逐日降雨量和气温数据插值为栅格数据，以匹配研究区的物候参数(空间分辨率为0.833 33°，来源：http://data.cma.cn/)。地面植被物候数据来自中国气象数据网的农作物生长发育和农田土壤湿度旬值数据集(http://data.cma.cn/)，包含了1992—2013年在778个地点观测的不同植被的发育时期、株高等信息[23]。鉴于农作物种类繁多，为提高提取精度，本研究只选择研究区内种植面积较为广泛的小麦、玉米和水稻作为研究对象，剔除其他不满足条件的站点数据，最终选定了1992—2013年671个站点的小麦、玉米和水稻的生长记录。将地面数据中玉米的三叶期、小麦的出苗期和水稻的移栽期定义为SOS，而玉米、小麦和水稻的成熟期定义为EOS[13]。植被分类数据采用2001—2014年MODIS MCD12C1的IGBP分类数据(空间分辨率为0.833 33°，来源：https://modis.gsfc.nasa.gov/)。SPEI数据来源于中国区域日尺度SPEI数据集[21]。
1.3 植被物候提取与精度验证
1.3.1 Savizky-Golay滤波器
由于大气和云层等因素可能对植被物候提取精度产生影响, 为了提高准确性，本研究采用SG滤波器对每个像素的NDVI时间序列曲线进行重建。SG滤波的公式[24]如下：
Fi=12m+1m∑j=−mCjfi+j, (1) 其中：i是数据序列中数据点的索引, 表示当前正在计算的是哪一个数据点的平滑值；j是与i相关的一个位移索引, 用于在平滑窗口2m+1内对数据点进行遍历；fi、Fi分别为第i个原始数据、第i个过滤后的数据；Cj是滤波窗口的第j个权重值；m是滤波窗口大小的一半。最后, 使用二次样条法插值数据[25]。SG滤波器通过调整滤波窗口大小和多项式拟合阶数这2个参数，可以自由控制曲线的拟合程度[26]。
1.3.2 物候参数提取
鉴于植物生长具有阶段性，本研究通过关注植被生长季的开始日期(SOS)和结束日期(EOS)来探究研究区物候的时空特征。为了识别双季物候，本研究利用重构后的NDVI曲线，通过计算每个像素点的NDVI曲线的二阶导数，找到每个生长季的前半季的局部最大值点，将其作为SOS，而后半季的局部最大值点则被定义为EOS[27]。本研究使用地面实测的物候数据，计算了各省不同植被类型的平均SOS和EOS。为了方便处理数据，文中所有物候参数指标以时间序日(day of the year, DOY)表示，例如1月10日记为一年中的第10天。时间窗口的定义是各省不同植被的SOS和EOS平均值的前后30天[13]。
1.3.3 物候参数精度验证
为确保提取物候参数的准确性，本研究使用地面物候数据集进行验证；鉴于数据获取和目标研究区的植被生长状况，选择了3种植被类型：小麦、玉米和水稻；采用纳什决定系数(Nash-coefficient of determination，R2)[28]、纳什效率系数(Nash-Sutcliffe Efficiency，NSE)[29]和百分比偏差(Percentage Bias，PBIAS)[30]3个统计指标进行精度验证。3个统计指标的计算公式如下：
R2=[∑ni=1(Oi−ˉO)(Pi−ˉP)]2∑ni=1(Oi−ˉO)2∑ni=1(Pi−ˉP)2, (2) NSE=∑ni=1(Oi−ˉO)2−∑ni=1(Pi−ˉP)2∑ni=1(Oi−ˉO)2, (3) PBIAS =∑ni=1(Pi−Oi)∑ni=1Oi, (4) 其中，Pi是被评估成分的第i个预测值，Oi是第i个观察值，P是预测值的平均值，Q是观察值的平均值，n是观察总数。已有研究[31-32]表明: 当R2＞0.6、NSE＞0.5、PBIAS＜0.2时，精度结果可以满足本研究要求。
1.3.4 VPD计算
饱和蒸汽压差(Vapor Pressure Deficit，VPD)是饱和水汽压与实际水汽压之间的差值，能够有效反映区域的空气干燥程度，值越大代表空气越干燥[33]。计算公式如下：
VPD=es−ea, (5) 其中，es、ea分别是饱和水汽压、实际水汽压，计算公式如下：
es=0.61078e17.27∗TT+237.3, (6) ea=RH100∗es, (7) 其中，RH为空气相对湿度。
1.3.5 相关分析
本研究采用Pearson相关分析法，探索不同季前长度SOS、EOS与每个栅格的气候因素之间的相关关系。相关系数(r)的计算公式[34]如下：
r=∑ni=1(xi−ˉx)(yi−ˉy)√∑ni=1(xi−ˉx)2√∑ni=1(yi−ˉy)2, (8) 其中，x、y分别为VPD或SPEI的时间序列、植被物候时间序列，x、y分别为其平均值，n为时间序列长度。当数据服从正态分布时, 可使用如下公式检验相关系数r的显著性:
t=r∗√n−2√1−r2, (9) 其中，t是检验统计量，n是数据的个数。在给定的自由度n-2和显著性水平α下, 通过查t分布临界值表, 查找P值大小，本研究选择P＜0.05作为显著性水平标准，判断是否通过显著性检验。
2. 研究结果与分析
2.1 植被物候参数精度验证
由1982—2014年的地面观测物候与遥感植被物候的验证结果(表 1)可知：3种植被综合物候提取精度验证结果中R2、NSE和PBAIS分别为0.97、0.95和-5.3%。其中水稻的拟合效果最好，其R2、NSE和PBAIS分别为0.99、0.95和-0.6%。结果表明遥感提取的物候参数符合本研究对数据精度的要求。
表 1 植被物候提取精度Table 1. Precision of climate extract candidates作物类型 R2 NSE PBAIS/% 玉米 0.98 0.88 -6.5 小麦 0.97 0.90 -6.3 水稻 0.99 0.95 -0.6 综合 0.97 0.95 -5.3 2.2 植被物候空间分布特征
1982—2014年，中国30° N以北地区中植被的多年平均SOS的空间分布如图 2所示。由单季植被与双季植被第1个生长季的SOS空间分布(图 2A)可知：(1)单季植被与双季植被第1个生长季的SOS并无明显纬度分布差异，在不同植被类型之间差异较大。华北平原地区植被的SOS最早，内蒙古自治区植被的SOS较晚。单季植被与双季植被第1个生长季的SOS集中在每年的第30~180天。(2)内蒙古自治区西部、吉林省和辽宁省等地植被的SOS出现较晚，集中在每年的第110~185天，该地区的植被类型以草地为主。而内蒙古自治区西北部与黑龙江省交界处的植被的SOS主要集中在每年的第100~110天。(3)东三省南部地区植被的SOS相对较早，集中在每年的第80~100天。青海省、西藏自治区与四川省交界处的大部分地区植被的SOS晚于每年的第110天。由双季植被第2个生长季的SOS的空间分布(图 2B)可知：(1)从空间上看，双季植被主要集中在黄淮海平原，双季植被第2个生长季的SOS集中在每年的第200~220天。(2)除河南省西部、安徽省西部的部分地区外，其他地区双季植被第2个生长季的SOS均早于每年的第200天。
![]()
图 2 1982—2014年研究区植被的平均SOS空间分布图Figure 2. Spatial distribution of mean SOS of vegetation in the study area from 1982 to 20141982—2014年，中国30° N以北地区中植被的平均EOS的空间分布如图 3所示。由单季植被与双季植被第1个生长季的EOS的空间分布(图 3A)可知: (1)从内蒙古自治区中部逐渐向西至青海省、西藏自治区等地，植被主要以草地为主，植被的EOS大多出现在每年的第280天之后。(2)在江苏省北部和黄淮海平原等地以作物为主的区域，植被第1个生长季的EOS大多在每年的第220天之前。由双季植被第2个生长季的EOS的空间分布(图 3B)可知：双季植被以作物为主，主要分布在黄淮海平原，其植被的EOS从西南到东北逐渐推迟；双季植被的第2个生长季的EOS主要集中在每年的第260~300天。
![]()
图 3 1982—2014年研究区植被的平均EOS空间分布图Figure 3. Spatial distribution of mean EOS of vegetation in the study area from 1982 to 2014为了进一步探究不同植被类型物候期的差异性，本研究分析了不同植被类型SOS、EOS的差异。由植物生长季的SOS的箱型分布图(图 4A)可知: (1)森林、草地区域的SOS的时间整体差异不大，均集中在每年的第90~110天。(2)由于耕地种植的农作物不同，单双季种植植被间的SOS差异明显。其中早稻和冬小麦的SOS最早平均为每年的第53.64天和第59.43天，而夏玉米和晚稻作为第2季种植植被，它们的SOS也是最晚的，平均为每年的第194.04天和第193.54天。由植物生长季的EOS的箱型分布图(图 4B)可知: (1)早稻和冬小麦的EOS是最早的，平均为每年的第147.63天和第154.01天。(2)第2季植被与单季植被的EOS平均时间非常接近，集中在每年的第285~295天。
![]()
图 4 不同植被类型的SOS与EOS的箱型分布图注：图中数字为对应植被类型的SOS/EOS的平均值。Figure 4. Box distribution diagram of SOS and EOS in different vegetation types2.3 植被物候对干旱的响应特征
2.3.1 SOS对季前VPD的响应特征
1982—2014年，中国30° N以北地区植被的SOS与季前VPD间相关性的空间分布(图 5A)和统计结果(图 5B)表明: (1)研究区内，有64.48%的地区植被的SOS与季前VPD呈负相关，其中38.1%的地区的相关性结果通过了显著性检验。这些区域主要位于吉林省、黑龙江省和内蒙古自治区的东北部。(2)研究区内，有13.23%的地区植被的SOS与季前VPD呈显著正相关，主要分布在辽宁省与内蒙古自治区的交界地区。由于全球变暖，全球饱和水汽压差会呈现增加的趋势，将使得我国东北北部植被物候的SOS明显推迟，而我国的30° N~45° N的中纬度地区植被的SOS将提前。
![]()
图 5 植被的SOS与季前VPD相关性及显著性结果注：A图中的黑点区域为相关性结果通过显著性检验的区域，其他区域为相关性结果未通过显著性检验的区域；B图中的百分数为统计的不同相关性结果面积占比。Figure 5. Correlation and significance result diagram between SOS of vegetation and pre-season VPD2.3.2 EOS对季前VPD的响应特征
中国30° N以北地区植被的EOS与季前VPD间相关性、显著性的空间分布(图 6A)和统计结果(图 6B)表明: (1)研究区内，有66.05%的地区植被的EOS与季前VPD呈正相关，其中37%的地区的相关性结果通过了显著性检验，主要分布在吉林省、黑龙江省以及内蒙古自治区的东北部。(2)13.46%的地区植被的EOS与季前VPD呈显著负相关，主要集中在黑龙江省东部以及辽宁省与内蒙古自治区之间的交界地区。随着季前VPD的增加，我国大部分地区植被的EOS将提前，并且高纬度地区植被的EOS的提前情况更明显。
![]()
图 6 植被的EOS与季前VPD相关性及显著性结果注：A图中的黑点区域为相关性结果通过显著性检验的区域，其他区域为相关性结果未通过显著性检验的区域；B图中的百分数为统计的不同相关性结果面积占比。Figure 6. Correlation and significance results between EOS of vegetation and pre-season VPD2.3.3 SOS对SPEI的响应特征
由中国30° N以北地区植被的SOS与SPEI相关性、显著性的空间分布(图 7A)和统计结果(图 7B)可知: (1)研究区内，有58.88%的地区植被的SOS与SPEI呈正相关，而41.12%的地区为负相关。(2)研究区内，有17.50%的地区的相关性结果通过了显著性检验，这些区域主要分布在东北部的大兴安岭地区，呈现显著正相关的栅格占比为14.25%。总体而言，东北大兴安岭部分地区植被的SOS的响应相对较为敏感, 干旱多促使该地区植被的SOS提前。在吉林省、辽宁省与内蒙古自治区交界处，SPEI与植被的SOS之间则以负相关为主，干旱增加使得该地区植被的SOS被推迟。
![]()
图 7 植被的SOS与SPEI相关性及显著性结果注：A图中的黑点区域为相关性结果通过显著性检验的区域，其他区域为相关性结果未通过显著性检验的区域；B图中的百分数为统计的不同相关性结果面积占比。Figure 7. Correlation and significance result diagram between SOS of vegetation and SPEI2.3.4 EOS对SPEI的响应特征
由中国30° N以北地区植被的EOS与SPEI相关性、显著性的空间分布(图 8A)和统计结果(图 8B)可知: (1)SPEI与植被的EOS主要呈正相关，其面积占比约为67.49%，但只有6.06%的地区的相关性结果通过了显著性检验，主要集中在呼伦贝尔东部。(2)研究区内1.72%的地区植被的EOS与SPEI呈现显著负相关。总体而言，研究区内大部分地区，干旱发生将促使研究区内大部分地区植被的EOS提前。而在东北北部大部分地区植被的EOS随着干旱的发生将逐渐推迟。
![]()
图 8 植被的EOS与SPEI相关性及显著性结果注：A图中的黑点区域为相关性结果通过显著性检验的区域，其他区域为相关性结果未通过显著性检验的区域；B图中的百分数为统计的不同相关性结果面积占比。Figure 8. Correlation and significance result diagram between EOS of vegetation and SPEI3. 结论
本文以中国中高纬度区域为研究区，利用GIMMS NDVI3g长时间序列遥感数据集，采用Savizky-Golay滤波器与变点监测法，在栅格水平上提取不同植被类型的物候参数，并结合地面物候数据，验证遥感提取物候的精度，分析不同植被物候的时空演变特征。此外，基于气象数据计算VPD指数，结合改进的日SPEI数据集，表征研究区范围内植被物候对干旱的响应机制, 解析植被物候对干旱的响应特征。主要结论如下:
(1) 不同地区的植被物候变化呈现明显的差异性。单季植被与双季植被第1个生长季的SOS集中在每年的第30~180天，而双季植被第2个生长季的SOS集中在每年的第200~220天。单季植被与双季植被第1个生长季的EOS主要集中在每年的第180~300天，双季植被的第2个生长季的EOS主要集中在每年的第260~300天。
(2) VPD对植被物候的影响在不同地区呈现明显的空间差异。在以森林为主的吉林省、黑龙江省和内蒙古自治区东北部等地，季前VPD上升导致植被的SOS提前和EOS延迟；而在以草地为主的辽宁省与内蒙古自治区交界处，季前VPD上升导致植被的SOS滞后和EOS提前。
(3) 研究区内大部分地区的SPEI与植被的SOS和EOS呈正相关，即干旱促使植被的SOS和EOS提前。然而，这种变化并不显著，只有山西省北部地区的变化趋势通过显著性检验。
本研究提出基于遥感数据识别物候参数，结合VPD和SPEI较好地揭示了植被物候对干旱的响应特征，可以为区域遥感监测植被状况的变化、预警干旱可能对地区植被、农业造成的危害提供技术支持和理论依据。然而，植被生长物候是一个复杂而缓慢的过程，与气候因子之间关系复杂。本研究仅局限于干旱与植被物候间的响应关系，后续将从气温、降雨量和土壤湿度等其他可能影响植被物候的因素综合考虑，结合物理过程模型，从机理上探究植被物候对气候的响应机制。
-
表 1 不同低频分量占比模型的性能对比
Table 1 The performance comparation of models with different low-frequency components
模型 参数量/(×106) 乘加次数/(×109) 浮点运算次数/(×109) RAF-DB准确率/% OCNN-a 2.7 2.65 1.33 86.05 OCNN-b 2.7 2.15 1.08 86.99 OCNN-c 2.7 1.65 0.83 87.19 OCNN-d 2.7 1.15 0.58 86.44 
下载: 导出CSV
表 2 原始八度卷积模型和OCNN-c模型的对比
Table 2 The comparation of original octave and OCNN-c convolution
模型 参数量/(×106) 准确率/% FER2013 FERPlus RAF-DB 传统八度卷积模型 2.9 72.56 88.49 86.34 OCNN-c 2.7 72.64 88.62 87.19
下载: 导出CSV
表 3 使用不同激活函数的OCNN-c模型的准确率
Table 3 Accuracy of OCNN-c model with different activation functions
模型 参数量/(×106) 准确率/% FER2013 FERPlus RAF-DB ReLU-a 8.9 72.47 88.46 86.63 DyReLU-a 9.3 72.44 88.49 86.79 ReLU-b 2.3 72.11 88.42 86.34 DyReLU-b 2.7 72.64 88.62 87.19
下载: 导出CSV
表 4 与主流网络模型的对比
Table 4 The comparation of mainstream network models
模型 输入特征图的尺寸 参数量/(×106) 准确率/% 乘加次数/(×109) 存储空间/MB FER2013 FERPlus RAF-DB Alexnet[15] 227×227×3 57.0 71.55 87.40 84.62 1.67 228.1 VGG16[16] 224×224×3 134.3 72.72 88.17 86.96 30.95 537.2 ResNet-18[17] 224×224×3 11.2 71.19 87.79 85.92 3.64 44.8 DenseNet-121[26] 224×224×3 7.0 71.66 88.59 84.58 5.74 28.5 OCNN 90×90×1 2.7 72.64 88.62 87.19 1.65 10.4
下载: 导出CSV
表 5 不同模型在FER2013数据集上的实验结果
Table 5 Experimental results of different models on the FER2013 dataset
下载: 导出CSV
表 6 不同模型在FERPlus数据集上的实验结果
Table 6 Experimental results of different models on the FERPlus dataset
下载: 导出CSV
-
[1] SHAN C F, GONG S G, MCOWAN P W. Facial expression recognition based on Local Binary Patterns: a comprehensive study[J]. Image and Vision Computing, 2009, 27(6): 803-816. doi: 10.1016/j.imavis.2008.08.005
[2] MAHMUD F, ISLAM B, HOSSAIN A, et al. Facial region segmentation based emotion recognition using K-Nearest Neighbors[C]//Proceedings of 2018 International Confe-rence on Innovation in Engineering and Technology. Dhaka: IEEE, 2018: 1-5.
[3] ZHI R C, FLIERL M, RUAN Q Q, et al. Graph-preserving sparse nonnegative matrix factorization with application to facial expression recognition[J]. IEEE Transaction on Systems, Man, and Cybernetics: Part B, 2011, 41(1): 38-52. doi: 10.1109/TSMCB.2010.2044788
[4] ZHANG Z Y, MU X M, GAO L. Recognizing facial expressions based on Gabor filter selection[C]//Procee dings of International Congress on Image and Signal Processing. Shanghai: IEEE, 2011: 1544-1548.
[5] 胡敏, 滕文娣, 王晓华, 等. 融合局部纹理和形状特征的人脸表情识别[J]. 电子与信息学报, 2018, 40(6): 1338-1344. https://www.cnki.com.cn/Article/CJFDTOTAL-DZYX201806010.htm HU M, TENG W D, WANG X H, et al. Facial expression recognition based on local texture and shape features[J]. Journal of Electronics & Information Technology, 2018, 40(6): 1338-1344. https://www.cnki.com.cn/Article/CJFDTOTAL-DZYX201806010.htm
[6] MATSUGU M, MORI K, MITARI Y, et al. Subject independent facial expression recognition with robust face detection using a convolutional neural network[J]. Neural Networks, 2003, 16(5/6): 555-559.
[7] SUN B, LI L, ZHOU G, et al. Facial expression recognition in the wild based on multimodal texture features[J]. Journal of Electronic Imaging, 2016, 25(6): 061407/1-8.
[8] HUANG C. Combining convolutional neural networks for emotion recognition[C]//Proceedings of 2017 IEEE MIT Undergraduate Research Technology Conference. Cambridge: IEEE, 2017: 1-4.
[9] 冯杨, 刘蓉, 鲁甜. 基于小尺度核卷积的人脸表情识别[J]. 计算机工程, 2021, 47(4): 262-267. doi: 10.19678/j.issn.1000-3428.0056775 FENG Y, LIU R, LU T. Facial expression recognition based on small-scale kernel convolution[J]. Computer Engineering, 2021, 47(4): 262-267. doi: 10.19678/j.issn.1000-3428.0056775
[10] GEORGESCU M I, IONESCU R T, POPESCU M. Local learning with deep and handcrafted features for facial expression recognition[J]. IEEE Access, 2019, 7: 64827-64836. doi: 10.1109/ACCESS.2019.2917266
[11] WANG K, PENG X, YANG J, et al. Suppressing uncertainties for large-scale facial expression recognition[C]//Proceedings of 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Seattle: IEEE, 2020: 6897-6906.
[12] LI H, WANG N, DING X, et al. Adaptively learning facial expression representation via C-F labels and distillation[J]. IEEE Transactions on Image Processing, 2021, 30: 2016-2028. doi: 10.1109/TIP.2021.3049955
[13] 崔子越, 皮家甜, 陈勇, 等. 结合改进VGGNet和Focal Loss的人脸表情识别[J]. 计算机工程与应用, 2021, 57(19): 171-178. doi: 10.3778/j.issn.1002-8331.2007-0492 CUI Z Y, PI J T, CHEN Y, et al. Facial expression recognition combined with improved VGGNet and Focal Loss[J]. Computer Engineering and Applications, 2021, 57(19): 171-178. doi: 10.3778/j.issn.1002-8331.2007-0492
[14] XUE F, WANG Q, GUO G. TransFER: learning relation-aware facial expression representations with transformers[C]//Proceedings of 2021 IEEE/CVF International Conference on Computer Vision. Montreal: IEEE, 2021: 3581-3590.
[15] KRIZHEVSKY A, SUTSKEVER I, HINTON G E. Imagenet classification with deep convolutional neural networks[J]. Communications of the ACM, 2017, 60(6): 84-90. doi: 10.1145/3065386
[16] SIMONYAN K, ZISSERMAN A. Very deep convolutional networks for large-scale image recognition[J/OL]. arXiv, (2015-04-10)[2021-12-16]. https://arxiv.org/abs/1409.1556.
[17] HE K, ZHANG X, REN S, et al. Deep residual learning for image recognition[C]//Proceedings of 2016 IEEE Conference on Computer Vision and Pattern Recognition. Las Vegas: IEEE, 2016: 770-778.
[18] CHEN Y, FAN H, XU B, et al. Drop an Octave: reducing spatial redundancy in convolutional neural networks with Octave Convolution[C]//Proceedings of 2019 IEEE/CVF International Conference on Computer Vision. Seoul: IEEE, 2020: 3434-3443.
[19] MALLAT S G. A wavelet tour of signal processing[M]. New York: Academic Press, 1999.
[20] NAIR V, HINTON G E. Rectified linear units improve restricted Boltzmann machines Vinod Nair[C]//Procee-dings of the 27th International Conference on Machine Learning (ICML-10). Haifa: Omnipress, 2010: 807-814.
[21] HE K, ZHANG X, REN S, et al. Delving deep into rectifiers: surpassing human-level performance on ImageNet classification[C]//Proceedings of 2015 IEEE International Conference on Computer Vision. Santiago: IEEE, 2015: 1026-1034.
[22] CHEN Y, DAI X, LIU M, et al. Dynamic ReLU[C]//Proceedings of Computer Vision-ECCV 2020: 16th European Conference. Berlin: Springer, 2020: 351-367.
[23] GOODFELLOW I J, ERHAN D, CARRIER P L, et al. Challenges in representation learning: a report on three machine learning contests[C]//Neural Information Processing: 20th International Conference, ICONIP 2013. Berlin: Springer, 2013: 117-124.
[24] BARSOUM E, ZHANG C, FERRER C C, et al. Training deep networks for facial expression recognition with crowd-sourced label distribution[C]//Proceedings of the 18th ACM International Conference on Multimodal Interaction. New York: ACM, 2016: 279-283.
[25] LI S, DENG W, DU J P. Reliable crowdsourcing and deep locality-preserving learning for expression recognition in the wild[C]//Proceedings of 2017 IEEE Conference on Computer Vision and Pattern Recognition. Honolulu: IEEE, 2017: 2852-2861.
[26] HUANG G, LIU Z, LAURENS V, et al. Densely connected convolutional networks[C]//Proceedings of 2017 IEEE Conference on Computer Vision and Pattern Recognition. Honolulu: IEEE, 2017: 2261-2269.
[27] SHAO J, QIAN Y. Three convolutional neural network models for facial expression recognition in the wild[J]. Neurocomputing, 2019, 355: 82-92. doi: 10.1016/j.neucom.2019.05.005
[28] JIANG P, WAN B, WANG Q, et al. Fast and efficient facial expression recognition using a Gabor convolutional network[J]. IEEE Signal Processing Letters, 2020, 27: 1954-1958. doi: 10.1109/LSP.2020.3031504
[29] WANG K, PENG X, YANG J, et al. Region attention networks for pose and occlusion robust facial expression re-cognition[J]. IEEE Transactions on Image Processing, 2020, 29: 4057-4069. doi: 10.1109/TIP.2019.2956143
[30] MOLLAHOSSEINI A, HASANI B, MAHOOR M H. AffectNet: a database for facial expression, valence, and arousal computing in the wild[J]. IEEE Transactions on Affective Computing, 2017, 10(1): 18-31.
[31] SANG D V, LE T, HA P T. Discriminative deep feature learning for facial emotion recognition[C]//Proceedings of 2018 1st International Conference on Multimedia Analy-sis and Pattern Recognition. Ho Chi Minh City: IEEE, 2018: 1-6.
[32] MINAEE S, ABDOLRASHIDI A. Deep-emotion: facial expression recognition using attentional convolutional network[J]. Sensors, 2021, 21(9): 3046/1-16.
[33] ZHOU L, FAN X, TJAHJADI T, et al. Discriminative attention-augmented feature learning for facial expression recognition in the wild[J]. Neural Computing and Applications, 2022, 34(2): 925-936. doi: 10.1007/s00521-021-06045-z
[34] LI Y, ZENG J, SHAN S, et al. Occlusion aware facial expression recognition using CNN with attention mechanism[J]. IEEE Transactions on Image Processing, 2018, 28(5): 2439-2450.
[35] GAN Y, CHEN J, YANG Z, et al. Multiple attention network for facial expression recognition[J]. IEEE Access, 2020, 8: 7383-7393. doi: 10.1109/ACCESS.2020.2963913
[36] MA H, CELIK T, LI H C. Lightweight attention convolutional neural network through network slimming for robust facial expression recognition[J]. Signal Image and Video Processing, 2021, 15: 1507-1515. doi: 10.1007/s11760-021-01883-9
计量
- 文章访问数: 291
- HTML全文浏览量: 36
- PDF下载量: 58
