用于低分辨率人脸识别的监控的多尺度并行深度CNN(mpdCNN)架构外文翻译资料

 2023-03-15 04:03

用于低分辨率人脸识别的监控的多尺度并行深度CNN(mpdCNN)架构

关键词:人脸识别,低分辨率图像,监控,多尺度并行加购,卷积神经网络

1.介绍

闭路电视 (CCTV) 网络的使用极大地改变了对大范围地理区域进行监视的任务。使用监视网络捕获的数据可用于在调查过程中识别人员和罪犯。然而,现实情况是,由于缺乏强大的人脸识别系统,监控网络几乎无法在刑事调查程序中发挥作用。现有系统失败的主要原因是监控系统捕获的图像是低分辨率图像,图像中人脸信息含量相对较低。其次,这些低分辨率图像的人脸信息内容量变化很大。

几种超分辨率技术[1]、[2]、[3]应用于低分辨率图像以进行人脸识别,但无法给出最先进的结果。由于超分辨率技术使用来自局部相邻像素的信息,而低分辨率图像包含的信息不足,因此超分辨率技术无法很好地进行人脸识别。

基于深度 CNN 的架构[4] , [5] , [6] , [7] , [8] , [9] , [10] , [11] , [12] , [13] , [14] , [ 15]、[16]、[17]、[18]为高分辨率数据集(如 LFW 和 YTF)上的人脸识别提供了最优的准确性。然而,当涉及到低分辨率图像中的人脸识别时,基于深度 CNN 的人脸识别算法 [5]、[6]、[9]、[10], [11] , [12] , [13] , [19] , [20] , [21]不能表现得相当好。单个深度学习网络无法在不同的低分辨率图像中提取不同尺度的特征。

1.1 . 动机

监控网络捕获的图像在分辨率、姿态和光照方面各不相同。对 Inception 网络[22] 的研究促使我们用 Inception 网络[22]本身来试验低分辨率人脸识别。这是因为 Inception 网络[22]是一个多尺度深度学习网络,它能够在同一卷积层中使用不同尺寸的滤波器并行地以不同尺度从图像中提取特征。

在对 Inception 网络进行实验后,观察到由于输入的低分辨率图像具有稀疏特征,因此 Inception 网络存在高方差,导致过拟合。结果是 Inception 网络不能很好地泛化真实的低分辨率图像,从而导致性能和准确性不佳。因此,需要开发一种架构,可以从真实的低分辨率图像中提取稀疏特征,并且可以很好地泛化特征以实现高人脸识别精度。

本文有以下贡献:

bull; 我们分析了 Inception 网络[22]在低分辨率图像中人脸识别的准确性,以了解使用多尺度架构识别真实低分辨率人脸的可行性。

bull; 我们提出了一个单一的端到端 CNN 架构,即mpdCNN ,目的是从具有不同光照、姿势、距离和分辨率的真实低分辨率图像中进行人脸识别。我们使用 SCface 数据库[23]进行实验。

bull; 由于mpdCNN架构是一种多尺度架构,我们还分析了mpdCNN架构在高分辨率图像上的准确性,以查看mpdCNN架构是否能够同时泛化低分辨率和高分辨率图像。

本文组织如下。第2节 讨论了相关工作。第3节 简要讨论了实验中使用的数据库。第4节 在真实低分辨率图像上进行人脸识别的初步实验是使用 Inception 网络进行的。第5节 解释了所提出的用于面部识别的深度 CNN 架构。在第6节中 ,我们解释了实验设置并讨论了获得的结果。在第7节中以几个观察结果结束我们的工作。

  1. 相关作品

闭路电视监控摄像机需要将低分辨率图像与高分辨率参考图像进行比较以进行面部识别。这种比较直接是不可能的,因为与高分辨率参考图像相比,低分辨率图像的特征非常少。出现了各种比较技术,可分为 3 类:

bull;超分辨率与高分辨率[1] , [2] , [3]

bull;低分辨率与下采样高分辨率[24]

bull;直接比较[25] , [26] , [27] , [28] , [29]

2.1. 技巧

2.1.1 . 超分辨率与高分辨率

在这些类型的技术中,使用某种超分辨率技术将真实的低分辨率图像插入到高分辨率图像中[1],然后与高分辨率参考图像进行比较。Gunturk 等人 [2]在低分辨率图像的低维人脸空间上应用超分辨率重建。然而,实验是在下采样的低分辨率图像上进行的,而不是在真正的低分辨率图像上进行的。邹等人。[3]使用数据约束的概念为极低分辨率图像开发了一种超分辨率技术。然而,这种技术非常复杂。邹等人。[3]提出了基于关系学习的超分辨率(RLSR)和判别式超分辨率(DSR)算法。RLSR 算法学习从低分辨率图像空间到高分辨率图像空间的映射。在 DSR 算法中,提出了一种判别约束来从低分辨率图像重建高分辨率图像。SCface数据库上RLSR的结果没有上报。DSR 算法在 SCface [23]和 FRGC V 2.0 数据库上的结果分别为 22% 和 78%。

2.1.2 . 低分辨率与下采样高分辨率

在这些技术中,高分辨率参考图像和真实低分辨率图像之间的比较是在对高分辨率图像[29]、[30]、[31]、[32]进行下采样之后进行的。这些技术在计算上成本较低,因为它执行高分辨率图像的降维。小原等人。[30]提出了一种解决方案,通过在识别之前使用重采样技术对图像的大小进行充分归一化,来克服低分辨率人脸识别中的分辨率问题。Obara 等人提出的方法。因此,通过比较为查询和目标图像推断的分辨率,将下采样技术应用于更高分辨率的图像。玉溪等。[29]报告说,应用将低分辨率图像与下采样的高分辨率图像进行比较的技术的准确性并没有比超分辨率技术带来重大的性能改进。

2.1.3 . 直接比较

直接比较意味着将低分辨率和高分辨率图像都转换到一个公共空间然后进行比较。这些技术的优点是不会因下采样而丢失信息,也不会因超分辨率而添加伪影。当要比较的两个图像属于不同的域时,此过程很有用。

李等人[25]提出了一种基于耦合映射的方法,将不同分辨率的人脸图像投影到统一的特征空间中,使得低分辨率图像和对应的高分辨率图像之间的差异最小化。Ren等人提出了另一种方法。[27] ,它使用内核嵌入。因此该方法被称为耦合核嵌入(CKE)。任何非线性数据都可以归类为更高维特征空间中的线性数据。在CKE方法中,使用核将要比较的两个图像转换到更高维的空间进行比较。这在公式(1)中用数学公式表示:

(1)phi; : RM → V

(2)Psi; : Rm → W

其中phi;是非线性映射。高分辨率数据空间RM被映射到特征空间V.同样,Psi;是非线性映射和Rm是低分辨率数据空间被映射到特征空间w ^。然后将特征空间V和W投影到公共特征空间进行比较。CKE 算法在 SCface 数据库上实现的准确度仅为 8% [27],而在 Multi-PIE 数据库上为 88%。但是Multi-PIE数据库没有SCface数据库那么复杂。

判别分析是另一种方法[28],其中在内核空间中使用位置信息。当要比较的两幅图像属于不同的模态(如可见光和红外图像)时,此过程非常有用。黄等人[26]将 PCA 特征投影到特征空间上,并使用径向基函数找到低分辨率和高分辨率图像之间的映射。

穆塔菲斯等人[33]提出了耦合基和距离(CBD)算法。该方法利用 KNN(K-Nearest Neighbour)和 LMNN(Large Margin Nearest Neighbour)的概念分别针对同一类的邻居和冒名顶替者(具有不同类的样本,违反了边界)。一方面,KNN 根据相似性找到属于某个类的样本,而 LMNN 则试图将不匹配的样本与该类保持相当大的距离。CBD 算法在 SCface [23]数据库上的性能在低分辨率探测图像上的低分辨率与高分辨率比较中为 53%,但他们仅使用来自 SCface 数据库的 dist2 文件夹中的图像进行测试,并且仅使用了 130 个中的 100 个课程已采取实验。

玉溪等。[24]提出了一种混合分辨率的生物识别比较方法。该方法采用混合分辨率方法,将不同距离、不同分辨率、不同姿态下拍摄的低分辨率图像与高分辨率参考图像进行匹配。然而,该方法使用了一个非常简单的模型,根据作者的说法,由于大量特征,该模型不适用于高分辨率图像,但适用于低分辨率图像。当与另一种算法 MSBR [34]一起应用时,它在验证上达到了 73.4% [24]的最佳准确率,在 SCface 数据库上达到了48.4% [24]准确率. 训练是在面部照片上进行的,验证是在 SCface 数据库[23] 中从两个不同距离捕获的图像上进行的。

彭等人。[29]从实验中发现,使用在多分辨率图像上训练的单个分类器与在不同分辨率上训练每个分类器的多分类器几乎相同。然而,彭等人。[29]使用原始机器学习分类器。鲁。等。[5]提出了使用 ResNet [35]作为架构基础的深度耦合 ResNet (DCR) 。在 LFW 数据库上,作者报告的准确率为 93.6%,与 SCface 数据库上 73.3% 的准确率相比,这是相当不错的。

李等人。[6]提出了中心损失方法,它使用自定义正则化项来解决过拟合问题。他们报告说,与 1.0 m – 2.6 m 距离人脸验证相比,UCCSface 数据集的准确率为 93.4%,SCface 数据集的准确率仅为 69.60%,而与 HD 和 1.0 m 人脸验证相比,准确率仅为 31.71%。

Gen-LR Net [8]、监控人脸识别挑战[14]和其他方法[9]、[10]、[11]、[12]、[13]也借助深度学习框架解决了高分辨率到低分辨率人脸验证的问题。但是,这些方法没有使用 SCface 数据库来比较其解决方案的性能。

杨等人。[7]提出了局部一致性保留判别多维缩放 (LDMDS),其中使用 SIFT 学习尺度不变特征,然后将高分辨率和低分辨率图像转换为多维特征向量。计算对应特征向量之间的距离以找到识别性能。该论文在 FERET 和 Multi-Pie 数据集上分别报告了 93.55% 和 95.81% 的准确率。在 SCface 上,LDDMS 报告的高分辨率到低分辨率人脸验证的识别准确率仅为 81.54%。

最近在 2020 年,Khalid 等人。[36]提出了一种深度 CNN 模型,该模型使用蒸馏过程在低分辨率图像上训练网络。蒸馏网络包含一个固定的高分辨率图像预训练网络,用于指导架构中可训练网络的训练。固定网络称为教师网络,可训练网络部分称为学生网络。该架构使用低分辨率和高分辨率图像进行训练。蒸馏网络对 SCface 数据库中 d1 文件夹的低分辨率图像的准确率为 88.3%。

Massoli 等人提出了类似于[36] 的工作。[37]。马索利等人。[37]使用了类似于 Khalid 等人使用的蒸馏网络的网络。[36]。然而,马索利等人。[37]主要从事跨分辨率人脸识别。低分辨率人脸识别性能得到提升,同时提高了人脸识别的跨分辨率精度。马索利等人。[37]在 SCface 数据库上报告了 70.2% 的准确率。尽管准确性有所提高,但 Massoli 等人采用的训练过程。很复杂。

在经历了所有最先进的方法之后,值得注意的是,从真实的闭路电视镜头中识别出真正的低分辨率图像,实际上是一个非常复杂的问题。达到的最大精

剩余内容已隐藏,支付完成后下载完整资料


英语原文共 16 页,剩余内容已隐藏,支付完成后下载完整资料


资料编号:[595931],资料为PDF文档或Word文档,PDF文档可免费转换为Word

您需要先支付 30元 才能查看全部内容!立即支付

课题毕业论文、文献综述、任务书、外文翻译、程序设计、图纸设计等资料可联系客服协助查找。