鉴于观察距离和图像分辨率进行质量评估外文翻译资料

英语原文共 12 页，剩余内容已隐藏，支付完成后下载完整资料

鉴于观察距离和图像分辨率进行质量评估

摘要：视距和图像分辨率对图像质量评估（IQA）有很大影响，但到目前为止，这个问题在文献中被高度忽视。在本文中，我们将最佳分辨率调整的问题作为IQA的预处理步骤进行研究。通常，人眼光学系统对视觉信息的采样大致是一个低通过程。对于给定的视觉场景，可提取的信息量很大程度上取决于观察距离和图像分辨率。我们首先介绍一种新颖专用的变化视距图像数据库（VDID2014），其具有两组典型的视距和图像分辨率，以促进针对该问题的IQA研究。然后，我们在双变换域中设计了一种新的有效的最优尺度选择（OSS）模型，其中使用了离散小波变换域中的自适应去高频级波和空间域中的自适应分辨率缩放。我们的技术验证是在五个图像数据库（LIVE，IVC，Toyama，VDID2014和TID2008）上进行的。实验结果表明，通过将这些指标应用于OSS模型预处理图像，可以显著提高峰值信噪比（PSNR）和结构相似性指数（SSIM）的性能，优于传统的多尺度PSNR / SSIM和可比较的先进的竞争对手。

关键词：图像质量评估（IQA），主观/客观评价，观察距离，图像分辨率，自适应分辨率缩放，自适应高频削减。

Ⅰ 引言

图像质量评估（IQA）是一个重要的研究领域，因为它可能应用于各种图像处理算法的开发和优化[1]-[5]。 通常，IQA可分为主观评价和客观评价。前者旨在通过昂贵且复杂的主观观察测试获得平均意见得分（MOS）。这通常导致主观评价对于实时应用而言不实用，尽管它总是被称为首要质量测量。

过去几十年见证了大量客观全参考（FR），半参考（RR）和无参考（NR）IQA方法的兴起。由于原始图像有时无法访问，近年来一些研究致力于探索RR和NR IQA [5]-[11]。尽管如此，这两种类型的IQA技术主要对特定的失真有效，例如模糊，噪声，图像压缩和对比度变化，并且通常它们的性能结果不能满足实际。

实际上，大多数现有的高精度IQA方法都是针对FR情景开发的[12]-[21]。迄今为止，峰值信噪比（PSNR）和结构相似性指数（SSIM）[13]可能是最受欢迎的基准模型，已经嵌入到许多图像/视频处理系统中。此后，王先生等人进一步提出了多尺度SSIM（MS-SSIM）[14]，通过在与心理看法相结合之前估计每个尺度水平的质量，并且通过融合MS开发和启发了视觉信息保真度（VIF）[15]对自然场景统计（NSS）模型对PSNR / SSIM（IW-PSNR / SSIM）信息内容加权 [16]。最近，MS模型也被广泛使用，例如内部生成机制（IGM）[19]。

然而，在有关IQA [22]的调查中，有人认为常见的主观图像质量数据库[23]-[25]在主观测试中分别使用不同的观察距离和图像分辨率，尽管有一些关于已经被视为电视图像[26]，多媒体[27]，3DTV [28]，平板显示器[29]和移动设备[30]给出了相对于监测分辨率的观察距离。事实上，除了这些提议之外，观察距离很大程度上取决于其他因素，例如房屋的大小和家具的位置。给定固定的监测器大小，随着观看距离变得更远，可以进行更高级别的压缩，以便在不损失用户体验质量（QoE）的情况下节省带宽，因此应对现有IQA措施也进行一些修改。显然，固定水平且恒定权重的MS模型往往在不同的观察距离和图像分辨率下工作是无效的。

图1

明确的说，QoE一方面受到图像/视频分辨率的严重影响，这促进了高清技术的持续存在，另一方面，它也受到观看距离的强烈影响。图1中的示例揭示了相同帧分辨率和相同环境但在不同观察距离下的不同感知质量。左视频流以8Mps比特率，25f / s帧速率和1920times;1080的分辨率进行编码，而另一个使用相同的参数创建，但是以2Mps比特率进行比较。通过使用数码相机捕获这两张照片，该数码相机被配置为尽可能地模拟人眼的行为。我们在每个视频屏幕中突出显示了三个具有红色矩形的代表区域。左侧子图是在视频高度的四倍距离处拍摄的，我们可以很容易地观察到两个视频帧之间的差异。右侧子图显示的是在视频高度的六倍距离拍摄的图像，但这次几乎找不到差异。这种现象可以通过以下事实来解释：对图像细节的感知主要取决于人类视觉系统（HVS）的有效分辨率。随着观察距离的增加，观察角收缩并且可以注意到图像细节变得更少。因此，我们认为有必要考虑在IQA设计中查看图像/视频的观察距离和图像分辨率。

为了全面测试和比较我们的技术与现有的相关模型，我们首先提出了一个新的专用变化观察距离图像数据库（VDID2014）。该数据库包括160个图像，这些图像是从两个典型宽高比（高度/宽度）的八个原始版本生成的，以及在两个典型观察距离上的20位经验丰富的观察者所收集的320个差分MOS（DMOS）值，即就两个物理距离的比例而言4倍和6倍的图像高度。

传统地，大多数客观或主观评价的研究都是分开进行的，如图2（a）所示。前者用于计算局部失真图，然后是有效的汇集方法，而后者使用相关方法（例如，单变量）在处理原始数据之前收集图像质量等级以去除偏差分数。如上所述，无论观察条件如何，客观指标都是不合理的。尽管意义重大，但对这个问题的研究非常有限[22]。因此，本文致力于部署观察距离和图像分辨率对IQA的影响，从而使质量指标更好，更实用。注意，HVS的许多机制，例如掩蔽效应，对视觉质量具有严重影响，但是它们已被广泛地分布到现有的IQA任务中。因此，我们将这些机制放在一边，并着重探讨在这项研究中观察距离和图像分辨率的效果。

图2

最近设计了一个简单的自适应比例变换（SAST）模型[31]来模拟HVS的空间滤波机制。 其基本思想是在调整输入图像大小以提高性能之前，从原始图像分辨率和给定的观察距离估计合适的缩放参数。 不是使用空间域，近期另一项工作[32]侧重于通过离散小波变换（DWT）域中的自适应高频削减（AHC）丢弃部分图像细节，然后合成AHC模型滤波后的子带系数，以原始分辨率变换为IQA指标使用的图像。

将上述两种模型结合起来以获得更有效的预处理方法是很合适的，以便更好地去除由不同但互补的域中观察距离和图像分辨率所引起的不可分辨的细节。我们还发现，对于具有相同图像高度和观察距离但是宽度不同的测试图像，真实的视野并不相同。人眼的生理结构表明，在这种情况下，感知的图像分辨率可以通过修饰或加厚晶状体来调整[33]。因此，根据将AHC模型滤波图像调整到考虑人眼生理机制的改进SAST模型估计的最佳尺度，提出了空间和DWT域中的新的最佳尺度选择（OSS）模型。

图3

本文的其余部分如下。在第II节和第III节中，我们分别介绍了新的VDID2014数据库和提出的OSS模型。 第四部分我们将基于OSS模型的IQA方法与五个数据库（LIVE [23]，IVC [24]，Toyama [25]，VDID2014和TID2008 [34]）的竞争质量指标进行比较。 我们最后总结了这些成果，并在第五和第六节中总结了论文。

II. VDID2014数据库

为了彻底了解观察条件的影响，我们构建了一个新的专用的VDID2014数据库，其中包含两类典型的观察距离和经典图像数据库中使用的图像分辨率。上文已已经提到，上述两个因素都会显著影响人类对图像/视频质量的感知。但是大多数现有的图像数据库，即使是那些具有清晰的观察条件记录的图像数据库，也没有考虑到观察距离和图像分辨率对感知IQA研究的影响。

VDID2014数据库包括8个分辨率为768times;512和512times;512的原始图像，如图3所示。通过添加四种常见的失真类型产生了160个图像：高斯模糊，白噪声和JPEG2000和 JPEG压缩。

1）高斯平滑：我们使用高斯核函数（标准差sigma;_G= 0.25,0.5,1,1.75,2.5）和11times;11窗口，使用Matlab命令fspecial和imfilter。 利用相同的高斯核函数对每个R，G和B图像平面进行平滑。

2）白噪声：使用theimnoise Matlab函数，将由方差sigma;²_N（= 0.0003,0.001,0.003,0.01,0.03）标准法线产生的噪声，添加到三个通道R，G和B中的每一个中。

3）JPEG2000：我们使用Matlab imwrite命令，通过设置Q参数创建JPEG2000压缩图像，参数值分别为15,30,60,120,240。

4）JPEG：将 Matlab imwrite命令用于具有五个质量等级的JPEG压缩图像（Q = 75,45,25,10,5）。

根据ITU-R BT.500-13 [26]的方法，使用单变量（SS）进行实验。我们设计了一个交互式系统，使用MATLAB中的图形用户界面（GUI）自动显示测试图像并收集主观质量得分，类似于[4]中使用的。 20名没有经验的受试者参与了这项研究。大多数观众都是各种专业的大学生。 整个测试分为两个连续的部分，观察距离是图像高度的四倍和六倍。 在每个部分中，每个主题观看和评分160个图像。演示顺序是随机的，以减少记忆对意见分数的影响。在评估每个图像期间，要求受试者在从0到1的连续质量等级上提供其整体质量感。表I总结了关于测试条件和参数的主要信息。

接下来，针对所有测试图像计算收集的320个主观DMOS值。 首先，我们将Z_abc设置为分数，由对象a提供在c倍于图像高度的观察距离处的失真图像I_b，其中a = {1，...，20}，b = {1，...，160}，c = {4，6}。 并且Zrsquo;_abc表示原始图像的分数，其定义与Z_abc类似。特别地，我们处理的数据如下：

1）差分分数：从分配给其参考图像的分级中减去分配给图像的原始分级，以形成DMOS值d_abc =Z_abc-Zrsquo;_abc。

2）异常值筛选：主观评分很容易被疏忽的因素给予异常值污染。为了避免这种情况，我们使用[35]中的方法筛选了所有观众评分的异常值。特别地，如果图像的原始DMOS值在关于该图像的平均分数的标准偏差宽度的间隔之外，则通过将图像的原始DMOS值处理为异常值来采用简单的离群值检测。

3）平均得分：定义图像I_b的最终DMOS作为1/N_Asum;_ad_abc，其中N_A是受试者的数量。显示构建VDID2014数据库的价值

在不同的观察距离和图像分辨率下，我们计算并绘制了从图4的测试中收集的质量分数的分布：左图（整体数据库）代表所有处理的意见分数的直方图，而中间（第1部分）和右图（第2部分）独立地指示在图像高度的四倍和六倍的观察距离处获取的DMOS值的直方图。 我们可以很容易地在后两个图中发现，对于相同的图像，第2部分（图像高度的六倍）的平均得分明显小于第1部分（图像高度的四倍），这主要是由不同的观察距离造成的。

图4

Ⅲ 方法

目前，最流行的FR IQA算法也许是信噪比和SSIM，因为它们广泛采用我们的图像处理系统。PSNR是根据计算得出的均方误差（MSE），它量化参考图像和失真图像之间的能量差异。 假设r_i和d_i是参考图像r中的第i个像素值及其失真图像d。 MSE和PSNR定义为MSE =1/Msum;^M_i=1（r_i -d_i）²和PSNR = 10 log₁₀（255²/MSE），M是图像中的像素总数。

SSIM的基本思想是在参考图像和失真图像之间加入局部亮度，对比度和结构相似性[13]。 更具体地说，亮度，对比度和结构相似性由c1到c3是三个小的固定值来定义，

以避免当分母接近零时的不稳定性。 一个11times;11圆对称高斯加权函数g = {g_i | i =1, 2,...,N}具有1.5的标准偏差并归一化，这里使用单位和（sum;g_i=1）。统计量mu;r, mu;d, sigma;_2r, sigma;_2d和sigma;_rd遵循[13]中的定义。最终的SSIM得分由以下公式获得

其中W是图像中本地窗口的数量。

A.下采样模型

已经认识到，在观察期间考虑外部因素，例如观察距离和图像分辨率，对IQA性能具有很大影响。 在[22]中描述了在使用SSIM之前预处理图像的简单经验下采样策略：

Zd = max(1, round(Hi/256) （5） Hi 表示图像高度

B. SAST模型

随着观察距离的增加，视角以渐进的方式缩小。 因此，仅具有限制尺度参数的下采样模型不是理想的解决方案。 例如，在相同的距离，分辨率为651times;651和630times;630有Z_d = 3和Z_d = 2，从而它们的下采样图

剩余内容已隐藏，支付完成后下载完整资料

资料编号：[17792]，资料为PDF文档或Word文档，PDF文档可免费转换为Word