鲁棒视觉惯性融合的样条误差加权外文翻译资料

英语原文共 11 页，剩余内容已隐藏，支付完成后下载完整资料

鲁棒视觉惯性融合的样条误差加权

汉尼斯·奥夫伦和佩尔-埃里克福斯

林科平大学

林科平，瑞典uml;

{hannes.ovren,per-erik.forssen}@liu.se

摘要

本文推导并检验了样条拟合中一种能平衡不同类型残差的概率加权方法。与以往的计算公式相比，本文提出的样条误差加权方法还包含了样条拟合逼近误差的预测。我们在一个综合实验中证明了该预测的有效性，并将其应用于滚动快门相机上的视觉惯性聚变。这就产生了一种方法，可以在一般的第一人称视频上用公制尺度来估计3D结构。我们还提出了一种样条拟合的质量度量，可用于节点间距的自动选取。实验证明，所获得的弹道质量与所要求的质量吻合良好。最后，通过对权值进行线性缩放，证明了所提出的样条误差加权可以使实数序列上的估计误差在尺度误差和端点误差方面最小化。

1.介绍

本文推导并检验了样条拟合中一种能平衡不同类型残差的概率加权方法。我们将加权方法应用于滚动快门相机上的惯性辅助运动结构(SfM)，并在手持和体装相机的第一人称视频上进行了测试。在这样的视频中，由于过度的运动模糊，或者由于暂时缺乏场景结构，序列的一部分往往难以使用。

众所周知，惯性测量单元(IMUS)是视觉输入的有用补充。视觉提供高精度的无偏置轴承测量，而IMU提供高频线性加速度和角速度测量，尽管有未知的偏差[4]。因此，视觉是有用的处理IMU偏差，而IMU可以处理辍学的视觉跟踪在快速运动，或没有场景结构。此外，imu还可以观测到公制尺度，也适用于单目视频。

传统上，基于样条的视觉图像惯性融合利用反向噪声协方差加权[17,21]的方法对传感器进行了改进。正如我们将要展示的那

图1数据集上估计呈现模型。顶部：使用Meshlab呈现的模型。底部：数据集中的示例帧

样，这忽略了样条逼近误差，导致了来自不同模式的残差的不一致平衡。本文提出了一种在残差加权中引入样条逼近误差的样条误差加权(SEW)方法。SEW使视觉惯性聚变对真实序列具有鲁棒性，是通过滚动快门相机获得的.图1显示了在这样一个序列上估计的三维结构和连续摄像机轨迹的示例。

1.1相关工作

滚动快门相机上的视觉惯性聚变是用扩展卡尔曼滤波器(EKF)进行的.汉宁等人[12]使用EKF跟踪手机定位以实现视频稳定。李等人[16]将此扩展到完整的设备运动跟踪，以及贾等人。[14]增加跟踪传感器之间相对位姿的变化和线性摄像机本质上的变化。

[9]中提出的另一项工作是定义一个连续时间估计问题，该问题是通过使用时间基函数对轨迹进行建模来批量求解的。

这是用高斯过程(GP)回归[9，1]完成的，并适用于使用分层时间基函数[2]和相关公式[3]，它推广了Sibley等人的全局快门公式。[23]。

视觉惯性聚变的时间基函数也可以在样条拟合框架内进行，就像样条融合[17，21]用于视觉惯性同步和标定一样。样条融合可以看作是束调整[24]对连续摄像机路径的直接推广。这方面的一个特例是Hedborg等人的卷帘束调整工作。[13]线性内插相邻摄像机的姿态，以处理卷动快门效应。虽然[17，21]中的公式在美学上是有吸引力的，但我们注意到，在滤波公式中，它缺乏过程噪声模型(即定义状态轨迹平滑性的)。这使得它在卷帘门相机上变得脆弱，除非相机的运动可以很好地表示在选定的节间距下(例如，当结间距等于帧距时，如[13]中所示)。在Oth等人的滚动快门相机校准工作中也提供了这个方向的提示。[19，10]，在样条连续再参数化的情况下(通过在间隔中添加节节和较大的残差)以获得精确的校准。本文对样条融合方法[17，21]中的轨迹逼近误差进行了修正。这使得这种方法在摄像机运动不完全平滑的情况下更普遍地适用，而不需要连续的重新参数化。

与捆绑调整相关的还有因子图法。福斯特等人[8]用全局快门相机模型对关键帧间的IMU测量数据进行预集成的视觉-惯性聚变研究。

我们提出的方法一般适用于许多样条拟合问题，因为它提供了一种统计上平衡不同类型残差的最优方法。将该方法应用于第一人称视频的运动构造.这个问题以前已经研究过，目的是基于几何的视频稳定，这是为了更快地回放视频[15]。在这种情况下，代理几何就足够了，因为在高速回放过程中往往不会注意到重要的几何工件。我们的目标是重建三维模型的准确性，从而采用连续时间的摄像机运动模型，它可以精确地模拟大多数摄像机上呈现的卷帘。

1.2贡献

· 推导了样条误差加权(SEW)的表达式，并 将其应用于连续时间结构的运动问题(CT-SfM)。 我们通过实验验证了所提出的加权比以前使用的逆噪声协方差加权产生更精确和稳定的轨迹。

· 基于允许的逼近误差，我们提出了一种自动设置合适的节点间距的准则。以前，节点间距是启发式地设置的，或者是使用重新优化迭代设置的。我们还从实验上验证了所得到的逼近误差与所要求的近似误差相似。

1.3记号

我们用小写字母如x(t)来表示信号，以及用一个频率变量如X(f)索引的大写字母表示信号。粗体小写字母，例如x，表示信号值的向量，相应的离散傅里叶变换用粗体大写字母表示，例如X。一个值的估计q用表示。

2.样条误差加权

基于能量的优化是一种常用的模型拟合工具.它涉及到定义一个能量函数J(Theta;)的模型参数Theta;，与测量残差的术语。通过引入模态权重来平衡来自几种不同模式的度量。

（1）

在这里，x，y，z是三种测量方式，它们是由重量，，来平衡的。

众所周知，(1)的极小化可以表示为概率的最大化，方法是对符号进行指数化和变换。这导致：

(2)

对于常见的正态分布测量残差，我们有：

(3)

其中是残差分布的方差。在样条的情况下，Theta;是一个系数向量，根据节点密度，如果样条太光滑而不能预测快速变化时的测量值，则将导致近似误差e(t)。因此，我们有一个残差模型。

(4)

其中n(t)是测量噪声。在样条融合方法[21]中，平衡优化的方差被设置为测量噪声方差，从而忽略了e(t)。现在，我们将根据信号的频率内容，推导出更精确的残差。

2.1频域样条拟合

样条拟合可以用频率响应函数H(f)表示，见[26，18]。在该公式中，采用离散傅里叶变换(DFT)X(f)的信号x(t)经过样条拟合后，其频率含量为(H·X)(f)。在[18]中，给出了变阶B样条H(f)的闭形表达式.通过用向量H表示频率响应函数的DFT，用X表示信号的DFT，可以将样条拟合引入的误差表示为：

(5)

我们现在将逆DFT算子定义为Ntimes;N矩阵M，，其中的。现在，我们可以计算误差信号e(t)，因为e=ME，以及它的方差为：

(6)

其中 E{X}=kXk². 上面的方差表达式直接来自于Parseval定理，这是很容易显示的。

（7）

在这里，我们使用了所有样条拟合的H(0)=1这一事实(见[18])，因此e(T)是一个零均值信号。

为了得到最终的残差预测，我们对(6)中近似方差的估计应该加到[21]中使用的噪声方差中。然而，样条拟合将噪声分成两部分现在，由于(6)是使用实际的，有噪声的输入信号X=X₀ N，它已经包含了样条滤除的噪声N的一部分。

E=(1minus;H)·X=(1minus;H)·X₀ (1minus;H)·N. (8)

因此，我们只应增加所保留的部分噪音。我们将这个过滤后的噪声项表示为

F=H·N, ,我们现在可以说明残差噪声预测的最终表达式。

(9)

对于白噪声，可以用测量噪声sigma;n和H来估计滤波后的噪声方差。

(10)

图2.顶部：50赫兹测试信号和噪声(右子图是一个细节)。底部：标准偏差作为节间距的函数。是经验残差标准差，是噪声标准差，用于预测，预测是提出的残差预测。是对无噪声信号的残差。

每个残差模式的最终权重(见(1))是其预测的残差方差的反比。

(11)

2.2一个简单的一维插图

在图2中，我们演示了一个简单的实验，它演示了我们提议的残差预测(9)的行为。在图2的左上角，我们显示了一个测试信号x(t)，它是一个真实信号的和，以及方差为的高斯白噪声n(t)。真正的信号是通过过滤白噪声来产生一系列不同的频率和振幅。在图2的右上角，我们显示了信号的详细信息，其中添加的噪声是可见的。

我们现在用最小二乘样条来拟合信号x(t)，得到了样，控制点为和基函数B(t)。

(12)

于一个节点间距范围，∆t重复这样做，每个节点间隔产生一个不同的残差。残差标准差如图2所示，底部。我们对剩余的绘制了相同的图，它测量了与真实信号相比的误差。得到的曲线在∆t=0.15时有一个极小值，这是最优的节点间距。实际剩余值小于此值的节点间距减小，因此表示过拟合。从实验中还可以看出，[21]关于噪声标准差可以预测的隐式假设对于处于或低于最优值的节点间距是合理的。然而，对于较大的结间距(在图的右侧)，这一假设变得越来越不准确。

2.2选择节点间距

一个更方便的设计准则是样条拟合引入的逼近误差，而不是显式地确定节点间距。为了选择一个合适的节点间距∆t，我们首先确定了一个质量值，它对应于我们希望保持的信号能量的分数。对于给定的信号，x(t)，在DFT，X下，我们定义质量值为能量比，在样条拟合前后。

(13)

这里H(∆t)是样条近似的标度频率响应，见第2.1节。通过

剩余内容已隐藏，支付完成后下载完整资料

资料编号：[609621]，资料为PDF文档或Word文档，PDF文档可免费转换为Word