利用3D视觉实现机器人焊接路径的自动修整外文翻译资料

英语原文共 6 页，剩余内容已隐藏，支付完成后下载完整资料

ScienceDirect

IFAC-PapersOnLine 49-31 (2016) 73–78

利用3D视觉实现机器人

焊接路径的自动修整

Eirik B. Njaastad ^lowast; Olav Egeland ^{lowast;lowast;}

挪威科技大学科技系

生产和质量工程， S.P.Andersens veg5， NO-7491

挪威特隆海姆(电子邮件： eirik.njaastad@ntnu.no)。

挪威科技大学生产和质量工程系， S.P.Andersenveg5， NO-7491

挪威特隆海姆(电子邮件： olav.egeland@ntnu.no)。

文摘：介绍了一种基于CAD数据的离线自动机器人焊接系统. 焊接路径在执行前用三维视觉进行校正，其中三维图像与待焊工件的CAD模型对齐。 在实验中成功地验证了该系统，并给出了结果。

2016年， IFAC（国际自动控制联合会）由Elsevier有限公司主办。版权所有。关键词：计算机视觉、柔性制造系统、CAD/CAM/CAE

1. 导言

机器人焊接提供了良好的重复性焊接路径轨迹，因为机器人在结构化环境中表现良好。 由于工件几何形状中的公差以及工件位置和方向的不确定性，所需的焊接路径将因工件而异。 与手动焊机相比，机器人不能自行连续修改焊接路径

。 为了使机器人焊接系统更灵活地处理不同的工件，必须引入外部输入，如计算机视觉。

机器人编程与教学吊坠的特点往往是繁琐和耗时，缺乏直观的互动工具。 许多中小企业在其设施中没有使用机器人， 因为这类设备的配置和编程过程耗时，需要在该领域具有高水平专门知识的工人(Neto和Mendes， 2013年)。 因此，在改进编程方面有很大的潜力，从而能够在较短的循环时间内以成本效益高的方式生产高质量的焊缝。

在离线机器人编程(OLP)中，机器人的运动是在不使用真实机器人的情况下编程的。 使用CAD系统对特定的机器人、工件、工具和工作空间进行建模。 然后使用这些模型来模拟机器人任务和路径规划，并生成由机器人控制器下载和执行的程序。 在程序可以执行之前，通常需要对程序进行验证和小的更改(Pan等人， 2010年)。 这个过程的这一部分被称为程序润色，通常是作为Lead-Trough或Walk-Trough编程来执 行的。 根据目前的方法，机器人程序在手动触摸之前完成了大约75%(Pires等人， 2006年)。

传统的程序调试方法包括在机器人单元内使用一组校准点，

或者通过在真正的机器人上使用传感器来补偿差异。 一些适应战略侧重于基于2D激光传感器的焊接接缝的实时跟踪( Manorathna等人， 2014年)，(Fang等人， 2011年)，或通过电 弧传感焊接电流或电压的波动发生时，焊枪是在编织模式(J eong等人， 2001年)。 通过确定焊枪与工件之间的接触点， 可以使用力反馈或触觉感知来定位焊缝的起始点(Sanders等 人， 2010年)。 这些方法必须为每个特定的工件重新配置， 并且通常最适合于简单的工件几何形状。

其他方法侧重于在离线编程机器人运动之前对工件进行精确定位(Pan等人， 2010年)。 实际工件姿态可以通过使用光学传感器注册和校准，以对应于CAD模型(Rajaraman等人， 201 3年)，(Dietz等人， 2012年)。 在某些方法中，计算机视觉被用来逼近和重建实际工件的几何形状，然后为每个新工件自动生成机器人程序(Dinham和Fang， 2012)。

加强使用计算机视觉来检测和测量待焊接工件的物理位置和方向，可以提高离线编程机器人焊接过程的效率，并可能降低使用机器人焊接系统所需的能力水平。 这将使更多的企业受益于机器人焊接系统。

RGB相机的范围很广，成本也很低. 然而，开发健壮和高效的视觉引导机器人系统可能是一项具有挑战性的任务，当使用2D图像时，它本质上只捕捉到3D世界的投影。 最近曝光时间(To F)深度相机的到来，以及最近推出的微软KinectTM深度相机

2016年2405-8963年， IFAC（国际自动控制联合会）由Elsevier有限公司主办。版权所有。 由国际自动控制联合会负责进行同行审查。

10.1016/j.ifacol.2016.12.164

图 1. 测试单元布局的图形模型。 Kinect

摄像机安装在工作台上，其视场朝向桌子。

使三维数据流以视频速率广泛可用。 这使得帮助机器人做出更有用决策的新方法成为可能。

本文研究了使用低成本三维摄像机和CAD模型数据校正离线编程焊接路径轨迹的可能性。 开发并实现了一个实验系统

，并进行了一系列测试来评估系统的性能。 本文组织如下

：本文第二节介绍了本工作中计算机视觉部分所使用的必要步骤。 第三节介绍了系统的实现，重点介绍了信息流，并给出了系统进行姿态估计的一个例子。 最后，最后一节是对所得结果的讨论。

1. 计算机辅助设计中的目标定位

模型和3D-Camera数据2.1点云采集

微软Kinect TM是一种光学飞行时间(To F)相机，它通过用调

制光源照亮场景并观察反射光来测量场景的深度(Payne等人

， 2014年)。 用于XboxOne的Kinect是为Micros of tXbox电子游戏控制台系统开发的第二代传感器输入设备，包括最先进的低成本深度传感技术。 这个版本的3D相机包括一个512x424 像素宽角度到F相机。 TO F相机为连续波调制型，具有70o 水平和60o垂直视场。 3D摄像机的校正工作可利用MATLAB 的“摄像机校正工具箱”(Bouguet，

张（ 1999）提出的方法的实施。

• 1. 点云处理

对获取的深度数据进行处理，以增强点云采集步骤中获取的数据的质量.. 当获取时，由于摄像机系统中的失真和噪声， 点云往往会退化。 另一个问题是在每个点云中捕获大量的数据，这可以大大降低识别和对齐算法的效果。 下采样、平滑、分割和估计局部表面几何是使点云中的数据更有用所必需的操作的例子。

• 1. 对象对齐

对于点云，对象对齐是在给定的数据集中找到正确的点对应

，并估计可以旋转并将每个单独的数据集转换为一致的坐标框架的转换的问题。 对齐点云的策略之一是通过估计对应来寻找正确的变换，然后估计给定一个对应的变换，并重复(Forsyth和Ponce， 2012年)。 这种方法可归类为局部优化方法，在这一类中，广泛使用的方法是迭代最接近点(ICP)算法(Rusu等人， 2009年)。 离线编程机器人焊接序列的开发包括建立待焊对象的模拟表示(即CAD模型)的姿态。 这种姿态通常提供了对真实物理对象姿态的良好的初始猜测，并作为通过局部方法对齐对象的良好起点。 对于本工作中描述的应用程序，初始对齐相对容易获得。 国际比较方案，这被认为是一种微调对齐方法(Rusu和Cousins， 2011年)，然后出现了一个很好的替代对象对齐。 比较方案算法是由Chen和Me dioni（ 1991年）和Besl和McKay（ 1992年）在90年代初引入的，但后来引入了关于基本比较方案概念的许多变化。

1. 系统执行
   1. 机器人单元

建立了一个机器人单元，对该溶液进行了实验评价。 机器人单元布局如图所示。 1. 机器人焊接系统有一台KUKA KR5机器人和一台Fronius Trans Steel5000焊机.. 焊机安装在KR5机器人机械手上，并与机器人控制器通信.. 金属活性气体(MA G) 焊接用焊机。

• 1. 信息流

该系统将深度相机的数据与CAD模型的先验知识和离线编程焊接序列相结合，以确定焊接路径轨迹的位置和方向。 现有的KUKA软件是传播信息的基础

在系统中。 一个自行开发的C 应用程序作为Kinect相机和机器人之间的接口，并处理不同的算法和计算。 图 2概述了系统中的信息流。

拟焊构件的模拟三维位置和方位是物体对准所需的输入参数

.. 它表示系统对物理分量的姿态的初始猜测，并且任何偏差都是相对于这个姿态来测量的。 输入参数用(X， Y， Z， Rx

， Ry， Rz)表示。 模拟套房名为KUKA.. 利用SIM建立了机器人单元的三维模型，并对焊接序列进行了编程。 除了关于计划位置、速度和加速度的信息外，编程序列还包括焊接参数，如焊接电流和每个焊缝的编织数据。 离线编程机器人焊接序列中的3D点来自位于工作台上的坐标框架。 如果系统检测到偏离编程和模拟分量姿态，则将点转换为新的位置和方向。 这种转换是由机器人控制器在程序运行时，通过转换坐标系的起源来执行的。 新的姿态估计用(X， Y， Z， Rx， Ry， Rz)值表示。

来自Kinect3D相机的深度流以每秒30帧的速度运行。 通过使用微软提供的标准驱动程序，该流被捕获并转换为点云。 为了使CAD模型与捕获的点云对齐，通过在模型的所有表面上采样指定数量的点，将模型转换为点云。 在开发的系统中，使用了StereoLithography(S TL)格式的CAD文件。

图 显示了一个捕获的点云和CAD模型的点云表示前后对齐

。 对象对齐是使用ICP算法与Levenberg-Mar quardt优化进行的.. 当算法收敛到一个解时，它返回4times; 4

将变换矩阵和校正传递给机器人控制器。 这些命令作为笛卡尔校正发送给机器人。 库卡KR5机器人系统使用Yaw俯仰辊(Z， Y， X)复合旋转惯例，用Tait-Bryan角度描述方向。

图 3. 对象由迭代最近点(ICP)对齐。

左侧显示获取的点云和CAD模型（白点）的点云表示.. 右侧显示ICP如何将CAD模型与获取的数据（黄色点） 对齐。

图 4. 用于测试的焊接路径轨迹

在示例组件上标记的系统性能。 水平位置的角焊缝用棕色实心箭头表示。 垂直位置的角焊缝用蓝色虚线箭头表示。

90度角，因此运行在机器人XY平面的两个方向。 垂直焊接接头沿机器人Z轴几乎直线向下进行.. 在所有测试中，通过将离线编程焊接路径与所开发的系统的校正焊接路径以及手动优化的焊接路径进行比较，对性能进行了评估。 通过使用走行机器人编程方法对路径进行教学，实现了路径的手动优化。 因此，通过使用机器人末端执行器，即焊接电极的尖端，发现了测量的偏差。

4.1系统性能

1. 结果

案例一：没有对象对齐作为比较的参考，该系统首先进行了测试，没有来自3D相机的校正。 这相当于正常的离线机器人编程，其中焊接序列是根据预先测量或假定的值对组件位

该系统通过在不同的部件位置和方向进行焊接操作来评估。

在水平和垂直方向上，对各种姿态进行了角焊。 在图中四，将两条焊接路径标记在一个样品部件上.. 水平焊接接头是通过沿边沿

置和方向进行编程的。 从这一标准方法取得的结果大部分是未完成的焊接程序。 所获得的精度不足以直接进行焊接

。

图 2. 所开发系统的信息流.. 计算机辅助设计模型和来自Kinect3D摄像机的数据是对

整个系统。 该CAD模型用于焊接序列的离线编程，并作为对象对齐过程的输入。 所开发的C 应用程序估计校正的组件姿态，并将姿态传递给机器人控制器。 在插图中，由C 应用程序处理的活动显示在最右边（紫色）框中。 最后

，基于校正后的构件姿态，由机器人执行离线编程焊接路径。

案例二： 2D对象对齐。 下一次测试包括来自系统的对象对齐，但在估计对象姿态时有局限性。 三维摄像机被放置在工作台上，其视野朝向桌子。 由于摄像机Z轴垂直于台面上的坐标系，因此可以将简单的二维刚性变换(X， Y， Rz)作为第一步。

当将参考试验无校正与二维物体对准结果进行比较时，后者显示出明显的改进焊接路径。 如图所示。 调整后的轨迹接近所需的焊接路径。 在Z方向上的精度相当于在参考测试中达到的精度。

案例3DI对II:象对齐在这种情况下，估计完整的3D变换(X，a Y， Z， Rx， Ry， Rz)。 离线编程和由此产生的转换焊接路径在Fig.6.Compared到案例一和案例二中得到了说明，该解决方案在X和Y方向上的估计中执行类似于2D对象对齐。 完整的三维对准对于Z方向的估计和旋转也具有良好的性能。

图中示出了案例I至III中焊接路径轨迹的绝对误差。 7. 对于情况三中的解决方案，平均绝对误差约为2.4毫米，最大误 差约为5.7毫米。 这并不是所有应用的充分结果，但对于许多焊接应用来说，这是一个可以接受的偏差，并且对未来的工作有希望。

1. 结论

为了改进焊接机器人离线编程的过程，开发了一种三维计算机视觉解决方案，通过估计待焊对象的校正姿态。 通过对不同构件位置和方向的焊接轨迹进行编程和焊接，得到了实验结果

结果表明，校正后的物体姿态估计有很小的变化。 平均绝对误差约为2.4毫米，最大误差约为5.7毫米。

认明

这项工作得到了B

剩余内容已隐藏，支付完成后下载完整资料

资料编号：[234197]，资料为PDF文档或Word文档，PDF文档可免费转换为Word