专利名称：一种基于小波神经网络的视觉反馈控制方法
技术领域：
本发明涉及机器人视觉反馈控制方法，属于人工智能领域。
背景技术：
近年来，人们致力于让机器人拥有类似于人类的视觉功能。目前普
遍的做法是借助于各种现成的成像设备(如CCD摄像头)。通过成像 设备得到环境信息，对这些信息进行处理并反馈到系统的输入端， 引导和协调机器人进行各项操作。类似的研究在工业、农业、服务 业、国防和航空航天等领域具有重要的实用价值。但是传统的方法 要求摄像机模型、机器人模型、手眼关系等已知或部分已知，这就 需要做大量的、费时费力的标定工作。为了避免或者简化系统的标 定过程，研究人员提出了一些解决方法。例如文献Pi印meier J A， McMurray G V， Lipkin H. A dynamic Quasi-Newton method for uncalibrated visual servoing. Proc IEEE Int Conf On Robotics and Automation, 1999: 1595-1600禾口 Asada M， Tanaka T， Hosoda K. Adaptive Binocular Visual Servoing Independently Moving Target Tracking. Proceedings of IEEE Conference Robotics & Automation, 2000: 2076 - 2081.是在国际机器人学领域的著名会议 IEEE Conference Robotics & Automation上发表的两篇文章。他们 采用的免标定方法是在线动态估计图像雅可比矩阵。这种方法的 优点是不需要进行系统标定，但缺点是每次迭代都需要求雅可比矩 阵的逆矩阵。对于复杂的机器人系统，图像雅可比矩阵具有较高的 维数，这样在线计算雅可比逆矩阵是很困难的，另外当雅可比矩阵 奇异时，逆矩阵不存在就会造成控制失败。本发明采用人工神经网 络，不仅能够避免复杂的系统参数标定，而且避免在线计算逆矩阵，
使控制系统的速度和稳定性得到保证。与一般基于人工神经网络的 控制方法相比，本发明采用的是小波神经网络，因为这种网络具有 更快的学习速度。与机器人视觉伺服中常见的基于物体几何特征的 方法相比，本发明采用的是通过特征空间变换得到的图像特征，这 样就使本发明的方法可方便用于不同的目标物体。
发明内容
本发明所要解决的技术问题是提供一种有效的、免标定的机器 人视觉反馈控制方法。
对于末端装有摄像头(机器人的眼睛)的一般机器人系统，由 于机器人的运动会引起图像特征的变化，这个过程是一个复杂的非 线性过程。根据视觉信息进行机器人运动控制时， 一般要求先根据 目标图像特征的变化，求出机器人应该产生的运动量。本发明采用 小波神经网络学习机器人应该产生的运动量与图像特征变化之间的 复杂关系。
本发明的技术方案如下
本发明分两个阶段
(一) 离线准备阶段，包含以下步骤
(1) 控制机械手运动到工作区内的任意位置，拍摄图像并保存机 器人当前的关节角数据；
(2) 计算图像特征；
(3) 将图像特征及关节角数据进行归一化处理；
(4) 训练人工神经网络并保存结果数据；
(二) 在线控制阶段，包含以下步骤
(1) 拍摄图像并读取当前的关节角数据；
(2) 计算当前的图像特征，并反馈到系统的输入端；
(3) 判断当前的图像特征是否与期望的情况相同，如果相同则认 为控制结束；如果不同则进入下一步；
(4) 计算图像特征差的归一化值；
(5) 通过人工神经网络得到关节角的归一化期望值；
(6) 计算实际的机器人关节角期望值；
(7) 控制机器人运动，返回第(l)步。
本发明的基于小波神经网络的视觉反馈控制原理(如图1所示)， 描述如下摄像头(机器人的眼睛)对准工作场所的目标物体，拍 摄图像，计算机进行图像特征提取并反馈到系统输入端，与期望值 做比较，二者如果不相等则通过小波神经网络得到期望的机器人关 键角数值，再由机器人控制器控制机器人(摄像头)运动，重复这 个过程直到图像特征之差为零为止。
在实际控制之前，需要先有一个离线准备阶段(参见图2)，包 含以下步骤
(1) 控制机械手运动到工作区内的任意位置，拍摄图像并保存机 器人当前的关节角数据。
(2) 采用特征空间变换方法计算图像特征。
假设有P幅WX《2的灰度图像，每一幅图像可以表示成含7V= 们X《2个元素的向量/p， ；^1，2，…,P。在离散的情况下，由于尸是有 限值，平均图像可按此公式计算/、fi(/)-丄lx,。然后求出尸幅差
图吒=/「/—，并由这尸幅差图构造矩阵^-(a^ a/2 ... a/》计算图
像协方差矩阵，即CH4^/尸。通过奇异值分解可以求出矩阵C的按 从大到小顺序排列的特征值。设前M个较大特征值对应的特征向量 为e;, / = i,2,..,m，用这M个特征向量构造如公式(l)所示的变换矩阵。
t/"0; < …<j (i)
于是一幅图像/g及w，可以用一个向量表示为
"昨-7), j;eiT (2)
其中向量^中包含M个元素，对应M个图像特征。
与几何特征相比，利用这种方法计算图像特征，优点是去相关 性好，受噪声的影响小，在背景比较复杂时也适用。另外可以避免 在目标上做人工标记，使算法适用于不同的被操作对象。
(3) 将图像特征及关节角数据进行归一化处理，也就是将数据变 换到[-l,+l]之间，以避免计算机发生溢出。
(4)训练人工神经网络并保存结果数据。
本发明采用的人工神经网络，其隐层传递函数采用小波函数即 WO = (l —。.ex/7(-^/2)。由于小波函数具有快速衰减性，使这种神经网 络具有收敛速度快、易适应新数据的优点。
假设神经网络有7V,(如果采用6个图像特征，则iV产6)个输入
节点，信号分别是M个图像特征的差Ay力2,…A^ (AX",-Z)。
神经网络有M (对于6自由度的机器人，7V3=6)个输出节点，它们
是M个机器人关节角位移值A《，A《,…A (A《=《-《)。上面的乂 与《表示期望位置处的图像特征和机器人关节角的值。假设隐藏层 有M个节点，vt;y为第/个输入到第7'个隐层节点的连接权值，以及
^为第_/个隐层节点到第A个输出的连接权值，~为小波函数的平移 参数。则网络的输入输出关系可表示为
△&=f>,(f>,,—~) + ~, "1,2,,,、7v3 (3)
y=l '=1
采用Levenberg-Marquardt算法训练小波神经网络的权值等参 数，算法公式为J^+1=X「a(/[/4+A)—'/k。然后将结果保存，
留作下一阶段使用。
在线控制阶段(参见图3)包含以下步骤
(1) 拍摄图像并读取当前的关节角数据。
(2) 按公式(2)计算当前的图像特征，并反馈到系统的输入端。
(3) 判断当前的图像特征是否与期望的情况相同，如果相同则认 为控制结束；如果不同则进入下一步。
(4) 计算图像特征差的归一化值，将数据变换到[-l，+l]之间。
(5) 根据公式(3)计算关节角的归一化期望值。
(6) 利用A0C = 1)(A0匪-A^,n) + M隨将机器人关节角期望值
从[-l,+l]之间变换到实际范围。
(7) 把上一步得到的机器人关节角的偏移量作为机器人控制器 的参考输入，输入给机器人控制器，由机器人控制器控制机器人运 动。然后转到第(l)步。
本发明具有以下优点
1、 本发明提供的视觉反馈控制方法利用了小波神经网络的学 习能力，避免了对系统各部分的标定要求，方法简练，实用性强。
2、 本发明提供的视觉反馈控制方法适用于不同形状的目标物 体，对于背景复杂的情况同样适用。
图l是视觉反馈控制原理图； 图2是阶段(一)的原理图3是阶段(二)的流程图4是实施例图5是图像特征差变化趋势图。
具体实施例方式
本发明可实施于需要进行视觉反馈控制的各种机器人视觉反馈 控制系统。实施时将摄像设备安装于机器人身体上的合适位置，要 求机器人眼睛能够看到工作场景。
如图4所示，针对一个由六自由度机器人、摄像头、计算机、 机器人控制器、图像采集卡组成的实际系统，图像捕捉卡通过PCI 总线与计算机相联，计算机通过串口与机器人控制器进行通讯。 Matrox Imaging Library函数库和M0T0C0M32函数库提供了图像捕 捉和机器人运动控制的基本函数，编程环境为Visual C++。工作台 面上放着目标物体。采用本发明提出的基于小波神经网络的视觉反 馈控制方法进行实际控制。 (一)离线准备阶段
(1) 控制机械手运动到工作区内的任意位置，拍摄图像并对图像 进行编号，同时保存对应的机器人关节角数据。
(2) 采用特征空间变换方法计算图像特征。
首先按公式/-= ￡(/)=丄^、计算平均图像。然后求出差图
A/p=/p_7，并构造矩阵j"A^ A/2 ... A/P)。再按公式OJ^AP计算
图像协方差矩阵。通过调用奇异值分解函数求出矩阵C的按从大到 小顺序排列的特征值。由于机器人具有六个自由度，取^1/=6。求出
矩阵C的前6个较大特征值对应的特征向量为e;， / = 1,2,...,6，用这6 个特征向量构造如公式(1)所示的变换矩阵，即￡/ = <…《)。 再利用公式} = ^(/-7)求出各图像对应的图像特征。其中向量j;中 包含6个元素，对应6个图像特征。
(3) 将图像特征及关节角数据进行归一化处理，也就是将数据变 换至U[-1， +1]之间，具体方法为x'-2(x-m/")/(wa;c-脂'")-l 。
(4) 训练人工神经网络并保存结果数据。
由于实例中采用6个图像特征，因此小波神经网络具有6个输 入节点和6个输出节点，隐层节点个数也取为6个，隐层传递函数 为WO = (l-。.《PH2/2)。输入信号分别是6个图像特征的差 Ay,，A^,…A;v输出是6个机器人关节角期望的位移值A《,A《,…A^ 。
在上面图像特征和机器人关节角数据的基础上，对该小波神经 网络的权值等参数进行训练，然后将结果保存。 (二)在线控制阶段
(1) 机器人的初始位置是随机的，在当前位置处拍摄图像并读 取当前的关节角数据。
(2) 按公式(2)计算当前的图像特征，并反馈到系统的输入端 与期望做比较。
(3) 如果当前的图像特征与期望值相同，则认为停止控制机器人 运动；如果不相同则进入下一步。
(4) 利用公式"2(n)/d -l计算图像特征差的归一
化值，将数据变换到[-l,+l]之间。
(5) 根据公式(3)计算关节角的归一化期望值。
(6) 利用A 4(A"l)(A^x - A^m) + A^in将机器人关节角期望值
从[-l,+l]之间变换到实际范围。
(7) 以A&为机器人控制器的参考输入，输入给机器人控制器，
由机器人控制器控制机器人运动。在机器人运动过程中，每隔50ms采集一次图像并计算图像特征，然后转到第(l)步。
实验效果可以用图像特征差最后是否收敛到0来证明。如果图 像特征差最后能够收敛到0，则说明系统是稳定收敛的，也就是利用
本发明的方法可以将机器人控制到目标位置。从图5的图像特征差
变化趋势图可以看出，所有图像特征的误差最后趋于o，表明机器人
在视觉信息反馈控制找到了目标物体，于是就可以接着执行其他工 作，如抓取、安装、焊接等。
权利要求
1.一种基于小波神经网络的视觉反馈控制方法，其特征在于分两个阶段(一)离线准备阶段，包含以下步骤(1)控制机械手运动到工作区内的任意位置，拍摄图像并保存机器人当前的关节角数据；(2)采用特征空间变换方法计算图像特征；对于P幅q1×q2的灰度图像，每一幅图像可以表示成含N＝q1×q2个元素的向量Ip，p＝1，2，…，P；在离散的情况下，由于P是有限值，平均图像可按此公式计算<math-cwu><![CDATA[<math> <mrow><mover> <mi>I</mi> <mo>‾</mo></mover><mo>=</mo><mi>E</mi><mrow> <mo>(</mo> <mi>I</mi> <mo>)</mo></mrow><mo>=</mo><mfrac> <mn>1</mn> <mi>P</mi></mfrac><munderover> <mi>Σ</mi> <mrow><mi>p</mi><mo>=</mo><mn>1</mn> </mrow> <mi>P</mi></munderover><msub> <mi>I</mi> <mi>p</mi></msub> </mrow></math>]]></math-cwu><!--img id="icf0001" file="S2007101776236C00011.gif" wi="115" he="37" img-content="drawing" img-format="tif"/-->；然后求出P幅差图<math-cwu><![CDATA[<math> <mrow><mi>Δ</mi><msub> <mi>I</mi> <mi>p</mi></msub><mo>=</mo><msub> <mi>I</mi> <mi>p</mi></msub><mo>-</mo><mover> <mi>I</mi> <mo>‾</mo></mover> </mrow></math>]]></math-cwu><!--img id="icf0002" file="S2007101776236C00012.gif" wi="82" he="20" img-content="drawing" img-format="tif"/-->，并由这P幅差图构造矩阵A＝(ΔI1 ΔI2…ΔIP)；计算图像协方差矩阵，即C＝ATA/P；通过奇异值分解可以求出矩阵C的按从大到小顺序排列的特征值；设前M个较大特征值对应的特征向量为ei′，i＝1，2，…，M，用这M个特征向量构造如公式(1)所示的变换矩阵；U＝A(e1′e2′ …eM′)(1)于是一幅图像I∈RN，可以用一个向量表示为
全文摘要
本发明是一种基于小波神经网络的视觉反馈控制方法，涉及机器人视觉反馈控制方法，属于人工智能领域。本发明针对传统机器人视觉反馈控制方法需要对摄像机模型、机器人模型、手眼关系等进行标定的问题，提出、设计并实施一种基于小波神经网络的视觉反馈控制方法。本发明是将摄像头(机器人的眼睛)对准工作场所的目标物体，拍摄图像，计算机进行图像特征提取并反馈到系统输入端，与期望值做比较，二者如果不相等则通过小波神经网络得到期望的机器人关键角数值，再由机器人控制器控制机器人(摄像头)运动，重复这个过程直到图像特征之差为零为止。本方法采用了小波神经网络而避免了对机器人系统各部分的标定要求，采用特征空间变换得到图像特征适用于不同的目标物体。
文档编号G05B13/02GK101169621SQ20071017762
公开日2008年4月30日 申请日期2007年11月19日 优先权日2007年11月19日
发明者赵清杰, 邓宏彬 申请人:北京理工大学