一种面向非高斯噪声的软镜机器人弯曲运动建模方法

本发明属于机器人控制，具体地涉及一种面向非高斯噪声的软镜机器人弯曲运动建模方法。

背景技术：

1、软镜机器人是一种典型的腱鞘驱动机构，腱鞘机构是一种复杂非线性系统，对其进行准确的运动机理分析建模是实现精准控制的基础。软镜由于制造材料的柔性特性及腱鞘间复杂摩擦力的存在导致其运动伴随着迟滞和参数时变等非线性特性，难以为其运动建立准确的模型。现有实践中，对于软镜运动迟滞建模的方法通常通过现象模型，直接描述系统输入输出形成的迟滞回环，这种方法中一般伴随着大量无物理意义的辨识参数，对于复杂时变的工作环境需要多次重复离线辨识，导致大量工序算力消耗以及较大的建模误差。如何针对软镜运动在复杂时变环境下进行通用精准建模仍是继续克服的挑战。

2、作为一种经典的状态估计方法，卡尔曼滤波可以通过对含有噪声的状态方程和测量方程进行基于卡尔曼增益的信息融合，获得比单一状态和测量更准确的估计状态。由于卡尔曼滤波本质上是基于贝叶斯估计的算法，其性能受限于高斯噪声假设，对于复杂时变的真实环境，非高斯噪声的存在严重降低了卡尔曼滤波器估计的精度。

3、在软镜操作机器人进行经自然腔道手术时，通常需要利用临床医学影像进行观测反馈，医学影像的成像噪声一般为非高斯噪声，软镜操作机器人这种复杂的非线性系统在临床非高斯噪声影响下的迟滞特性，为建立软镜运动的精确模型提出了巨大的挑战。

技术实现思路

1、本发明为克服现有技术的不足，提供一种面向非高斯噪声的软镜机器人弯曲运动建模方法。该建模方法面向影像反馈非高斯噪声。

2、一种面向非高斯噪声的软镜机器人弯曲运动建模方法包含：

3、s1、建立弯曲运动的输入输出现象模型

4、

5、其中，α(t)表示软镜末端弯曲角度，δl(t)表示软镜近端的拉线距离，vδl(t)表示软镜近端的拉线速度，表示软镜末端弯曲角速度，a，b，c表示模型中与迟滞回环形状相关的辨识参数；

6、s2、主动建模

7、将公式(1)推导得到公式

8、

9、其中，vt是v(t)的离散形式，v(t)表示观测噪声，为非高斯噪声，wt是w(t)的离散形式，w(t)表示弯曲角度和建模误差更新的过程噪声，为非高斯噪声，yt表示主动强化真值，xt表示t时刻的状态量，xt-1表示t-1时刻的状态量，f(xt-1)表示过程模型，h(xt)表示观测模型；

10、主动建模的具体步骤为：

11、s21：初始化初始状态与协方差矩阵

12、s22：过程模型状态量预测

13、

14、s23：观测模型观测量预测

15、yt|t-1＝h(xt|t-1)＝xt|t-1(1) (7)

16、s24：状态方程线性化，得到状态转移矩阵

17、

18、s25：观测方程线性化，得到观测矩阵

19、

20、s26：协方差矩阵预测和卡尔曼增益更新

21、

22、s27：状态量更新和协方差矩阵更新

23、

24、上述中，xt|t-1是t时刻的状态量预测值，yt|t-1是t时刻的观测量预测值，σt是状态转移矩阵，ωt是观测矩阵，pt|t-1是t时刻的协方差矩阵预测，pt-1|t-1是t-1时刻的协方差矩阵，q是过程噪声的协方差矩阵，r是测量噪声的协方差矩阵，kt是t时刻的卡尔曼增益，xt是t时刻的状态量，pt|t是t时刻的协方差矩阵，t是采样周期；

25、s3、主动强化建模

26、基于主动建模提供的状态估计，构建强化更新模块，采用如下算法公式获得；

27、

28、其中，表示主动强化建模估计量，表示主动建模估计，ktdrl表示强化卡尔曼增益，ytgt表示真值，ytdrl表示主动强化建模观测量，φtdrl表示残余误差；

29、利用优化目标l(τ)公式：

30、

31、上式中τk表示k时刻迭代的策略参数，at表示t时刻的动作空间，st表示t时刻的状态空间，π(·)表示策略，表示t时刻的代理优势，γ是截断参数，error表示真值数据与主动强化建模估计状态值之差，表示误差的积分；

32、通过对优化目标的跟踪，实现actor-critic参数的更新，获得强化卡尔曼增益at＝{kt}，以该强化卡尔曼增益作为输入，以主动强化建模估计状态作为输出，再将其传递给步骤s2主动建模的状态输入，不断迭代完成建模输出，直到训练过程完成，输出最优策略，完成非高斯观测误差建模。

33、本发明相比现有技术的有益效果是：

34、1、本申请所提建模方法构思为，首先进行c-h现象模型作为过程模型进行常规主动建模，其后在常规主动建模的ekf更新阶段后增加二次更新阶段，以带测量噪声的真值输出数据、主动建模的状态估计和测量估计以及强化学习的训练输出强化卡尔曼增益作为输入，输出为主动强化建模估计状态，再将其传递给常规主动建模的状态输入，不断迭代完成建模输出。

35、2、本申请所提的建模方法具有良好的建模准确度，对于不同程度的非高斯噪声仍具有令人满意的建模精度，独具的泛化能力让其可以适应真实环境噪声。

36、下面结合附图和实施例对本发明的技术方案作进一步地说明：

技术特征：

1.一种面向非高斯噪声的软镜机器人弯曲运动建模方法，其特征在于：包含：

2.根据权利要求1所述一种面向非高斯噪声的软镜机器人弯曲运动建模方法，其特征在于：步骤s1是选取参数较少的连续形式的c-h模型来描述软镜弯曲运动的迟滞回环形状，建立弯曲运动的输入输出现象模型。

3.根据权利要求1所述一种面向非高斯噪声的软镜机器人弯曲运动建模方法，其特征在于：步骤s2中的公式是经过以下步骤推导得到；

4.根据权利要求1所述一种面向非高斯噪声的软镜机器人弯曲运动建模方法，其特征在于：步骤s3的主动强化建模中，采用强化学习算法近端策略优化算法作为智能体的训练算法，策略梯度g写为：

5.根据权利要求1所述一种面向非高斯噪声的软镜机器人弯曲运动建模方法，其特征在于：所述强化学习算法近端策略优化算法的训练参数设置为：

技术总结
一种面向非高斯噪声的软镜机器人弯曲运动建模方法，包含以下步骤：建立弯曲运动的输入输出现象模型；主动建模；主动强化建模，基于主动建模提供的状态估计，构建强化更新模块，通过对优化目标的跟踪，实现参数的更新，获得强化卡尔曼增益，以该强化卡尔曼增益作为输入，以主动强化建模估计状态作为输出，再将其传递给主动建模的状态输入，不断迭代完成建模输出，直到训练过程完成，输出最优策略。本发明建模方法具有良好的建模准确度，对于不同程度的非高斯噪声仍具有令人满意的建模精度，独具的泛化能力让其可以适应真实环境噪声。

技术研发人员：王翔宇,任帆,韩建达
受保护的技术使用者：南开大学
技术研发日：
技术公布日：2024/4/7