图像采集设备的运动估计方法、装置、终端及存储介质与流程

1.本发明涉及图像识别技术领域，特别是涉及一种图像采集设备的运动估计方法、装置、终端及计算机可读存储介质。


背景技术：

2.医疗内窥镜为一种由图像传感器、照明光源、光学镜头与其他物理装置结构构成的检测仪器，其可以通过人体的各个器官如鼻口等部位进入，拍摄人体内的一些组织器官的情况，医生可以通过内窥镜深入人体内各个组织进行拍摄，将人体内的一些病变情况保存下来。因此，医疗内窥镜在目前的病理诊断方面具有十分重要的作用。
3.目前的很多医疗内窥镜在进入人体进行查看时，其设备会对人体造成一定的刺激。医生做内窥镜手术的时候，镜头的运动速度会对被检查者造成不同程度的刺激。当速度超过一定程度有可能会对被检查者造成损伤。


技术实现要素：

4.本发明主要解决的技术问题是提供一种图像采集设备的运动估计方法、装置、终端及计算机可读存储介质，解决现有技术中无法确定图像采集设备运动速度的问题。
5.为解决上述技术问题，本发明提供的第一个技术方案是：提供一种图像采集设备的运动估计方法，图像采集设备的运动估计方法包括：通过图像采集设备针对待检测对象的目标部位采集待处理视频帧；基于相同的像素点在待处理视频帧和历史视频帧中的位置信息，确定待处理视频帧和历史视频帧之间的位置变量信息；历史视频帧是针对待检测对象的目标部位采集的图像且历史视频帧的采集时刻早于待处理视频帧的采集时刻；根据位置变量信息，确定采集待处理视频帧时图像采集设备的运动信息。
6.在一种可能的实现方式中，根据位置变量信息，确定采集待处理视频帧时图像采集设备的运动信息，包括：基于待处理视频帧和历史视频帧建立坐标系；坐标系的原点与待处理视频帧和历史视频帧的中心点重合；确定待处理视频和历史视频中各相同像素点对应的位移变量，位移变量表征对应的相同像素点的第一位置点和第二位置点的位移变量，第一位置点为待处理视频帧中对应的相同像素点在坐标系中的坐标点，第二位置点为历史视频帧中对应的相同像素点在坐标系中的坐标点；基于各相同像素点对应的位移变量，确定采集待处理视频帧时图像采集设备的运动信息。
7.在一种可能的实现方式中，坐标系包括四个象限；根据位置变量信息，确定采集待处理视频帧时图像采集设备的运动信息，还包括：统计得到位置变量信息在四个象限中各象限分别对应的水平方向位移变量和竖直方向位移变量；根据水平方向位移变量和竖直方向位移变量，确定采集待处理视频帧时图像采集设备的运动信息。
8.在一种可能的实现方式中，根据水平方向位移变量和竖直方向位移变量，确定采集待处理视频帧时图像采集设备的运动信息，之前还包括：采用卡尔曼滤波器对水平方向位移变量和竖直方向位移变量分别进行平滑处理；根据水平方向位移变量和竖直方向位移
变量，确定采集待处理视频帧时图像采集设备的运动信息，包括：根据平滑处理的水平方向位移变量和竖直方向位移变量，确定采集待处理视频帧时图像采集设备的运动信息。
9.在一种可能的实现方式中，运动信息包括运动速度和运动方向中的至少一个。
10.在一种可能的实现方式中，运动信息包括运动方向，四个象限包括第一象限、第二象限、第三象限和第四象限；第一象限位于坐标系的原点的右上方，第二象限位于坐标系的原点的左上方，第三象限位于坐标系的原点的左下方，第四象限位于坐标系的原点的右下方；根据位置变量信息，确定采集待处理视频帧时图像采集设备的运动信息，包括：响应于待处理视频帧与历史视频帧对应的相同像素点在第一象限的水平方向位移变量和竖直方向位移变量均为正值，且待处理视频帧与历史视频帧对应的相同像素点在第二象限的水平方向位移变量为负值、竖直方向位移变量为正值，待处理视频帧与历史视频帧中对应的相同像素点在第三象限的水平方向位移变量和竖直方向位移变量均为负值，待处理视频帧与历史视频帧中对应的相同像素点在第四象限的水平方向位移变量为正值、竖直方向位移变量为负值，则确定图像采集设备的运行方向为前进方向。
11.在一种可能的实现方式中，根据位置变量信息，确定采集待处理视频帧时图像采集设备的运动信息，包括：采用回归网络模型根据位置变量信息，确定采集待处理视频帧时图像采集设备的运动信息；在一种可能的实现方式中，回归网络模型的训练方法包括：获取第一训练数据集，第一训练数据集包括多组包含水平方向位移变量和竖直方向位移变量的训练数据；每组训练数据标注有真实运动信息；将各训练数据输入回归网络模型，得到各训练数据对应的预测运动信息；基于同一训练数据对应的真实运动信息与预测运动信息之间的误差值对回归网络模型进行迭代训练。
12.在一种可能的实现方式中，基于相同的像素点在待处理视频帧和历史视频帧中的位置信息，确定待处理视频帧和历史视频帧之间的位置变量信息，之前还包括：将待处理视频帧中的各像素点和历史视频帧中的各像素点分别进行特征匹配，得到相同的像素点在待处理视频帧中的位置信息和历史视频帧中的位置信息。
13.在一种可能的实现方式中，基于相同的像素点在待处理视频帧和历史视频帧中的位置信息，确定待处理视频帧和历史视频帧之间的位置变量信息，包括：采用图像配准网络模型基于相同的像素点在待处理视频帧和历史视频帧中的位置信息，确定待处理视频帧和历史视频帧之间的位置变量信息；在一种可能的实现方式中，图像配准网络模型的训练方法包括：获取第二训练数据集，第二训练数据集包括多张第一样本图像和第二样本图像；第一样本图像和第二样本图像之间间隔预设数量帧，且间隔预设数量帧的第一样本图像和第二样本图像之间对应标注有真实位置变量；将间隔预设数量帧的第一样本图像和第二样本图像输入到图像配准网络模型，得到第一样本图像和第二样本图像之间对应的预测位置变量；基于同一间隔预设数量帧的第一样本图像和第二样本图像之间对应的真实位置变量和预测位置变量之间的误差值对图像配准网络模型进行迭代训练。
14.为解决上述技术问题，本发明提供的第二个技术方案是：提供一种图像采集设备的运动估计装置，图像采集设备的运动估计装置包括：获取模块，用于通过图像采集设备针对待检测对象的目标部位采集待处理视频帧；分析模块，用于基于相同的像素点在待处理视频帧和历史视频帧中的位置信息，确定待处理视频帧和历史视频帧之间的位置变量信息；历史视频帧是针对待检测对象的目标部位采集的图像且历史视频帧的采集时刻早于待
处理视频帧的采集时刻；估计模块，用于根据位置变量信息，确定采集待处理视频帧时图像采集设备的运动信息。
15.为解决上述技术问题，本发明提供的第三个技术方案是：提供一种终端，该终端包括存储器、处理器以及存储于存储器中并在处理器上运行的计算机程序，处理器用于执行程序数据以实现上述图像采集设备的运动估计方法中的步骤。
16.为解决上述技术问题，本发明提供的第四个技术方案是：提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现上述图像采集设备的运动估计方法中的步骤。
17.本发明的有益效果是：区别于现有技术的情况，提供的一种图像采集设备的运动估计方法、装置、终端及计算机可读存储介质，图像采集设备的运动估计方法通过图像采集设备针对待检测对象的目标部位采集待处理视频帧；基于相同的像素点在待处理视频帧和历史视频帧中的位置信息，确定待处理视频帧和历史视频帧之间的位置变量信息；历史视频帧是针对待检测对象的目标部位采集的图像且历史视频帧的采集时刻早于待处理视频帧的采集时刻；根据位置变量信息，确定采集待处理视频帧时图像采集设备的运动信息。本技术基于待处理视频帧与待处理视频帧之前的历史视频帧确定其之间对应的位置变量信息，再根据得到的位置变量信息确定采集待处理视频帧时图像采集设备的运动信息，实现仅通过图像变换即可确定采集待处理视频帧时图像采集设备的运动信息。
附图说明
18.为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
19.图1是本发明提供的图像采集设备的运动估计方法的流程示意图；图2是本发明提供的图像采集设备的运动估计方法一实施例的流程示意图；图3是图2提供的图像采集设备的运动估计方法中步骤s21一具体实施例的流程示意图；图4是图2提供的图像采集设备的运动估计方法中步骤s22一具体实施例的流程示意图；图5是本发明提供的图像采集设备的运动估计方法一具体实施例的流程示意图；图6是本发明提供的图像采集设备的运动估计装置的示意框图；图7是本发明提供的终端一实施方式的示意框图；图8是本发明提供的计算机可读存储介质一实施方式的示意框图。
具体实施方式
20.下面结合说明书附图，对本技术实施例的方案进行详细说明。
21.以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、接口、技术之类的具体细节，以便透彻理解本技术。
22.本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关
系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。此外，本文中的“多”表示两个或者多于两个。
23.为使本领域的技术人员更好地理解本发明的技术方案，下面结合附图和具体实施方式对本发明所提供的一种图像采集设备的运动估计方法做进一步详细描述。
24.请参阅图1，图1是本发明提供的图像采集设备的运动估计方法的流程示意图。本实施例中提供一种图像采集设备的运动估计方法，该图像采集设备的运动估计方法包括如下步骤。
25.s11：通过图像采集设备针对待检测对象的目标部位采集待处理视频帧。
26.具体地，图像采集设备为可进入活体体内的医疗设备，也可以为其它可采集图像和/或视频的设备。例如图像采集设备可以为内窥镜，也可以为其他可以进入活体体内的设备。本实施例中以内窥镜为例，将内窥镜通过口鼻等部位伸入体内，采用内窥镜拍摄待检测对象的目标部位的情况，通过内窥镜实时获取体内的图像作为待处理视频帧。本实施例中的内窥镜可以在人体体内进行检测，即获取人体体内的图像作为待处理视频帧。在另一实施例中，也可以通过内窥镜在动物体内进行检测，即获取动物体内的图像作为待处理视频帧。
27.s12：基于相同的像素点在待处理视频帧和历史视频帧中的位置信息，确定待处理视频帧和历史视频帧之间的位置变量信息。
28.具体地，历史视频帧是针对待检测对象的目标部位采集的图像且历史视频帧的采集时刻早于待处理视频帧的采集时刻。
29.待处理视频帧与历史视频帧之间间隔n帧图像，n为正整数。将待处理视频帧中的各像素点和历史视频帧中的各像素点分别进行特征匹配，得到相同的像素点在待处理视频帧中的位置信息和历史视频帧中的位置信息。其中，相同像素点为待处理视频帧和历史视频帧中同时存在的像素点，相同像素点可以包括一个或多个，基于实际情况确定。采用图像配准网络模型基于相同的像素点在待处理视频帧和历史视频帧中的位置信息，确定待处理视频帧和历史视频帧之间的位置变量信息。
30.位置变量信息为相同的像素点在待处理视频帧中的位置信息与历史视频帧中的位置信息之间的位移变量。具体地，位置变量参数可以为变换场，也就是说，将历史视频帧中任意像素点的位置信息基于对应的变换场转换得到该像素点映射于待处理视频帧中的位置信息。
31.s13：根据位置变量信息，确定采集待处理视频帧时图像采集设备的运动信息。
32.具体地，基于待处理视频帧和历史视频帧建立坐标系；坐标系的原点与待处理视频帧和历史视频帧的中心点重合；确定待处理视频和历史视频中各相同像素点对应的位移变量，位移变量表征对应的相同像素点的第一位置点和第二位置点的位移变量，第一位置点为待处理视频帧中对应的相同像素点在坐标系中的坐标点，第二位置点为历史视频帧中对应的相同像素点在坐标系中的坐标点；基于各相同像素点对应的位移变量，确定采集待处理视频帧时图像采集设备的运动信息。
33.在一实施例中，坐标系包括四个象限；运行速度信息包括运行速度和运行方向；统计得到位置变量信息在四个象限中各象限分别对应的水平方向位移变量和竖直方向位移
变量；根据水平方向位移变量和竖直方向位移变量，确定采集待处理视频帧时图像采集设备的运动信息。
34.在一优选实施例中，采用卡尔曼滤波器对水平方向位移变量和竖直方向位移变量分别进行平滑处理；根据平滑处理的水平方向位移变量和竖直方向位移变量，确定采集待处理视频帧时图像采集设备的运动信息。
35.在一实施例中，运动信息包括运动速度和运动方向中的至少一个。根据待处理视频帧和历史视频帧之间的位置变量信息，确定获取待处理视频帧时图像采集设备的运动速度和运动方向。
36.在一优选实施例中，运动信息包括运动方向，四个象限包括第一象限、第二象限、第三象限和第四象限；第一象限位于坐标系的原点的右上方，第二象限位于坐标系的原点的左上方，第三象限位于坐标系的原点的左下方，第四象限位于坐标系的原点的右下方。响应于待处理视频帧与历史视频帧对应的相同像素点在第一象限的水平方向位移变量和竖直方向位移变量均为正值，且待处理视频帧与历史视频帧对应的相同像素点在第二象限的水平方向位移变量为负值、竖直方向位移变量为正值，待处理视频帧与历史视频帧中对应的相同像素点在第三象限的水平方向位移变量和竖直方向位移变量均为负值，待处理视频帧与历史视频帧中对应的相同像素点在第四象限的水平方向位移变量为正值、竖直方向位移变量为负值，则确定图像采集设备的运行方向为前进方向。
37.在一实施例中，采用回归网络模型根据位置变量信息，确定采集待处理视频帧时图像采集设备的运动信息。
38.本实施例提供的图像采集设备的运动估计方法，通过图像采集设备针对待检测对象的目标部位采集待处理视频帧；基于相同的像素点在待处理视频帧和历史视频帧中的位置信息，确定待处理视频帧和历史视频帧之间的位置变量信息；历史视频帧是针对待检测对象的目标部位采集的图像且历史视频帧的采集时刻早于待处理视频帧的采集时刻；根据位置变量信息，确定采集待处理视频帧时图像采集设备的运动信息。本技术基于待处理视频帧与待处理视频帧之前的历史视频帧确定其之间对应的位置变量信息，再根据得到的位置变量信息确定采集待处理视频帧时图像采集设备的运动信息，实现仅通过图像变换即可确定采集待处理视频帧时图像采集设备的运动信息。
39.请参阅图2，图2是本发明提供的图像采集设备的运动估计方法一实施例的流程示意图。本实施例中提供一种图像采集设备的运动估计方法，该图像采集设备的运动估计方法包括如下步骤。
40.s21：训练得到回归网络模型。
41.具体地，对回归网络模型进行训练具体包括如下步骤。
42.请参阅图3，图3是图2提供的图像采集设备的运动估计方法中步骤s21一具体实施例的流程示意图。
43.s211：获取第一训练数据集。
44.具体地，第一训练数据集包括多组包含水平方向位移变量和竖直方向位移变量的训练数据；每组训练数据标注有真实运行速度和真实运行方向。其中，真实运行速度和真实运行方向是基于运行目标的运行距离和运行时间计算得到。
45.在本实施例中，每组训练数据包括一坐标系的四个象限对应的8个位移值，8个位
移值包括四个象限中各象限分别对应的水平方向位移变量和四个象限中各象限分别对应的竖直方向位移变量。其中，每组训练数据对应的训练数据x=（x1，x2，x3，x4，x5，x6，x7，x8）。
46.本实施例中，各组训练数据对应的真实运行速度为运行目标在四个象限发生8个位移值的位置变化时，运行目标的运行速度。
47.四个象限包括第一象限、第二象限、第三象限和第四象限；第一象限位于坐标系的原点的右上方，第二象限位于坐标系的原点的左上方，第三象限位于坐标系的原点的左下方，第四象限位于坐标系的原点的右下方。
48.当第一象限的水平方向的位移变量dxs和竖直方向的位移变量dys均为正值；第二象限的水平方向的位移变量dxs为负值，竖直方向的位移变量dys为正值；第三象限的水平方向的位移变量dxs和竖直方向的位移变量dys均为负值；第四象限的水平方向位移变量dxs为正值，竖直方向的位移变量dys为负值，则标注训练数据对应的真实运行方向为前进。具体的，训练数据对应的标注数据为正值。例如，标注数据为+5cm/s或5cm/s；其中，真实运行速度为5cm/s，真实运行方向为前进。
49.当第一象限的水平方向的位移变量dxs和竖直方向的位移变量dys均为负值；第二象限的水平方向位移变量dxs为正值，竖直方向的位移变量dys为负值；第三象限的水平方向的位移变量dxs和竖直方向的位移变量dys均为正值；第四象限的水平方向位移变量dxs为负值，竖直方向的位移变量dys为正值，则标注训练数据对应的真实运行方向为后退。具体的，标注训练数据对应的真实运行速度为负值。例如，标注数据为-3cm/s；其中，真实运行速度为3cm/s，真实运行方向为后退。
50.当第一象限的水平方向的位移变量dxs为正值，竖直方向的位移变量dys为零；第二象限的水平方向位移变量dxs为正值，竖直方向的位移变量dys为零；第三象限的水平方向的位移变量dxs为正值，竖直方向的位移变量dys为零；第四象限的水平方向位移变量dxs为正值，竖直方向的位移变量dys为零，则标注训练数据对应的真实运行方向为右移。
51.当第一象限的水平方向的位移变量dxs为负值，竖直方向的位移变量dys为零；第二象限的水平方向的位移变量dxs为负值，竖直方向的位移变量dys为零；第三象限的水平方向的位移变量dxs为负值，竖直方向的位移变量dys为零；第四象限的水平方向位移变量dxs为负值，竖直方向的位移变量dys为零，则标注训练数据对应的真实运行方向为左移。
52.当第一象限的水平方向的位移变量dxs为零，竖直方向的位移变量dys为正值；第二象限的水平方向的位移变量dxs为零，竖直方向的位移变量dys为正值；第三象限的水平方向的位移变量dxs为零，竖直方向的位移变量dys均为正值；第四象限的水平方向位移变量dxs为零，竖直方向的位移变量dys为正值，则标注训练数据对应的真实运行方向为上移。
53.当第一象限的水平方向的位移变量dxs为零，竖直方向的位移变量dys为负值；第二象限的水平方向位移变量dxs为零，竖直方向的位移变量dys为负值；第三象限的水平方向的位移变量dxs为零，竖直方向的位移变量dys均为负值；第四象限的水平方向位移变量dxs为零，竖直方向的位移变量dys为负值，则标注训练数据对应的真实运行方向为下移。
54.具体的，当训练数据对应的真实运行方向为左移、右移、上移或下移时，标注训练数据对应的真实运行速度为零，训练数据对应的运行目标未发生前进运动也未发生后退运动。
55.s212：将各训练数据输入回归网络模型，得到各训练数据对应的预测运行速度和
预测运行方向。
56.具体地，将各组训练数据输入到回归网络模型中，回归网络模型基于各组训练数据对应的8个位移值确定各组训练数据对应的预测数据。其中，预测数据包括预测运行速度和预测运行方向。
57.在一实施例中，回归网络模型将8个位移值作为输入，基于公式1计算得到8个位移值对应的预测运行速度和预测运行方向。
58.（公式1）公式1中：f（x）表示训练数据对应的预测数据；x表示8个位移值向量；w表示8个向量的权重值，w=（w1，w2，w3，w4，w5，w6，w7，w8），b为权重，t表示转置参数。
59.s213：基于同一训练数据对应的真实运行速度与预测运行速度之间的误差值、真实运行方向和预测运行方向之间的误差值对回归网络模型进行迭代训练。
60.具体地，根据同一组训练数据对应的标注数据和预测数据之间的误差值对回归网络模型进行迭代训练，优化公式1中的权重值。
61.在一具体实施例中，计算得到同一组训练数据对应的真实运行速度与预测运行速度之间的误差值、并计算得到同一组训练数据对应的真实运行方向与预测运行方向的误差值，基于运行速度的误差值和运行方向的误差值对回归网络模型进行迭代训练，训练优化公式1中的权重值。
62.在一可选实施例中，回归网络模型的结果反向传播，根据反馈的损失值对回归网络模型的权重值进行修正。也就是说，根据反馈的损失值对回归网络模型中的线性回归函数中的权重值w和b进行修正，实现对回归网络模型的训练。
63.将训练数据输入到回归网络模型中，回归网络模型对训练数据对应的运行速度和运行方向进行预测。当同一训练数据对应的标注数据和预测数据之间的误差值小于预设阈值，预设阈值可以自行设置，例如1%、5%等，则停止对回归网络模型的训练。
64.通过训练回归网络模型，可以增加回归网络模型的检测准确率，进而便于捕获更多局部的运动。
65.s22：训练得到图像配准网络模型。
66.具体地，对图像配准网络模型进行训练具体包括如下步骤。
67.请参阅图4，图4是图2提供的图像采集设备的运动估计方法中步骤s22一具体实施例的流程示意图。
68.s221：获取第二训练数据集。
69.具体地，第二训练数据集包括多张内窥镜场景的第一样本图像和第二样本图像；第一样本图像和第二样本图像之间间隔预设数量帧，且间隔预设数量帧的第一样本图像和第二样本图像之间标注有对应的真实位置变量。
70.在一实施例中，在一视频流中获取不同视频帧的图像作为第一样本图像和第二样本图像，其中先获取的一帧图像作为第一样本图像，在第一样本图像后间隔预设数量帧后再获取一帧图像作为第二样本图像。也就是说，第一样本图像和第二样本图像处于同一场景。在本实施例中，第一样本图像和第二样本图像均为内窥镜在体内的场景对应的图像。内窥镜在体内场景对应的图像中具有的纹理较少。
71.在本实施例中，同一组的第一样本图像和第二样本图像为时序图像，且第一样本
图像以及对应的第二样本图像具有相同的尺寸。例如，第一样本图像和第二样本图像的尺寸均为600*800。
72.s222：将间隔预设数量帧的第一样本图像和第二样本图像输入到图像配准网络模型，得到第一样本图像和第二样本图像之间对应的预测位置变量。
73.具体地，将第二训练数据集中的一组训练样本同时输入到图像配准网络模型。也就是说，一组训练样本包括第一样本图像和对应的第二样本图像。将第一样本图像和以及与第一样本图像间隔预设数量帧的第二样本图像输入到图像配准网络模型。
74.图像配准网络模型将第一样本图像中的各像素点和第二样本图像中的各像素点分别进行特征匹配，得到相同的像素点在第一样本图像中的位置信息和第二样本图像中的位置信息。也就是说，将相同的像素点对应在第一样本图像中的位置信息和相同的像素点对应在第二样本图像中的位置信息进行映射，确定第一样本图像和第二样本图像之间对应的预测位置变量。
75.在一具体实施例中，第一样本图像和第二样本图像之间对应的预测位置变量可以为变换场φ，其中，。φ表示第一样本图像和第二样本图像之间对应的预测位置变量；w表示图像的宽度；h表示图像的高度；2表示第一样本图像和第二样本图像中相互映射的像素在水平方向和竖直方向的位移量，，，。
76.具体地，基于公式2根据第一样本图像ik得到第二样本图像i
n+k
。
77.（公式2）其中，第一样本图像中的像素坐标加上变换场的水平方向上的位移变量和竖直方向上的位移变量，，得到变换后的像素坐标，对变换后的各像素分别进行双线性插值得到第二样本图像i
n+k
。
78.在一具体实施例中，在第一样本图像中选取一像素点p=（x，y），对像素点p的像素值基于公式3进行双线性插值，得到第二样本图像i
n+k
中坐标为（x，y）的点的像素值。
79.（公式3）公式中：f（x，y）表示第二样本图像i
n+k
中坐标为（x，y）的点的像素值；q
11
=（x1，y1），q
12
=（x1，y2），q
21
=（x2，y1），q
22
=（x2，y2），q
11
、q
12
、q
21
、q
22
分别表示四个整数的插值点。
80.s223：基于同一间隔预设数量帧的第一样本图像和第二样本图像之间的真实位置变量和预测位置变量之间的误差值对图像配准网络模型进行迭代训练。
81.具体地，计算得到同一组训练样本中的第一样本图像和第二样本图像对应的真实位置变量和预测位置变量之间的误差值，基于误差值对图像配准网络模型进行迭代训练。
82.在一具体实施例中，计算得到同一组训练样本中的第一样本图像和第二样本图像
对应的真实变换场和预测变换场之间的误差值，基于误差值对图像配准网络模型进行迭代训练。
83.在一可选实施例中，图像配准网络模型的结果反向传播，根据反馈的损失值对图像配准网络模型的权重值进行修正。
84.将训练样本中的第一样本图像和第二样本图像同时输入到图像配准网络模型中，图像配准网络模型对第一样本图像和第二样本图像之间的变换场进行预测。当同一训练样本中的第一样本图像和第二样本图像之间的误差值小于预设阈值，预设阈值可以自行设置，例如1%、5%等，则停止对图像配准网络模型的训练。
85.s23：通过图像采集设备针对待检测对象的目标部位采集待处理视频帧。
86.具体地，图像采集设备为可进入活体体内的医疗设备。图像采集设备可以为内窥镜，也可以为其他可以进入活体体内的设备。本实施例中以内窥镜为例，将内窥镜通过口鼻等部位伸入体内，采用内窥镜拍摄待检测对象的目标部位的情况，通过内窥镜实时获取体内的图像作为待处理视频帧。本实施例中的内窥镜可以在人体体内进行检测，即获取人体体内的图像作为待处理视频帧。在另一实施例中，也可以通过内窥镜在动物体内进行检测，即获取动物体内的图像作为待处理视频帧。
87.在一实施例中，在待处理视频帧i
n+k
之前的所有历史视频帧中获取与待处理视频帧i
n+k
间隔n帧的一历史视频帧ik。也就是说，获取的历史视频帧ik与待处理视频帧i
n+k
间隔预设数量帧。由于相邻视频帧之间的间隔时间预设为t，获取的历史视频帧ik和待处理视频帧i
n+k
之间间隔的时间为nt。历史视频帧ik和待处理视频帧i
n+k
为具有时序的两帧图像且两帧图像具有相同的尺寸。
88.s24：采用图像配准网络模型根据待处理视频帧和待处理视频帧之前的历史视频帧，确定待处理视频帧和历史视频帧之间对应的位置变量信息。
89.具体地，将获取的历史视频帧ik和待处理视频帧i
n+k
同时输入到步骤s22训练得到图像配准网络模型，训练后的图像配准网络模型对将待处理视频帧i
n+k
中的各像素点和历史视频帧ik中的各像素点分别进行特征匹配。根据相同的像素点对应在待处理视频帧i
n+k
中的位置信息和在历史视频帧ik中的位置信息，确定待处理视频帧i
n+k
和历史视频帧ik之间对应的位置变量信息。其中，相同像素点为待处理视频帧和历史视频帧中同时存在的像素点，相同像素点可以包括一个或多个，基于实际情况确定。
90.在一具体实施例中，将获取的历史视频帧ik和待处理视频帧i
n+k
同时输入到步骤s22训练得到图像配准网络模型，计算历史视频帧ik和待处理视频帧i
n+k
之间对应的变换场。也就是说，可以将获取的历史帧图像ik基于变换场通过变换场转换和双线性插值后得到待处理视频帧i
n+k
。
91.s25：基于待处理视频帧和历史视频帧建立坐标系。
92.具体地，为了便于计算待处理视频帧和历史视频帧中各像素点的位置变化量，则在待处理视频帧和历史视频帧中建立相同的坐标系。坐标系的原点分别为待处理视频帧的中心点和历史视频帧的中心点，且待处理视频帧的中心点和历史视频帧的中心点重合。
93.坐标系包括四个象限，四个象限包括第一象限、第二象限、第三象限和第四象限；第一象限位于坐标系的原点的右上方，第二象限位于坐标系的原点的左上方，第三象限位
于坐标系的原点的左下方，第四象限位于坐标系的原点的右下方。
94.s26：统计得到坐标系中四个象限分别对应的水平方向位移变量和竖直方向位移变量。
95.具体地，将步骤s24得到的位置变量信息在四个象限中进行划分。也就是将历史帧图像与当前帧图像之间的变换场在四个象限中进行划分，得到四个象限中各象限分别对应在水平方向的位移值的平均值dxs和竖直方向的位移值的平均值dys，其中，s∈{1，2，3，4}。
96.通过该步骤得到坐标系中四个象限对应的8个位移值。
97.本实施例中，通过将步骤s24得到的位置变量信息在四个象限中进行划分，可以较好的对内窥镜在人体中的运动场景进行了建模，四个象限的运动变换场能够更好的反应当前内窥镜的运动状态。
98.s27：对待处理视频帧与历史视频帧在四个象限分别对应的水平方向位移变量和竖直方向位移变量分别进行平滑处理。
99.具体地，采用卡尔曼滤波器对待处理视频帧与历史视频帧在四个象限分别对应的水平方向位移变量和竖直方向位移变量分别进行平滑处理。
100.s28：采用回归网络模型根据待处理视频帧与历史视频帧在四个象限分别对应的水平方向位移变化量和竖直方向位移变化量，确定获取待处理视频帧时图像采集设备的运行速度和运行方向。
101.具体地，将平滑处理后的待处理视频帧与历史视频帧对应的8个位移值输入到经过步骤21训练得到的回归网络模型中，回归网络模型将输入的8个位移值带入到公式1中，直接基于待处理视频帧与历史视频帧对应的8个位移值计算得到采集当前帧图像时内窥镜的运行速度。其中，内窥镜的运行速度具有方向矢量。
102.在一实施例中，响应于待处理视频帧与历史视频帧中对应的相同像素点在第一象限的水平方向位移变量和竖直方向位移变量均为正值，且待处理视频帧与历史视频帧中对应的相同像素点在第二象限的水平方向位移变量为负值，竖直方向位移变量为正值，待处理视频帧与历史视频帧中对应的相同像素点在第三象限的水平方向位移变量和竖直方向位移变量均为负值，待处理视频帧与历史视频帧中对应的相同像素点在第四象限的水平方向位移变量为正值，竖直方向位移变量为负值，则回归网络模型输出内窥镜的运行速度为正值，表明内窥镜从历史视频帧运行至待处理视频帧是向前运动。内窥镜在向前运行时，变换场在四个象限中，根据象限的不同向外发散。
103.本实施例中使用了一个回归网络模型对内窥镜的运行速度和运行方向与四个象限对应的8个位移值之间的关系进行建模，能够精确的通过变换场的数值拟合出内窥镜的运动速度，提高运行速度的检测准确率。
104.请参阅图5，图5是本发明提供的图像采集设备的运动估计方法一具体实施例的流程示意图。
105.在一具体实施例中，预先对回归网络模型进行训练后，读入两张内窥镜间隔n帧得到的两帧时序图像，将得到的两帧时序图像经过预处理后输入到图像配准网络模型，输出两帧时序图像对应的变换场。将变换场划分为四个象限分别对应在水平方向和竖直方向上的平均位移，得到8个位移值。使用卡尔曼滤波器对8个位移值进行位移参数调整，进而实现对8个位移值的平滑。将得到的8个位移值输入到训练完毕的回归网络模型中，得到内窥镜
的运行速度和运行方向。
106.本实施例提供的图像采集设备的运动估计方法，通过图像采集设备针对待检测对象的目标部位采集待处理视频帧；基于相同的像素点在待处理视频帧和历史视频帧中的位置信息，确定待处理视频帧和历史视频帧之间的位置变量信息；历史视频帧是针对待检测对象的目标部位采集的图像且历史视频帧的采集时刻早于待处理视频帧的采集时刻；根据位置变量信息，确定采集待处理视频帧时图像采集设备的运动信息。本技术基于待处理视频帧与待处理视频帧之前的历史视频帧确定其之间对应的位置变量信息，再根据得到的位置变量信息确定采集待处理视频帧时图像采集设备的运动信息，实现仅通过图像变换即可确定采集待处理视频帧时图像采集设备的运动信息。
107.参阅图6，图6是本发明提供的图像采集设备的运动估计装置的示意框图。本实施例提供一种图像采集设备的运动估计装置60，图像采集设备的运动估计装置60包括获取模块61、分析模块62和估计模块63。
108.获取模块61用于通过图像采集设备针对待检测对象的目标部位采集待处理视频帧。
109.具体地，图像采集设备为可进入活体体内的医疗设备。图像采集设备可以为内窥镜，也可以为其他可以进入活体体内的设备。
110.分析模块62基于相同的像素点在待处理视频帧和历史视频帧中的位置信息，确定待处理视频帧和历史视频帧之间的位置变量信息；历史视频帧是针对待检测对象的目标部位采集的图像且历史视频帧的采集时刻早于待处理视频帧的采集时刻。
111.具体地，分析模块62用于将待处理视频帧中的各像素点和历史视频帧中的各像素点分别进行特征匹配，得到相同的像素点在待处理视频帧中的位置信息和历史视频帧中的位置信息。
112.在一具体实施例中，分析模块62用于采用图像配准网络模型基于相同的像素点在待处理视频帧和历史视频帧中的位置信息，确定待处理视频帧和历史视频帧之间的位置变量信息。
113.估计模块63用于根据位置变量信息，确定采集待处理视频帧时图像采集设备的运动信息。
114.在一具体实施例中，估计模块63用于基于待处理视频帧和历史视频帧建立坐标系；坐标系的原点与待处理视频帧和历史视频帧的中心点重合；确定待处理视频和历史视频中各相同像素点对应的位移变量，位移变量表征对应的相同像素点的第一位置点和第二位置点的位移变量，第一位置点为待处理视频帧中对应的相同像素点在坐标系中的坐标点，第二位置点为历史视频帧中对应的相同像素点在坐标系中的坐标点；基于各相同像素点对应的位移变量，确定采集待处理视频帧时图像采集设备的运动信息。
115.在一具体实施例中，坐标系包括四个象限；估计模块63用于统计得到位置变量信息在四个象限中各象限分别对应的水平方向位移变量和竖直方向位移变量；根据水平方向位移变量和竖直方向位移变量，确定采集待处理视频帧时图像采集设备的运动信息。
116.在一具体实施例中，估计模块63用于采用卡尔曼滤波器对待处理视频帧与历史视频帧在四个象限分别对应的水平方向位移变量和竖直方向位移变量分别进行平滑处理；根据平滑处理的水平方向位移变量和竖直方向位移变量，确定获取待处理视频帧时图像采集
设备的运动信息。
117.在一具体实施例中，运动信息包括运动速度和运动方向中的至少一个。估计模块63用于根据待处理视频帧和历史视频帧之间的位置变量信息，确定获取待处理视频帧时图像采集设备的运动速度和运动方向。
118.在一具体实施例中，运动信息包括运动方向，四个象限包括第一象限、第二象限、第三象限和第四象限；第一象限位于坐标系的原点的右上方，第二象限位于坐标系的原点的左上方，第三象限位于坐标系的原点的左下方，第四象限位于坐标系的原点的右下方；估计模块63用于响应于待处理视频帧与历史视频帧对应的相同像素点在第一象限的水平方向位移变量和竖直方向位移变量均为正值，且待处理视频帧与历史视频帧对应的相同像素点在第二象限的水平方向位移变量为负值、竖直方向位移变量为正值，待处理视频帧与历史视频帧中对应的相同像素点在第三象限的水平方向位移变量和竖直方向位移变量均为负值，待处理视频帧与历史视频帧中对应的相同像素点在第四象限的水平方向位移变量为正值、竖直方向位移变量为负值，则确定图像采集设备的运行方向为前进方向。
119.具体地，估计模块63用于采用回归网络模型根据位置变量信息，确定采集待处理视频帧时图像采集设备的运动信息。
120.本技术基于待处理视频帧与待处理视频帧之前的历史视频帧确定其之间对应的位置变量信息，再根据得到的位置变量信息确定获取待处理视频帧时图像采集设备的运动信息，实现仅通过图像变换即可确定获取待处理视频帧时图像采集设备的运动信息。
121.请参阅图7，图7是本技术终端一实施例的框架示意图。终端80包括相互耦接的存储器81和处理器82，处理器82用于执行存储器81中存储的程序指令，以实现上述任一图像采集设备的运动估计方法实施例的步骤。在一个具体的实施场景中，终端80可以包括但不限于：微型计算机、服务器，此外，终端80还可以包括笔记本电脑、平板电脑等移动设备，在此不做限定。
122.具体而言，处理器82用于控制其自身以及存储器81以实现上述任一图像采集设备的运动估计方法实施例的步骤。处理器82还可以称为cpu（central processing unit，中央处理单元）。处理器82可能是一种集成电路芯片，具有信号的处理能力。处理器82还可以是通用处理器、数字信号处理器（digital signal processor，dsp）、专用集成电路（application specific integrated circuit，asic）、现场可编程门阵列（field-programmable gate array，fpga）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。另外，处理器82可以由集成电路芯片共同实现。
123.请参阅图8，图8为本技术计算机可读存储介质一实施例的框架示意图。计算机可读存储介质90存储有能够被处理器运行的程序指令901，程序指令901用于实现上述任一图像采集设备的运动估计方法实施例的步骤。
124.在一些实施例中，本公开实施例提供的装置具有的功能或包含的模块可以用于执行上文方法实施例描述的方法，其具体实现可以参照上文方法实施例的描述，为了简洁，这里不再赘述。
125.上文对各个实施例的描述倾向于强调各个实施例之间的不同之处，其相同或相似之处可以互相参考，为了简洁，本文不再赘述。
126.在本技术所提供的几个实施例中，应该理解到，所揭露的方法和装置，可以通过其它的方式实现。例如，以上所描述的装置实施方式仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性、机械或其它的形式。
127.另外，在本技术各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
128.集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）或处理器（processor）执行本技术各个实施方式方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器（rom，read-only memory）、随机存取存储器（ram，random access memory）、磁碟或者光盘等各种可以存储程序代码的介质。
129.以上仅为本发明的实施方式，并非因此限制本发明的专利保护范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。