基于双正交视图的单条鱼三维轨迹与朝向跟踪方法及系统

1.本发明属于轨迹跟踪领域，尤其涉及一种基于双正交视图的单条鱼三维轨迹与朝向跟踪方法及系统。


背景技术：

2.本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。
3.获得鱼类运动的轨迹和姿态可观测和分析鱼类行为。近年来，鱼类运动数据被应用到更多的领域中。已有研究人员提出使用一个或者多个摄像头的方法来追踪水体中鱼的位置,以获得单条或者多条鱼的轨迹。steven v.viscido等人和 adam michael stewart等人都使用了track3d软件来跟踪鱼缸中的斑马鱼。 nimkerdphol等人提出，将两台摄像机分别安装在水箱的正面和侧面，然后使用 (3dccpc)的方法来计算鱼的三维位置的方法。zhi
‑
ming qian等人将了两个摄像头分别放置在鱼缸的上面和侧面，其中顶视图检测为主，侧视图跟踪为辅。该方法基于特征点进行匹配和关联获得鱼运动的三维轨迹。wang等人使用了三个摄像头分别安置在水箱正上方和正前方以及正侧方，并且使正上方的摄像头为主要摄像头，其余两个为辅助摄像头。针对不同视图分别使用了(e
‑
gmm) 和(gabor)的方法来计算鱼眼睛的位置,最终将主视图以及从属视图相关联重建鱼的3d轨迹。
4.相比较追踪鱼类运动轨迹的研究，研究鱼类姿态的研究较少，并且多数局限在二维平面上。xia等人也探究了顶视图下鱼头的方向。但是不同的是该方法利用其特殊的光照条件，使得鱼头部和尾部的灰度值不同，从而区分鱼头部和尾部。定义头部和质心连线的角度为鱼头的角度。wang等人根据鱼轮廓中的曲率判断鱼头的位置，找到鱼头后再根据两个眼睛之间连线的垂直平分线段的方向来确定鱼头的方向。当水域变深时则无法保证获得鱼眼的位置而无法得到鱼头的方向。wu使用两个摄像头获得鱼的侧面和腹部的图像，但是仅在侧视图中利用鱼本身的长度以及头部和尾部在垂直于鱼缸底面方向上的距离的比值来计算俯仰角度。
5.发明人发现，目前追踪鱼类的方法中存在以下问题：(1)鱼游到鱼缸缸壁以及鱼缸底部周围时，可能会在光滑的玻璃表面形成倒影，倒影会对鱼缸中鱼三维位置的计算精度产生影响，多数方法没有很好的进行倒影的剔除；(2)目前大多数的计算鱼类位置和朝向的方法不能达到实时；(3)目前方法中多数只是简单的计算了鱼身体在鱼缸底部投影的质心到头部的二维向量来近似朝向，没有获得鱼类真正的朝向。


技术实现要素：

6.为了解决上述背景技术中存在的技术问题，本发明提供一种基于双正交视图的单条鱼三维轨迹与朝向跟踪方法及系统，其考虑了倒影的去除以及鱼的特殊状态，对鱼缸的顶视图和侧视图的视频序列进行同步处理，结合背景减法和追踪算法获得鱼的在两个视图中的位置，使用椭圆拟合方法获得鱼在两个视图中的方向，最终在考虑水折射的情况下关
联两个视图中的信息实时计算出鱼的位置和朝向。
7.为了实现上述目的，本发明采用如下技术方案：
8.本发明的第一个方面提供一种基于双正交视图的单条鱼三维轨迹与朝向跟踪方法。
9.一种基于双正交视图的单条鱼三维轨迹与朝向跟踪方法，其包括：
10.获取两个不同方向的鱼缸视图图像，追踪鱼在单个视图中的二维位置；
11.对比真实鱼和倒影到鱼缸中心点的距离的远近来剔除倒影；
12.在考虑水折射的影响下结合两个视图中检测到鱼的二维位置，使用光线追踪的方法来计算鱼的三维位置；
13.将鱼的身体拟合成椭圆，计算椭圆的短轴与水平线之间的角度，确定出两个视图中的鱼身体的旋转角度；
14.结合基于鱼的三维位置和两个视图中的鱼身体的旋转角度，利用立体和投影之间的关系来计算鱼头的朝向。
15.本发明的第二个方面提供一种基于双正交视图的单条鱼三维轨迹与朝向跟踪系统。
16.一种基于双正交视图的单条鱼三维轨迹与朝向跟踪系统，其包括：
17.二维位置追踪模块，其用于获取两个不同方向的鱼缸视图图像，追踪鱼在单个视图中的二维位置；
18.倒影剔除模块，其用于对比真实鱼和倒影到鱼缸中心点的距离的远近来剔除倒影；
19.三维位置计算模块，其用于在考虑水折射的影响下结合两个视图中检测到鱼的二维位置，使用光线追踪的方法来计算鱼的三维位置；
20.旋转角度确定模块，其用于将鱼的身体拟合成椭圆，计算椭圆的短轴与水平线之间的角度，确定出两个视图中的鱼身体的旋转角度；
21.鱼头朝向计算模块，其用于结合基于鱼的三维位置和两个视图中的鱼身体的旋转角度，利用立体和投影之间的关系来计算鱼头的朝向。
22.本发明的第三个方面提供一种计算机可读存储介质。
23.一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述所述的基于双正交视图的单条鱼三维轨迹与朝向跟踪方法中的步骤。
24.本发明的第四个方面提供一种计算机设备。
25.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述所述的基于双正交视图的单条鱼三维轨迹与朝向跟踪方法中的步骤。
26.与现有技术相比，本发明的有益效果是：
27.(1)本发明对鱼缸的顶视图和侧视图的视频序列进行同步处理，结合背景减法和追踪算法获得鱼的在两个视图中的位置，当目标鱼保持长时间不动时也可以获得它的位置，并且计算速度达到了实时。
28.(2)使用椭圆拟合方法获得鱼在两个视图中的方向，并利用双正交视图中的信息，在考虑水折射的情况下关联两个视图中的信息实时计算出鱼的位置和朝向。
29.(3)该方法还考虑了倒影的去除以及鱼的特殊状态，使计算得到的精确的三维位置。
30.本发明附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
31.构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
32.图1为本发明实施例的基于双正交视图的单条鱼三维轨迹与朝向跟踪硬件组成架构图；
33.图2为本发明实施例的基于双正交视图的单条鱼三维轨迹与朝向跟踪方法流程图；
34.图3(a)为本发明实施例的对视频序列；
35.图3(b)为本发明实施例的对视频序列中的鱼进行检测结果；
36.图4(a)为本发明实施例的在顶视图中倒影可能出现在鱼缸的前侧和右侧缸壁上情况下的判断图像中的轮廓距离中心点的距离；
37.图4(b)为本发明实施例的在侧视图中倒影可能出现在鱼缸的右侧缸壁上以及水面上情况下的判断图像中的轮廓距离中心点的距离；
38.图5(a)为本发明实施例的对视频中顶视图的鱼的倒影进剔除；
39.图5(b)为本发明实施例的对视频中侧视图的鱼的倒影进剔除；
40.图6为本发明实施例的进行摄像机标定的图片；
41.图7为本发明实施例的在真实环境中建立直角坐标系；
42.图8为本发明实施例的考虑水折射计算水中物体真实三维位置；
43.图9(a)为本发明实施例的使用椭圆来拟合鱼的身体；
44.图9(b)为本发明实施例中短线代表椭圆的短轴，短轴与水平线的夹角即为拟合出椭圆的旋转角度；
45.图9(c)为本发明实施例中相同形态的椭圆在不同情况下代表的不同的旋转角度；
46.图10为本发明实施例的根据鱼头方向计算旋转角度；
47.图11为本发明实施例的使用两个旋转角代表鱼朝向；
48.图12(a)为本发明实施例的各个方向的椭圆代表鱼可能存在的方向；
49.图12(b)为本发明实施例的顶视图与侧视图关联；
50.图13(a)为本发明实施例顶视图中根据鱼轮廓拟合椭圆计算得出的角度top θ；
51.图13(b)为本发明实施例侧视图中根据拟合椭圆计算得到的角度sideθ为 y轴正方向与body
‑
line在y
‑
z平面上的投影的夹角；
52.图13(c)为本发明实施例根据空间映射关系使用两个视图中的旋转角度计算θ2；
53.图14为本发明实施例的基于双正交视图的单条鱼三维轨迹与朝向跟踪方法的案例。
具体实施方式
54.下面结合附图与实施例对本发明作进一步说明。
55.应该指出，以下详细说明都是例示性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
56.需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
57.实施例一
58.本实施例提供了一种基于双正交视图的单条鱼三维轨迹与朝向跟踪方法，其具体包括如下步骤：
59.步骤s101：获取两个不同方向的鱼缸视图图像，追踪鱼在单个视图中的二维位置。
60.在具体实施中，参照图1，本实施例的基于双正交视图的单条鱼三维轨迹与朝向跟踪相关硬件架构主要由一个观赏性鱼缸，一台计算机，两个摄像头组成。两个摄像头分别放置于鱼缸的正上方和正左方捕获鱼在缸中自由游动的图像。计算机对两台摄像机获得的图像进行处理最终实时计算出鱼的三维位置和朝向。在实验过程中，实验设备位于稳定照明的空间中，以减少照明变化和人为干扰导致的实验误差。视频采集使用的工业摄像机分辨率为1920*1080，每秒可捕获图像20帧。实验鱼缸(除去过滤系统)的尺寸为880mm*370mm*500mm。为保证鱼可在鱼缸中自由游动，鱼缸中水深为420mm。
61.在具体实施中，为鱼在鱼缸中心游动时没有倒影的情况下该方法的检测结果，白色轮廓为使用knn背景检测方法得到的鱼的轮廓，边框为kcf方法得到的追踪框，白色圆点为白色轮廓的质心点，如图3(a)和图3(b)所示。
62.具体地，采用knn背景建模算法获得视频中正在运动的目标鱼。当目标鱼不再运动时则需要考虑利用鱼类的特征进行追踪，我们使用相关滤波的kcf追踪算法进行辅助检测。kcf追踪算法需要在初始帧框定目标鱼，根据当前目标的特征继续在下一帧搜索目标，使用knn算法检测到的运动目标初始化kcf追踪算法的追踪框。当knn算法可以检测到当前帧中的运动目标时，将其位置作为目标鱼的位置，并且同时计算knn算法得到目标鱼的质心坐标(xn，yn)与kcf 追踪算法返回的目标的坐标值(xf，yf)的距离d，如果距离d大于一定阈值则判断kcf丢失追踪目标，使用当前帧中的(xn，yn)对kcf的追踪框进行矫正，这样可以保证kcf追踪算法能够实时更新当前帧运动目标的特征从而减少丢失目标的可能性。当knn算法无法检测到运动目标则使用kcf追踪算法返回的 (xf，yf)作为目标鱼位置。
63.步骤s102：对比真实鱼和倒影到鱼缸中心点的距离的远近来剔除倒影。
64.如图4(a)和图4(b)所示，在顶视图中倒影可能出现在鱼缸的前侧和右侧缸壁上，在侧视图中倒影可能出现在鱼缸的右侧缸壁上以及水面上。这种情况下需要判断哪一个运动目标为真实的鱼，通过观察我们发现倒影的位置是在靠近鱼缸中心的一侧，如图4(a)中的目标鱼在鱼缸右侧缸壁附近时，外侧运动目标为倒影。所以我们可以使用以下方法进行筛选真实鱼。如图4(b)首先选取捕获画面中鱼缸的中心点c(xc,yc)，当画面中检测到多个运动目标并且这些运动目标都分布在鱼缸壁周围时，分别计算多个轮廓的质心点{cen1，
cen2， cen3
…
}到中心点c的距离d:{d1,d2,d3
…
},对d中的d1,d2,d3
…
进行排序，取最小值dmin所对应的质心点cen为真实鱼的的位置。
65.具体地，判断当前检测到的轮廓是否超过一个，超过一个则出现了分离的倒影。
66.选取捕获画面中鱼缸的中心点c(xc,yc)，当画面中检测到多个运动目标并且这些运动目标都分布在鱼缸壁周围时，分别计算多个轮廓的质心点{cen1， cen2，cen3
…
}到中心点c的距离d:{d1,d2,d3
…
},对d中的d1,d2,d3
…
进行排序，取最小值dmin所对应的质心点cen为真实鱼的的位置。
67.真实鱼的身体和鱼缸壁上的倒影融为一体，被检测成为一个运动目标。我们采取以下方法进行位置的矫正。
68.1：记录每一帧中轮廓的面积值，再计算当前帧与上一帧轮廓面积的差值，根据获得运动目标的轮廓的面积值突变判断当前帧是否出现倒影
69.2：根据倒影出现位置对其进行矫正，出现的倒影大多情况下是对称的，所以求得的质心通常在真实鱼和倒影中间。所以将已经求得质心的位置向靠近鱼缸中心的方向平移四分之一个轮廓的宽度作为修正后的位置。
70.图5(a)为顶视图，图5(b)为侧视图。两视图中均出现了分离的倒影，倒影和真实鱼都被识别出来，用白色轮廓表示。蓝色框选的轮廓为使用上述方法判断出的真实的目标。
71.步骤s103：在考虑水折射的影响下结合两个视图中检测到鱼的二维位置，使用光线追踪的方法来计算鱼的三维位置。
72.步骤s103中，具体方法包括：
73.s1031：通过z.zhang中的方法对摄像头进行标定。标定使用的棋盘格大小为7*5，从不同的角度对棋盘格进行拍照记录，拍摄24张图片进行标定最终得到摄像头的内部参数和畸变系数。
74.s1032：我们对鱼缸顶视图以及侧视图进行手动标注来得到图像中某一点的二维坐标和该点在真实世界中三维坐标的对应关系。
75.s1033：在s1031)中我们可以得到摄像机在世界坐标系中的位置，在步骤 s1032中我们可以获得目标对应的三维位置。根据以上两个位置计算得出从摄像机出发到目标的射线，然后再计算两个射线的交点当作检测目标的世界坐标系中的真实的三维位置。
76.如图6所示，通过z.zhang.的方法对摄像头进行标定。标定使用的棋盘格大小为7*5，从不同的角度对棋盘格进行拍照记录，拍摄23张图片进行标定，得到摄像头的内部参数和畸变系数。
77.步骤s104：将鱼的身体拟合成椭圆，计算椭圆的短轴与水平线之间的角度，确定出两个视图中的鱼身体的旋转角度。
78.具体方法包括：
79.步骤s1041：在top视图可以将鱼的轮廓近似认为成一个椭圆，所以使用最小二乘法将鱼的轮廓点集拟合为椭圆，从而获得椭圆的旋转角度即椭圆短轴与水平线之间的角度，这个角度的范围是0
‑
180度，它只能概括出鱼整个身体的方向。
80.步骤s1042：顶视图中鱼的轮廓中鱼头有这样的特征，相对鱼尾来说鱼头更近似于圆形，而尾部更加的狭长，如果将鱼的身体分为两部分，明显鱼头的面积要大于鱼尾的面积。计算鱼身体轮廓的质心点c，发现c绝大多数情况都落到鱼头的范围内，利用这个特点来
分辨鱼头和鱼尾，最终确定椭圆旋转角度。
81.步骤s105：结合基于鱼的三维位置和两个视图中的鱼身体的旋转角度，利用立体和投影之间的关系来计算鱼头的朝向。
82.具体方法包括：
83.步骤s1051.side视图中的轮廓并没有上述的特点，但是side视图和top视图中鱼的图像是相关联的，我们根据这种关联性获得在side视图中鱼头的方向计算与身体的旋转角度。
84.步骤s1052.鲤鱼的头部在游动过程中不会产生巨大形变，所以可以被看作一个刚体。此处，我们将鱼的三维朝向简化为鱼头的三维朝向。鱼在游动时很少会进行滚动，即很少沿着x轴进行旋转。所以该方法将鱼的朝向定义为两个旋转角，根据步骤s1051中获得的两个视图中的旋转角度计算鱼头的朝向。
85.如图7所示，我们对鱼缸顶视图以及侧视图进行手动标注来得到图像中某一点的二维坐标和该点在真实世界中三维坐标的对应关系。首先我们找到顶视图中水面和鱼缸的交点，获得其在图像的像素坐标。再对真实世界中的鱼缸的长度和宽度以及鱼缸中水面的高度进行测量，构建真实世界的三维坐标系。最后将点的像素坐标和世界坐标进行一一对应。
86.如图8所示，我们在真实物理世界中建立了相应的坐标系。我们根据m pedersen等人的相机标定方法得到摄像头外部参数可以获得鱼缸上方的摄像头 camera1的世界坐标系位置为p1，位于鱼缸左侧的摄像头camera2的世界坐标系位置为p2。通过上述方法我们可以得到鱼缸中检测到的目标上的某一点x在顶视图中的的三维坐标系位置为s1，在侧视图中的三维坐标系位置为s2。则可以通过 (s1
‑
p1)计算得到从camera1出发到该点的射线的方向向量ray1，以及从camera2 出发到该点的射线的方向向量ray2。根据斯涅尔折射定律求得折射后方向向量 ray1’和ray2’。最后我们计算两个射线的交点当作检测目标的世界坐标系中的真实的三维位置p，当两条射线之间不存在交点时，则计算这两条射线距离最近时两条射线上的点m1和m2的中点作为p。
87.图9(a)中为使用椭圆来拟合鱼的身体，图9(b)中短线代表椭圆的短轴，短轴与水平线的夹角即为拟合出椭圆的旋转角度，图9(c)中为一些相同形态的椭圆在不同情况下代表的不同的旋转角度。
88.如图10所示，使用简单的轮廓描述鱼的身体特征。顶视图中鱼的轮廓我们发现鱼头有这样的特征，相对鱼尾来说鱼头更近似于圆形，而尾部更加的狭长，如果将鱼分为两部分，明显鱼头的面积要大于鱼尾的面积。我们计算鱼整体轮廓的质心点c，发现c绝大多数情况都落到鱼头的范围内，所以我们利用这个特点来分辨鱼头和鱼尾。我们使用有向线段se将鱼轮廓平均分为两部分，这两部分分别包含鱼头和鱼尾，se的方向是由椭圆的初始角度决定的。se的起点s坐标为 (xs,ys),终点e坐标为(xe,ye)，质心点坐标为(x，y)。根据fishbody拟合椭圆为ellipse时有两种情况。我们使用以下的公式进行计算。
89.tmpx＝[(sy
‑
ye)*x+(xe
‑
xs)*y+xs*ye
‑
xe]*ys
[0090]
当tmpx<0则barycenter在midline的左边，top视图的旋转角angle为初始角度α
°
；
[0091]
当tmpx>0则barycenter在midline的右边，top视图的旋转角angle为α+180
°
。
[0092]
如图11所示，该方法中将鱼的朝向定义为两个旋转角θ1和θ2。 fishprojection为
鱼在x
‑
z平面的投影拟合椭圆的长轴。bodyline为三维空间中代表鱼身体的直线。旋转角θ1为世界坐标系下z轴负方向与fishprojection的夹角。旋转角θ2为bodyline与fishprojection的夹角。通过θ1和θ2，我们可以确定鱼头在三维空间中的朝向。
[0093]
如图12(a)和图12(b)所示，描述了顶视图和侧视图中鱼头的方向的关联。当top视图中鱼的旋转角度在为270
‑
360
°
和0
‑
90
°
的范围之间时，我们将鱼头的方向定义为向上，如图12(a)中各个方向的椭圆代表鱼可能存在的方向，当鱼头在使用粉色表示的区域中，那么可以判断鱼头在顶视图中朝上。则对应到side 视图中的鱼头应该向右，同样对应到侧视图中的粉色的区域。再根据side视图中椭圆的初始角度来判断是否要加180
°
，反之在top视图中鱼头方向朝下，对应到 side视图中鱼头方向则朝左。当top视图中鱼的angle为90
°
或者270
°
，并且side 视图中鱼身体轮廓拟合的椭圆近似于圆时，此时根据拟合椭圆计算出的旋转角度是不准确的，因为side视图中无法看到鱼完整的身体而是只能看到鱼头或者鱼尾部分，此时我们将side视图中角度置为0
°
。
[0094]
顶视图中根据鱼轮廓拟合椭圆计算得出的角度topθ，如图13(a)所示，即为上节提到过的旋转角θ1.侧视图中根据拟合椭圆计算得到的角度sideθ为y轴正方向与body
‑
line在y
‑
z平面上的投影的夹角，如图13(b)所示。根据空间映射关系我们可以使用公式(2)求得θ2，如图13(c)所示。
[0095]
如图14示，我们根据现实世界中鱼缸的尺寸在unity引擎中构建了一个等比例大小的虚海洋世界。为了和真实鱼缸环境融合我们在海洋世界的底部也放置了黑色海床模型和一些水生植物模型，并且准备了一个带有动画的鱼模型。我们将该方法计算得到的鱼的三维位置和朝向的数据进行平滑处理后传输到 unity中，再与unity的坐标系以及鱼自身坐标系进行对齐，最后将对齐后的数据实时地赋给鱼模型，驱动虚拟鱼在海洋世界中跟随真实鱼游动。
[0096]
由于在实验环境中摄像头以及鱼缸的位置是保持静止的，所以我们考虑结合背景减法和追踪算法对鱼进行检测。为了避免鱼缸底部倒影的产生我们使用黑色沙粒覆盖鱼缸底面玻璃。但是鱼缸的前壁和侧壁还是会出现倒影。当出现普通的分离倒影时，对比真实鱼和倒影到鱼缸中心点的距离的远近剔除倒影。根据获得运动目标的轮廓的面积值突变判断当前帧出现粘连倒影，再根据倒影出现位置对其进行矫正。该方法主要包含三维位置计算和朝向计算，在三维位置计算中，在真实物理环境中构建空间直角坐标系，考虑水折射的情况下使用光线追踪的方法计算鱼的三维位置；在朝向计算中，使用椭圆拟合鱼的身体，计算鱼在单视图上投影的旋转角度。最后结合两个视图中的信息计算鱼头的朝向。
[0097]
实施例二
[0098]
本实施例提供了一种基于双正交视图的单条鱼三维轨迹与朝向跟踪系统，其具体包括：
[0099]
二维位置追踪模块，其用于获取两个不同方向的鱼缸视图图像，追踪鱼在单个视图中的二维位置；
[0100]
倒影剔除模块，其用于对比真实鱼和倒影到鱼缸中心点的距离的远近来剔除倒影；
[0101]
三维位置计算模块，其用于在考虑水折射的影响下结合两个视图中检测到鱼的二维位置，使用光线追踪的方法来计算鱼的三维位置；
[0102]
旋转角度确定模块，其用于将鱼的身体拟合成椭圆，计算椭圆的短轴与水平线之间的角度，确定出两个视图中的鱼身体的旋转角度；
[0103]
鱼头朝向计算模块，其用于结合基于鱼的三维位置和两个视图中的鱼身体的旋转角度，利用立体和投影之间的关系来计算鱼头的朝向。
[0104]
此处需要说明的是，本实施例的基于双正交视图的单条鱼三维轨迹与朝向跟踪系统中的各个模块，与实施例一中的基于双正交视图的单条鱼三维轨迹与朝向跟踪方法中的各个步骤的一一对应，其具体实施过程相同，此处不再累述。
[0105]
实施例三
[0106]
本实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述所述的基于双正交视图的单条鱼三维轨迹与朝向跟踪方法中的步骤。
[0107]
实施例四
[0108]
本实施例提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述所述的基于双正交视图的单条鱼三维轨迹与朝向跟踪方法中的步骤。
[0109]
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
[0110]
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0111]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0112]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0113]
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(read
‑
only memory， rom)或随机存储记忆体(random accessmemory，ram)等。
[0114]
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技
术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。