影像目标追踪方法及装置与流程

本发明是关于一种影像目标追踪方法及装置，具体而言，本发明是关于一种借由惯性量测信息来辅助追踪的影像目标追踪方法及装置。

背景技术：

影像的目标辨识及追踪已广泛地应用在安全监控及机器人视觉等领域，其主要运作方式是针对取像装置所撷取的影像数据，决定有兴趣的目标对象，并于后续的影像中持续地追踪该目标对象。

追踪影像的目标的技术可区分为两大类，分别为特征点识别法及光流法。特征点识别法是在影像的各个帧的目标对象上取得感兴趣的特征点，再针对各特征点提取其周遭局部区域的区域特征(localfeatures)，最后再筛选特征点并进行特征媒合(featurematching)，媒合成功的特征点就是被识别出的特征点。光流法(opticalflow)则是利用影像序列中像素在时域上的变化以及相邻帧之间的相关性来找到上一帧跟当前帧之间特征点的空间相对应关系。

已知的影像目标追踪技术领域仍存在许多难以解决的问题，举例而言，当影像中的目标对象附近存在外观相近的对象(例如：众多相同型态相似的按钮或车辆)时，可能会因撷取的有效特征点数量不足而导致判断误差。再举例而言，当光线条件不佳或取像装置快速移动而造成影像模糊时，可能会因目标对象短暂消失于影像范围而造成追踪中断。

据此，本技术领域亟需一种更精确及更有效的影像目标追踪技术，以解决上述已知技术的问题。

技术实现要素：

本发明的目的在于提供一种影像目标追踪方法及装置，借由惯性量测信息来辅助目标对象的特征点辨识，以提高对象追踪的效率及精准度。

为达上述目的，本发明揭露一种影像目标追踪方法，其借由一处理器实施。该影像目标追踪方法包括以下步骤：(a)以一特征点撷取算法决定一取像装置所撷取的一第一帧的一目标对象的一特定特征点，(b)以一光流法为该特定特征点于该取像装置所撷取的一第二帧中决定至少一推测点，且该至少一推测点形成一推测点集合，(c)根据该推测点集合中的一特定推测点的一第一坐标位置与该特定特征点的一第二坐标位置间的一第一距离以及该取像装置至该目标对象的一第二距离，决定该取像装置的一推测转向角度，(d)根据与该取像装置搭配使用的一惯性量测单元所产生的一惯性量测信息，计算该取像装置从撷取该第一帧的一第一时间点至撷取该第二帧的一第二时间点间的一取像转向角度，(e)判断该取像转向角度与该推测转向角度的一差值的一绝对值小于一门槛值，以及(f)基于该步骤(e)的判断结果，判断该特定推测点对应至该特定特征点。

为达上述目的，本发明还揭露一种影像目标追踪装置，其包括一取像装置、一惯性量测单元及一处理器，其中，该处理器电性连接至该取像装置及该惯性量测单元。该取像装置撷取一影像序列，其中，该影像序列包含一第一帧及一第二帧。该惯性量测单元产生一惯性量测信息，其中，该惯性量测信息对应至该取像单元撷取该第一帧的一第一时间点至该取像单元撷取该第二帧的一第二时间点。该处理器执行以下运作：(a)以一特征点撷取算法决定该第一帧的一目标对象的一特定特征点，(b)以一光流法为该特定特征点于该第二帧中决定至少一推测点，其中，该至少一推测点形成一推测点集合，(c)根据该推测点集合中的一特定推测点的一第一坐标位置与该特定特征点的一第二坐标间的一第一距离以及该取像装置至该目标对象的一第二距离，决定该取像装置的一推测转向角度，(d)根据该惯性量测信息计算该取像装置从该第一时间点至该第二时间点的一取像转向角度，(e)判断该取像转向角度与该推测转向角度的一差值的一绝对值小于一门槛值，以及(f)基于该绝对值小于该第一门槛值的判断结果，判断该特定推测点对应至该特定特征点。

在参阅图式及随后描述的实施方式后，本发明所属技术领域中具有通常知识者便可了解本发明的其他目的、本发明的技术手段及本发明的各种实施态样。

【附图说明】

图1为本发明的影像目标追踪装置的配置示意图；

图2为本发明的取像装置所撷取的影像序列的示意图；

图3为本发明的第一实施例所执行的影像目标追踪方法的流程示意图；

图4为本发明的第二实施例所额外执行的流程示意图；

图5为本发明的第三实施例所额外执行的流程示意图；以及

图6为本发明计算推测转向角度的一实施例的示意图。

【符号说明】

10：影像目标追踪装置

101：处理器

103：取像装置

104：镜头

105：惯性量测单元

106：加速度计

107：陀螺仪

108：罗盘

200：影像序列

201、202、203、204：帧

t1、t2、t3、t4：时间点

303～307、311、312：步骤

3051、3052、3053、3054：步骤

50：第一帧

51：第二帧

500：目标对象

501、502、503、504：对象特征点

5010：点

5011、5012：推测点

d1、d2、h：距离

θ1、θ2：推测转向角度

φ：取像转向角度

【具体实施方式】

以下将通过实施例来解释本发明之内容，但本发明的实施例并非用以限制本发明须在如实施例所述的任何特定的环境、应用或特殊方式方能实施。因此，关于实施例的说明仅为阐释本发明的目的，而非用以限制本发明。需说明者，以下实施例及图式中，与本发明非直接相关的组件已省略而未绘示，且图式中各组件间的尺寸关系仅为求容易了解，并非用以限制实际比例。

本发明的第一实施例如图1～3所示。图1为本发明的影像目标追踪装置10的一实施态样的配置示意图。影像目标追踪装置10包括一处理器101及一取像装置103，其中，处理器101电性连接至取像装置103。取像装置103包含一镜头104及一惯性量测单元105，且取像装置103可为摄影机、监视器或其他能撷取影像序列的装置。惯性量测单元105可包含加速度计106、陀螺仪107及罗盘108至少其中之一。需说明者，图1所示的实施态样中，处理器101配置于取像单元103之外，但于其他实施态样中，处理器可配置于取像装置中。此外，于其他实施态样中，本发明的影像目标追踪装置可配置为包含一处理器、一取像装置及一惯性量测单元，且该处理器电性连接至该取像装置及该惯性量测单元。

请参考图2及图3，其中，图2为取像装置103所撷取的一影像序列200的示意图，图3则为本发明的影像目标追踪方法的流程示意图。于本实施例中，取像装置103撷取影像序列200。具体而言，取像装置103于时间点t1、t2、t3、t4、……分别撷取影像序列200中的帧201、202、203、204、……。于取像装置103撷取帧201、202、203、204、……的过程，惯性量测单元105会持续地运作以产生多个惯性量测信息。

于本实施例中，影像目标追踪装置10及其执行的影像目标追踪方法会确定一欲追踪的目标对象(例如：由处理器101接收一使用者的指示于帧201中决定一目标对象、由一对象检测技术检测出符合一特定条件的对象作为目标对象)。之后，于步骤303，处理器101以一特征点撷取算法决定帧201上的该目标对象的多个对象特征点。之后，影像目标追踪装置10及其执行的影像目标追踪方法会追踪每一个对象特征点。为便于理解，以下说明将以该多个对象特征点中的一个特定特征点为例，详述影像目标追踪装置10及其执行的影像目标追踪方法如何于后续的帧202、203、204、……中追踪该特定特征点。

其后，进行步骤304，由处理器101以一光流法为帧201上的该特定特征点于帧202(亦即，帧201的下一帧)上决定至少一推测点，而该至少一推测点可形成一推测点集合。其后，进行步骤305，选取该推测点集合中的任一推测点作为一特定推测点。其后，进行步骤306，处理器101根据帧202中的该特定推测点的一坐标位置及帧201中的该特定特征点的一坐标位置间的一第一距离以及取像装置103至该目标对象的一第二距离，计算取像装置103的一推测转向角度。需说明者，若该特定推测点确实为帧202中对应至该特定特征点的特征点，则该第一距离可理解为该特定特征点由时间点t1至时间点t2所位移的距离，故可依据该第一距离及该第二距离推测出取像装置103在时间点t1至时间点t2的时间区间中的推测转向角度。

如前所述，于取像装置103撷取帧201、202、203、204、……的过程，惯性量测单元105会持续地运作以产生多个惯性量测信息。换言之，惯性量测单元105会产生介于时间点t1及时间点t2的至少一惯性量测信息。在进行步骤303～306的过程，影像目标追踪装置10及其执行的影像目标追踪方法可同时进行步骤311及步骤312以计算取像装置103于时间点t1及时间点t2的实际的取像转向角度。具体而言，于步骤311，由处理器101接收惯性量测单元105所产生的介于时间点t1及时间点t2的至少一惯性量测信息。其后，进行步骤312，由处理器101根据该至少一惯性量测信息计算取像装置103于撷取帧201的时间点t1至撷取帧202的时间点t2之间的一取像转向角度。

其后，进行步骤307，由处理器101判断该取像转向角度与该推测转向角度的一差值的一绝对值是否小于一第一门槛值。若该差值的绝对值小于该第一门槛值，则决定帧202上的该特定推测点对应至帧201上的该特定特征点。若该差值的绝对值不小于该第一门槛值，则帧202上的该特定推测点不对应至帧201上的该特定特征点。若帧202上的该特定推测点不对应至帧201上的该特定特征点，则处理器101可再次执行步骤305，从该推测点集合挑选尚未被挑选过的推测点作为新的特定推测点，再重复地执行步骤306及步骤307。

需说明者，于某些实施例中，影像目标追踪装置10及其执行的影像目标追踪方法会分析帧201上的该特定特征点与该推测点集合所包含的各推测点间的关系(亦即，会重复地执行步骤305、306及307，直到推测点集合所包含的所有推测点都分析完毕)。于该多个实施例中，若有多个推测点所算出的推测转向角度与取像转向角度的差值的绝对值小于该第一门槛值，处理器101可选取差值的绝对值最小者所对应的推测点作为对应至该特定特征点的特征点。

如前所述，帧201中的该目标对象具有多个对象特征点。影像目标追踪装置10及其执行的影像目标追踪方法可重复步骤304～307、311及312来决定帧201中的所有对象特征点于帧202中对应的特征点。之后，处理器101便可根据帧202中经确认过的该多个特征点决定帧202中的该目标对象的位置。

影像目标追踪装置10及其执行的影像目标追踪方法可重复前述运作/步骤，于后续的帧203、204、……中追踪该目标对象。本发明所属技术领域中具有通常知识者依据前述说明自能理解影像目标追踪装置10及其执行的影像目标追踪方法如何于后续的帧203、204、……中追踪该目标对象，兹不赘言。

需说明者，前述步骤303所采用的特征点撷取算法可为已知的sift(scale-invariantfeaturetransform)算法、surf(speededuprobustfeatures)算法、orb(orientedfastandrotatedbrief)算法、fast(featuresfromacceleratedsegmenttest)算法及brisk(binaryrobustinvariantscalablekeypoints)算法其中之一，但不以此为限。于某些实施态样中，借由惯性量测信息来校正特征点的方式可与brisk算法达成良好的配合，使目标影像的追踪兼具速度及准确性。

另需说明者，惯性量测单元105所提供的惯性量测信息可包括一加速度信息、一方向角信息及/或一角速度信息，其中，该加速度信息是由加速度计106提供，该方向角信息由罗盘108提供，且该角加速度信息则由陀螺仪107提供。步骤312所计算出的取像转向角度可单独地由角加速度信息提供，或由加速度信息及方向角信息计算取得。详言之，将陀螺仪所提供的角加速度信息的数值积分二次即可得到一转向角度。以陀螺仪所提供的角加速度信息的数值积分二次可快速地得到转向角度，因此处理器101的运算负担较小，但其误差通常较大。相较之下，若处理器101以加速度信息搭配方向角信息来推算转向角度，则可获得较为精确的转向角度。在实际应用上，可由二种计算方式搭配使用或互为校正。

关于本发明的第二实施例，请参图1～4，其中，图4是描绘第二实施例所另外执行的步骤。第二实施例的影像目标追踪装置10及其执行的影像目标追踪方法能执行第一实施例中所述的运作/步骤，具有相同的功能，且能达成同样的效果，故以下将仅详述二实施例相异之处。

于本实施例中，处理器101在执行步骤304后会进行步骤3051，由处理器101计算该推测点集合的各该推测点与该特定特征点的一汉明距离(hammingdistance)。之后，执行步骤3052，由处理器101更新该推测点集合。具体而言，处理器101于该推测点集合中保留该汉明距离小于一第二门槛值的那些推测点。换言之，处理器101于该推测点集合排除该汉明距离不小于第二门槛值的那些推测点。之后处理器101才执行步骤305及其后续的步骤。换言之，于本实施例中，处理器101所执行的步骤305是从更新后的该推测点集合中选择该特定推测点。

此处所述的汉明距离是指比对帧中某二点(亦即，前述特定特征点及任一特定推测点)的颜色及明度的数字化数值，甚至还比对该二点周围局部区域的颜色、明度及对比信息的数化数值。如何计算帧中某二点的汉明距离为本发明所属技术领域中具有通常知识者所熟知，故不赘述。本实施例借由汉明距离来判断该特定特征点与该推测点集合的各该推测点的相似度，可于该推测点集合中只保留更接近该特定特征点的推测点。如此一来，可减少后续匹配特征点与推测点时的运算负担，从而提高于影像序列中追踪目标对象的整体速度。

关于本发明的第三实施例，请参图1～3及5，其中，图5是描绘第三实施例所另外执行的流程的示意图。第三实施例的影像目标追踪装置10及其执行的影像目标追踪方法能执行第一实施例中所述的运作/步骤，具有相同的功能，且能达成同样的效果，故以下将仅详述二实施例相异的处。

于本实施例中，处理器101在执行步骤304后会进行步骤3053，由处理器101以一特征点追踪算法(例如：cmt追踪算法(clusteringofstatic-adaptivecorrespondencesfordeformableobjecttracking))计算与步骤303所决定的该多个对象特征点相关的至少一相对位置信息。举例而言，步骤3053可计算该多个对象特征点的一重心，再计算各该对象特征点与该重心的一距离，且以该多个距离作为前述至少一相对位置信息。其后，进行步骤3054，由处理器101依据该至少一相对位置信息更新该推测点集合，使更新后的该推测点集合所包含的该至少一推测点符合该至少一相对位置。之后处理器101才执行步骤305及其后续的步骤。换言之，于本实施例中，处理器101所执行的步骤305是从更新后的该推测点集合中择该特定推测点。

更佳地，某些实施例可整合前述第一实施例、第二实施例及第三实施例的所有运作。举例而言，可于步骤3051及步骤3052后进行步骤3053及步骤3054(亦即，先以汉明距离更新该推测点集合，再以特征点追踪算法进一步地更新该推测点集合。再举例而言，可于步骤3053及步骤3054后继续进行步骤3051及步骤3052(亦即，以特征点追踪算法更新该推测点集合，再以汉明距离更新该推测点集合)。如此一来，可于更小范围且更近似的推测点集合中选择该特定推测点，再接续第一实施例中所述的利用惯性量测信息进行匹配计算的作业。如此，可减少后续匹配特征点与推测点的运算负担，进一步提高于影像序列中追踪目标对象的整体速度。

请参考图6，其是描绘本发明计算推测转向角度的一实施例的示意图。于该实施例中，一影像序列包括第一帧50及时间序列在其后的第二帧51。第一帧50中具有一待追踪的目标对象500，在本实例中目标对象500为一仪表板上的按钮影像。本实施例借由一特征点撷取算法决定出目标对象500的数个对象特征点501～504。本实施例会分别地处理对象特征点501～504，但以下以对象特征点501为例进一步地说明如何计算推测转向角度。

具体而言，当选取对象特征点501作为特定特征点时，本实施例借由光流法决定对象特征点501于第二帧51中的多个推测点5011及5012。需说明者，于图6中，第二帧51所示的点5010的坐标位置为对象特征点501于第一帧50中的坐标位置。推测点5011的坐标位置与点5010的坐标位置(亦即，对象特征点501的坐标位置)间具有一距离d1，推测点5012的坐标位置与点5010的坐标位置(亦即，对象特征点501的坐标位置)间具有一距离d2。本实施例会根据距离d1及取像装置103至目标对象500的距离h，通过反三角函数tan^-1计算出取像装置103从撷取第一帧50的第一时间点至撷取第二帧51的第二时间点间的一第一推测转向角度θ1。同样地，本实施例会根据距离d2及距离h计算出取像装置103从撷取第一帧50的第一时间点至撷取第二帧51的第二时间点间的一第二推测转向角度θ2。另一方面，本实施例会根据从撷取第一帧50的第一时间点至撷取第二帧51的第二时间点间所获得的惯性量测信息，计算出惯性量测单元的取像转向角度φ。最后，本实施例再将推测转向角度θ1及推测转向角度θ2分别与取像转向角度φ进行比较。具体而言，本实施例会计算推测转向角度θ1与取像转向角度φ间的差值的绝对值，且计算推测转向角度θ2与取像转向角度φ间的差值的绝对值，再选取差值的绝对值小于一第一门槛值者所对应的推测点，或选取差值的绝对值中较小者所对应的推测点的坐标位置作为对象特征点501第二帧51中的真实位置。

以图6为例说明，若推测转向角度θ1与取像转向角度φ的差值的绝对值小于第一门槛值，而推测转向角度θ2与取像转向角度φ的差值的绝对值大于第一门槛值，则推测转向角度θ1所对应的推测点5011对应至对象特征点501(亦即，推测点5011的坐标位置为对象特征点501于第二帧51中的真实位置)。

其后，本实施例会重复前述运作取得目标对象500的其他对象特征点502～504于第二帧51上的真实位置，再据以决定该目标对象于第二帧51上的真实位置。

需说明者，前述取像装置103至目标对象500的距离h可依应用场景预设为一定值，或借由安装于取像装置103上的一距离量测组件(未绘示)等决定。举例而言，距离量测组件可为激光装置或微波雷达装置等等。

于某些实施例中，取像装置103可设置于一智能穿戴装置(例如：智能眼镜或智能头盔)或设置于一智能手持装置(例如：移动电话)等。

兹说明本发明的另一实际应用。取像装置103是安装于一使用者配戴的智能头盔，使用者于一仪表板操作环境中，可将取像装置103所拍摄的影像序列通过网络传输至远程的总部，由总部的专家依据影像序列之内容远程指示用户针对追踪的目标对象进行操作。此时，取像装置103至目标对象500的距离h可依使用者手动操作距离预设为30～50cm。由于仪表板通常会包括众多外观颜色相近的按钮，借由本发明可更精确地追踪目标按钮，避免误判。

依据本发明的技术，当目标对象附近存在外观相近的对象时，能借由与取像装置103搭配使用的惯性量测单元105获得取像装置103相对于帧中的目标对象的相对运动信息(例如：角度、位移等)，因而可以更精确地判识并追踪该目标对象。当取像装置103移动较大而导致目标对象暂时移出影像框时，可由取像装置103相对于影像中的目标对象的相对运动信息来避免辨识错误而中断追踪。若是撷取的影像序列模糊导致帧中的有效的对象特征点数量不足时，亦可借由取像装置103所提供的惯性量测信息，来提供更多的特征点匹配条件，从而减少误判。

综上所述，本发明的影像目标追踪方法及装置可提高对象追踪的正确性及追踪效率，并有解决已知的技术缺失，深具产业利用价值。

上述实施例仅用来例举本发明的部分实施态样，而非用以限定本发明的保护范畴及范围。本发明所属技术领域中具通常知识者，在不脱离本发明的精神和范围内，当可作各种的更动与润饰，因此本发明的保护范围应以后附的申请专利范围所界定者为准。