一种多物体追踪中判断同一物体的方法和装置与流程

本发明涉及数字图像处理技术，尤其涉及一种多物体追踪中判断同一物体的方法和装置。

背景技术：

根据视频连续帧对多物体进行追踪的过程中，连续两帧视频帧同时确定多个物体框后，需要确定两帧视频帧中不同的物体框为同一物体。

现有的技术方案主要是对两个不同帧的物体框提取特征，这里所提取的特征主要有以下两种：

第一种用传统方法所提取的模糊度，亮度，颜色等特征；

第二种是利用深度学习技术所提取的特征；

然后比较从两个不同帧的物体框所提取的同种特征之间的相似度来确定是否为同一物体。

上述现有技术方案的主要问题在于：

1、第一种特征准确率不高，容易造成失败的追踪结果；

2、第二种特征的模型建立需要大量的数据，并且当模型一定的情况下，提取特征计算量比较大，这种特征所有的风险在于准确率不高和计算量太大，达不到准确实时的效果。

技术实现要素：

本发明的目的在于提供一种多物体追踪中判断同一物体的方法，解决现有技术中提取物体特征的计算量大，实时准确度不高的问题。

相应地，本发明的目的还在于提供一种多物体追踪中判断同一物体的装置，解决现有技术中提取物体特征的计算量大，实时准确度不高的问题。

为实现上述目的之一，本发明提供一种多物体追踪中判断同一物体的方法，所述方法包括以下步骤：

S1、分析出第一视频帧的第一物体的位置信息和第二视频帧的第二物体的位置信息；其中，所述第一视频帧和所述第二视频帧相隔帧数在预设范围内；

S2、基于所述第一物体的位置信息和第二物体的位置信息，计算所述第一物体和所述第二物体的位置关系，并判断所述位置关系是否在预设的判断标准范围内，若否，确定所述第一物体和所述第二物体不为同一物体；否则

S3、计算所述第一物体和所述第二物体的相交面积，并判断所述相交面积是否满足预设范围，若是，确定所述第一物体和所述第二物体为同一物体；否则确定所述第一物体和所述第二物体不为同一物体。

与现有技术相比，本发明所提供的一种多物体追踪中判断同一物体的方法，进行判断所根据的物体特征为分别处于两不同视频帧的第一物体和第二物体的位置信息，所需的数据量小；并且根据位置信息进行第一物体和第二物体的位置关系和面积关系的计算和判断，所需的计算量小；基于数据量小和计算量小的两方面条件有利于实现实时判断准确度高。

进一步地，所述第一视频帧和所述第二视频帧为连续的两帧视频帧。

进一步地，所述步骤S2包括下述步骤：

基于所述第一物体的位置信息和第二物体的位置信息，分别计算所述第一物体的第一中心点的位置和所述第二物体的第二中心点的位置；

判断所述第一中心点的位置是否在所述第二物体中；

当所述第一中心点的位置不在所述第二物体中，确定所述第一物体和所述第二物体不是同一物体；

当所述第一中心点的位置在所述第二物体中，判断所述第二中心点是否在所述第一物体中；

当所述第二中心点的位置不在所述第一物体中，确定所述第一物体和所述第二物体不是同一物体。

进一步地，所述步骤S3包括下述步骤：

分别计算所述第一物体的面积、所述第二物体的面积以及所述第一物体和所述第二物体的相交面积；

通过下述公式计算比值X：

其中，S为所述相交面积；S1为所述第一物体的面积；S2为所述第二物体的面积；

当所述比值X大于预设阈值时，确定所述第一物体和所述第二物体是同一物体；当所述比值X小于所述预设阈值时，确定所述第一物体和所述第二物体不是同一物体。

与现有技术相比，本发明所提供的一种多物体追踪中判断同一物体的方法，基于第一物体和第二物体的位置信息，所需的计算只需要计算和确定两个中心点是否在另一物体内，以及两个物体分别的面积、相交面积和对应的比例；计算量小，基于现有的硬件条件可以实现多物体追踪中实时判断同一物体。

优选地，当所述第一视频帧和所述第二视频帧为连续的两帧视频帧时，所述预设阈值为0.85。

在视频帧率比较高的情况下,具体为FPS不低于30帧/秒，同一物体在连续的两帧视频帧的时间范围内所进行的运动幅度实际上是比较小的，本发明基于上述先验信息，选取预设阈值为0.85的优选方案，保证实时判断的高准确率。

进一步地，所述第一视频帧的第一物体的位置信息包括第一物体的轮廓位置信息；所述第二视频帧的第二物体的位置信息包括第二物体的轮廓位置信息。

进一步地，在步骤S1前，还包括以下步骤：

基于相邻帧差法对所述第一视频帧和所述第二视频帧进行运动检测，获取所述第一视频帧的第一物体的和所述第二视频帧的第二物体；

建立所述第一物体的第一物体框，建立所述第二物体的第二物体框。

优选地，所述第一物体框和所述第二物体框均为矩形框。

优选地，所述第一视频帧的第一物体的位置信息包括所述第一物体框的四个顶点信息；所述第二视频帧的第二物体的位置信息包括所述第二物体框的四个顶点信息。

作为本发明的优选方案，建立第一物体的物体框和第二物体的物体框，且两个物体框均为矩形框；提取物体框的四个顶点信息作为物体的位置信息，基于四个顶点信息进行中心点和面积计算判断；计算量小，提高物体追踪中的实时判断同一物体的速度。

相应地，为实现本发明的另一目的，本发明提供一种多物体追踪中判断同一物体的装置，包括：

获取单元，用于获取第一视频帧的第一物体的位置信息和第二视频帧的第二物体的位置信息；其中，所述第一视频帧和所述第二视频帧相隔帧数在预设范围内；

第一计算判断单元，基于所述第一物体的位置信息和第二物体的位置信息，计算所述第一物体和所述第二物体的位置关系，并判断所述位置关系是否在预设的判断标准范围内，若否，所述第一物体和所述第二物体不为同一物体；以及

第二计算判断单元，用于在所述第一计算判断单元判断所述位置关系在预设的判断标准范围内时，计算所述第一物体和所述第二物体的相交面积，并判断所述相交面积是否满足预设范围，若是，所述第一物体和所述第二物体为同一物体；否则所述第一物体和所述第二物体不为同一物体。

与现有技术相比，本发明提供的一种多物体追踪中判断同一物体的装置，通过获取单元分别获取相隔帧数在预设范围的两帧视频帧中的第一物体和第二物体的位置信息，然后通过第一计算判断单元计算第一物体和第二物体的位置关系是否在预设标准范围内，最后通过第二计算判断单元计算第一物体和第二物体的相交面积是否满足预设范围；本发明提供的装置在执行计算判断时一方面只需获取物体的位置信息，需提取的数据量少；另一方面两个计算判断单元的计算量小，有利于提高多物体追踪中判断同一物体的实时效率。

进一步地，所述第一计算判断单元包括：

第一计算模块，基于所述第一物体的位置信息和第二物体的位置信息，分别计算所述第一物体的第一中心点的位置和所述第二物体的第二中心点的位置；以及

第一判断模块，用于判断所述第一中心点的位置是否在所述第二物体中；当所述第一中心点的位置不在所述第二物体中，确定所述第一物体和所述第二物体不是同一物体；当所述第一中心点的位置在所述第二物体中，判断所述第二中心点是否在所述第一物体中；当所述第二中心点的位置不在所述第一物体中，确定所述第一物体和所述第二物体不是同一物体。

进一步地，所述第二计算判断单元包括：

第二计算模块，用于分别计算所述第一物体的面积、所述第二物体的面积以及所述第一物体和所述第二物体的相交面积；并通过下述公式计算比值X：

其中，S为所述相交面积；S1为所述第一物体的面积；S2为所述第二物体的面积；以及

第二判断模块，用于当判断所述比值X大于预设阈值时，确定所述第一物体和所述第二物体是同一物体；当判断所述比值X小于所述预设阈值时，确定所述第一物体和所述第二物体不是同一物体。

附图说明

图1是本发明一种多物体追踪中判断同一物体的方法的实施例一的结构示意图；

图2是本发明一种多物体追踪中判断同一物体的方法的实施例一的流程示意图；

图3是本发明一种多物体追踪中判断同一物体的方法的实施例一的步骤S12的流程示意图；

图4是本发明一种多物体追踪中判断同一物体的方法的实施例一的步骤S13的流程示意图；

图5本发明一种多物体追踪中判断同一物体的方法的实施例二的结构示意图；

图6是本发明一种多物体追踪中判断同一物体的方法的实施例二的流程示意图；

图7是本发明一种多物体追踪中判断同一物体的方法的实施例二的步骤S22的流程示意图；

图8本发明一种多物体追踪中判断同一物体的方法的实施例二的步骤S23的流程示意图；

图9是本发明一种多物体追踪中判断同一物体的装置的实施例的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明提供一种多物体追踪中判断同一物体的方法的实施例一，本实施例一运用于多物体进行追踪的过程中，对从不同视频帧中获取的若干物体确认为同一物体。

参见图1，图1是本实施例一的应用场景示意图，图1中第一视频帧1和第二视频帧2为在多物体追踪中确定同一物体时多帧视频帧中的任意两视频帧。

结合图2，图2是本实施例一的流程示意图；以图1中的第一物体11和第二物体12进行说明，本实施例一在多物体追踪中判断同一物体具体包括以下步骤：

S11、分析出第一视频帧1的第一物体11的位置信息和第二视频帧2的第二物体12的位置信息；且第一视频帧1和第二视频帧2相隔帧数在预设范围内。

S12、基于第一物体11的位置信息和第二物体12的位置信息，计算第一物体11和第二物体12的位置关系，并判断位置关系是否在预设的判断标准范围内，若否，确定第一物体11和第二物体12不为同一物体；否则

S13、计算第一物体11和第二物体12的相交面积，并判断相交面积是否满足预设范围，若是，确定第一物体11和物体12为同一物体；否则确定第一物体11和第二物体12不为同一物体。

进一步地，参见图3，图3是步骤S12的详细流程示意图，步骤S12具体包括下述步骤：

S121、基于第一物体11的位置信息和第二物体12的位置信息，分别计算第一物体11的第一中心点的位置和第二物体12的第二中心点的位置；

S122、判断第一物体11的第一中心点的位置是否在第二物体12中；

当第一物体11的第一中心点的位置不在第二物体12中，确定第一物体11和第二物体12不是同一物体；当第一物体11的第一中心点的位置在第二物体12中，则

S123、判断第二物体12的第二中心点是否在第一物体11中；

当第二物体12的第二中心点的位置不在第一物体11中，确定第二物体12和第一物体11不是同一物体；当第二物体12的第二中心点的位置在第一物体11中，进行步骤S13。

参见图4，图4是步骤S13的详细流程示意图，步骤S13具体包括下述步骤：

S131、分别计算第一物体11的面积S1、第二物体12的面积S2以及第一物体11和第二物体12的相交面积S；

S132、通过下述公式计算比值X：

S133、判断比值X是否大于预设阈值，当比值X大于预设阈值时，确定第一物体11和第二物体12是同一物体；当比值X小于预设阈值时，确定第一物体11和第二物体框12不是同一物体。

优选地，当所选的第一视频帧1和第二视频帧2为两连续视频帧时，设置预设阈值为0.85；除此值，预设阈值可根据实际需求进行相应的设定。

进一步地，在本实施例一中，第一视频帧1的第一物体11的位置信息包括第一物体11的轮廓位置信息；第二视频帧2的第二物体12的位置信息包括第二物体12的轮廓位置信息。

具体实施时，本实施例一可用于多物体追踪过程中，可按照预先设定的相隔帧数，选取视频中的若干视频帧，对每两选取的相邻两帧视频帧中同时出现多个物体，通过本实施例一所提供的多物体追踪中判断同一物体的具体步骤：对两帧视频中分别出现的物体进行位置关系和面积比关系进行相应的条件判断，对满足条件的在两帧视频帧中分别出现的第一物体和第二物体判定为同一物体；相比于现有技术中先提取两帧视频帧中物体的特定特征，然后再用两个特定特征的欧式距离作为两个物体的相似度来确定是否为同一物体的方案，本实施例一所提供的方法提取的数据量小，计算量小，实时判断效率大大提高。

本发明提供一种多物体追踪中判断同一物体的方法的实施例二，本实施例二运用于多物体进行追踪的过程中，每连续两帧视频帧同时确定多个物体框后，确定每两连续帧视频帧中不同的物体框为同一物体。

参见图5，图5是本实施例二的应用场景示意图，在对多物体追踪中确定同一物体时，对图5中第一视频帧1和第二视频帧2为连续两帧视频帧。在实现本实施例二对第一视频帧1和第二视频帧2分别出现的若干物体对应确认为同一物体前，通过预设步骤对视频帧中获取的物体建立对应的物体框，通过每一物体框代表每一物体；以图5中第一视频帧1中代表第一物体的第一物体框111；第二视频帧2中代表第二物体的第二物体框112为例说明，本实施例的预设步骤S20包括：

S20、基于相邻帧差法对第一视频帧1和第二视频帧2进行运动检测，分别获取并建立第一视频帧1中第一物体的第一物体框111的和第二视频帧的第二物体的第二物体框112；其中，所建立的第一物体框111的和第二物体框112均为矩形框。

结合图6，图6是本实施例的流程示意图；本实施例二通过对预设步骤S20中建立的第一物体框111和第二物体框112的判断从而实现对第一物体和第二物体是否为同一物体的判断，具体包括以下步骤：：

S21、分析出第一视频帧1的第一物体框111的位置信息和第二视频帧2的第二物体框112的位置信息；

其中，在本实施例的步骤S21中所分析出的第一物体框111的位置信息包括第一物体框111的四个顶点信息，第二物体框112的位置信息包括第二物体框112的四个顶点信息；

S22、基于第一物体框111的位置信息和第二物体框112的位置信息，计算第一物体框111和第二物体框112的位置关系，并判断位置关系是否在预设的判断标准范围内，若否，确定第一物体框111所表示的第一物体和第二物体框112所表示的第二物体不为同一物体；否则

S23、计算第一物体框111和第二物体框112的相交面积，并判断相交面积是否满足预设范围，若是，确定第一物体和第二物体为同一物体；否则确定第一物体和第二物体不为同一物体。

进一步地，参见图7，图7是步骤S22的详细流程示意图，步骤S22具体包括下述步骤：

S221、基于第一物体框111的位置信息和第二物体框112位置信息，分别计算第一物体框111的第一中心点的位置和第二物体框112的第二中心点的位置；

具体地，可以通过第一物体框111的位置信息中包括的第一物体框111的四个顶点信息计算第一中心点的位置，同理，可获得第二物体框112的第二中心点的位置；

S222、判断第一物体框111的第一中心点的位置是否在第二物体框112中；

当第一物体框111的第一中心点的位置不在第二物体框112中，确定第一物体和第二物体不是同一物体；当第一物体框111的第一中心点的位置在第二物体框112中，则

S223、判断第二物体框112的第二中心点是否在第一物体框111中；

当第二物体框112的第二中心点的位置不在第一物体框111中，确定第一物体和第二物体不是同一物体11；当第二物体框112的第二中心点的位置在第一物体框111中，进行步骤S23。

参见图8，图8是步骤S23的详细流程示意图，步骤S23具体包括下述步骤：

S231、分别计算第一物体框111的面积S1、第二物体框112的面积S2以及第一物体框111和第二物体框112的相交面积S；

S232、通过下述公式计算比值X：

S233、判断比值X是否大于预设阈值，当比值X大于预设阈值时，确定第一物体和第二物体是同一物体；当比值X小于预设阈值时，确定第一物体和第二物体不是同一物体。

在视频帧率比较高的情况下,具体为FPS不低于30帧/秒，同一物体在连续的两帧视频帧的时间范围内所进行的运动幅度实际上是比较小的，本实施例二基于上述先验信息，优选预设阈值为0.85，保证实时判断的高准确率。

具体实施时，本实施例二可用于多物体追踪过程中，对每两相邻两帧视频帧中同时出现多个物体，通过对两帧视频中分别出现的物体进行位置关系和面积比关系进行相应的条件判断，对满足条件的在两帧视频帧中分别出现的第一物体和第二物体判定为同一物体；相比于现有技术中先提取两帧视频帧中物体的特定特征，然后再用两个特定特征的欧式距离作为两个物体的相似度来确定是否为同一物体的方案，本实施例二所提供的方法提取的数据量小，计算量小，实时判断效率大大提高。

除了本实施例二在多物体追踪中，对每两连续视频帧进行确定同一物体，还可以选取相隔帧数在预设范围内的每两帧视频帧进行同一物体的确认，该实施方式也在本发明的保护范围之内。

在实际生活中，本发明所提供的多物体追踪中判断同一物体的方法的实施例一/实施例二均可用于多人脸追踪过程中，当所选取的视频帧中每两相邻两帧图片中同时出现多个人脸框时，通过本实施例一/实施例二所提供的多物体追踪中判断同一物体的方法，直接评价人脸框的位置信息来确定两个人脸框是否为同一个人的；相比于现有技术中先提取两个人脸框的特征，然后再用两个特征的欧式距离作为两个人脸框的相似度来确定两个人脸框的人脸是否为同一个人的方案，本发明所提供的方法提取的数据量小，计算量小，实时判断效率大大提高。

本发明提供一种多物体追踪中判断同一物体的装置的实施例，参见图9，图9为一种多物体追踪中判断同一物体的装置的实施例的结构示意图，该装置包括：获取单元3、第一计算判断单元4和第二计算判断单元5。

获取单元3，用于获取第一视频帧的第一物体的位置信息和第二视频帧的第二物体的位置信息；其中，第一视频帧和第二视频帧为连续的两帧视频帧。

第一计算判断单元4，基于第一物体的位置信息和第二物体的位置信息，计算第一物体和第二物体的位置关系，并判断位置关系是否在预设的判断标准范围内。

具体地，第一计算判断单元4包括第一计算模块41和第一判断模块42。

第一计算模块41，基于第一物体的位置信息和第二物体的位置信息，分别计算第一物体的第一中心点的位置和第二物体的第二中心点的位置；同时，第一计算模块41将关于第一中心点的位置和第二中心点的位置的数据将传送至第一判断模块42进行判断。

第一判断模块42，用于判断第一中心点的位置是否在第二物体中：若判断为否，确定第一物体和第二物体不是同一物体；若判断为是，第一模块判断42执行下一步判断：

继续判断第二中心点是否在第一物体中：若判断为否，确定第一物体和第二物体不是同一物体；若判断为是，第一判断模块42将触发第二计算判断单元5对位置关系在预设的判断标准范围内的第一物体和第二物体的进行进一步的判断。

第二计算判断单元5，用于在第一计算判断单元4判断的位置关系在预设的判断标准范围内时，计算第一物体和第二物体的相交面积，并判断相交面积是否满足预设范围。

具体地，第二计算判断单元5包括第二计算模块51和第二判断模块52。

第二计算模块51，用于分别计算第一物体的面积S1、第二物体的面积S2以及第一物体和第二物体的相交面积S；并通过下述公式计算比值X：

第二判断模块52，用于当判断比值X大于预设阈值时，确定第一物体和第二物体是同一物体；当判断比值X小于预设阈值时，确定第一物体和第二物体不是同一物体。

优选地，当第一视频帧和第二视频帧为两连续帧视频帧时，预设阈值设置为0.85。

具体实施时，通过获取单元3所获取的第一物体和第二物体的位置信息，通过第一计算判断单元4的计算判断任一中心点位置是否均在另一物体中，以及，通过第二计算判断单元5的计算判断两物体的相交面积所占两物体的总面积的比例值是否在预设阈值内，通过双重判断确定分别在连续的两帧视频帧的第一物体和第二物体是否为同一物体。

该装置只需要获取两物体的位置信息即可，所需数据量小；需的计算只是需要确定两个中心点是否在另一个物体中和三个面积值以及对应的比例，计算量小；同时在视频帧率较高，同一物体运动较小的实际基础上所优选设定的预设阈值能保证较高的准确率。

以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和变形，这些改进和变形也视为本发明的保护范围。