目标正反面展示动作连续性的检测方法与流程

1.本技术涉及目标检测、目标跟踪技术领域，尤其是涉及目标正反面展示动作连续性的检测方法。


背景技术：

2.随着数字媒体和互联网在各个领域的深入发展，越来越多的行业和机构开始将视频作为一种档案留存的载体，以方便后续查找和取证。视频存档的优势是所见即所得，视频中包含录制环境、参与人员的动作、语音等较多信息，因而发生纠纷时较难抵赖。银行、证券、保险等金融机构在销售理财产品、保险产品时，根据监管部门的要求必须进行录音录像(简称双录)。
3.录制的视频必须符合监管部门的一系列规范与要求，其中一条就是规范客户二代证正反面的展示。二代证正面(人像面)主要用于唯一标识身份信息，而二代证反面(国徽面)则用于证实该二代证的有效性。通常的做法是在视频中分别展示出二代证的正反面即可，但是如果缺少了正反面之间过渡的过程，就无法确定展示的二代证正反面是否来自同一个身份证实物。有不法分子可以利用这一漏洞，收集过期身份证用于展示身份证正面，然后在需要展示反面的环节，用一张尚在有效期内的身份证来蒙混过关。针对这个问题，本发明提出在视频中先展示目标的正面，然后在目标不离开摄像头的条件下翻转目标展示其反面的解决方案。这里，目标的正面是指展示的第一面，而目标的反面是指展示的第二面。同时，本发明提供一种判断目标正反面是否来自同一个实物的方法，即目标正反面展示动作连续性的检测方法。如果展示动作是连续的，则认为所展示目标的正反面来自同一个实物，否则不是来自同一个实物。


技术实现要素：

4.为了解决判断所展示的目标正反面是否来自同一个实物的问题，本发明提供一种目标正反面展示动作连续性的检测方法。采用如下的技术方案：
5.目标正反面展示动作连续性的检测方法，应用于检测视频中展示目标正反面动作是否连续，包括以下步骤：
6.步骤1：提取视频中目标正面检测成功的最后一帧帧号t1和目标区域boxf；
7.步骤2：提取视频中目标反面检测成功的第一帧帧号t2和目标区域boxb；
8.步骤3：判断目标正反面展示动作是否连续，设定阈值t和t，计算t2-t1，计算第t1帧的目标区域boxf与第t2帧的目标区域boxb的交并比iou；若(t2-t1)＜t且iou(boxf,boxb)》t，则判定视频中目标正反面展示动作连续，否则判断目标正反面展示动作不连续。这里的iou(boxf,boxb)的计算方式为boxf与boxb的交集和boxf与boxb的并集之比。
9.通过采用上述技术方案，首先对待检测视频提取目标正面检测成功的最后一帧帧号t1和目标区域boxf，然后提取目标反面检测成功的第一帧帧号t2和目标区域boxb，最后计算(t2-t1)和iou(boxf,boxb)，判断(t2-t1)是否小于设定阈值t，以及iou(boxf,boxb)是
否大于设定阈值t，若两个条件同时满足，则判定视频中展示的目标正反面动作连续，反之则判定视频中展示的目标正反面动作不连续。
10.可选的，所述步骤1的具体方法是：使用正面目标检测器检测目标正面，直到检测不到该目标正面，则启动目标跟踪直至跟踪失败，记录下最后一次跟踪成功的视频帧序号t1和目标区域boxf。
11.通过采用上述技术方案，使用正面目标检测器检测目标正面和目标跟踪算法，能够精确的检测到最后一次检测成功的视频帧序号为t1，目标区域为boxf。
12.可选的，所述步骤2的具体方法是：从t1帧时刻起使用反面目标检测器检测目标反面，检测到目标后启动反向目标跟踪直至第t1帧或者跟踪失败，记录下最后一次跟踪成功的视频帧序号t2和目标区域boxb。
13.通过采用上述技术方案，使用反面目标检测器检测目标反面，从t1帧时刻起使用反面目标检测器检测目标反面，检测到目标后启动反向目标跟踪直至第t1帧或者跟踪失败，记录下最后一次跟踪成功的视频帧序号t2和目标区域boxb。
14.可选的，所述步骤3的t值的具体确定方法为：设当前视频帧速率为fps，设允许的时间差值为t
time
，则t＝t
time
×
fps，所述t
time
表示正常情况下切换目标的最小时间。
15.通过采用上述技术方案，切换目标具体指的是：放下当前目标，重新拿起另一个目标并至于镜头中所需的时间。阈值t可以根据正常情况下的t
time
时间进行推算，经过多次实验统计出一个经验值t
time
，然后利用视频帧速率fts将时间换算成帧数，即t＝t
time
×
fps。
16.可选的，所述0.2s≤t
time
≤2s，则(0.2
×
fps)≤t≤(2
×
fps)。
17.通过采用上述技术方案，经验值t
time
的设定在0.2-2s的范围，这样的经验值设定来源于多次实验结果。
18.可选的，所述t值为，0.2≤t≤1。
19.可选的，所述视频可以是存储器里的拍摄好的视频文件，也可以是在线视频会议等类似的直接视频连线的应用场景下的实时在线视频。
20.通过采用上述技术方案，目标正反面展示动作连续性的检测方法可以应用于对已录制好的视频文件中的目标正反面展示动作是否连续的检测，也可以应用于对实时在线视频的目标正反面展示动作是否连续的检测。
21.综上所述，本技术包括以下至少一种有益技术效果：
22.本发明基于目标检测和跟踪的方法，判断视频中展示目标的正反面是否来自同一实物。该方法对含有目标正反面的视频帧进行检测和跟踪，当正反面出现的时间差足够短且出现位置足够接近时，表明展示的目标正反面来自同一个实物。该方法解决了分开展示目标正反面导致的无法判断正反面是否来自同一个实物的问题，可以应用在智能双录、远程开户、远程开卡、远程信贷、远程公证、远程理财，远程谈判、远程签约、远程申领社保等领域。
附图说明
23.图1是本发明的流程示意图。
具体实施方式
24.以下结合附图1对本技术作进一步详细说明。
25.本技术实施例公开目标正反面展示动作连续性的检测方法。
26.参照图1，目标正反面展示动作连续性的检测方法，应用于检测视频中展示目标正反面动作是否连续，包括以下步骤：
27.步骤1：提取视频中目标正面检测成功的最后一帧帧号t1和目标区域boxf；
28.步骤2：提取视频中目标反面检测成功的第一帧帧号t2和目标区域boxb；
29.步骤3：判断目标正反面展示动作是否连续，设定阈值t和t，计算t2-t1，，计算第t1帧的目标区域boxf与第t2帧的目标区域boxb的交并比iou；若(t2-t1)＜t且iou(boxf,boxb)》t，则判定视频中目标正反面展示动作连续，否则判断目标正反面展示动作不连续。
30.步骤1的具体方法是：使用正面目标检测器检测目标正面，直到检测不到该目标正面，则启动目标跟踪直至跟踪失败，记录下最后一次跟踪成功的视频帧序号t1和目标区域boxf。
31.使用正面目标检测器检测目标正面和跟踪目标，能够精确的检测到最后一次检测成功的视频帧序号为t1，目标区域为boxf。
32.步骤2的具体方法是：从t1帧时刻起使用反面目标检测器检测目标反面，检测到目标后启动反向目标跟踪直至第t1帧或者跟踪失败，记录下最后一次跟踪成功的视频帧序号t2和目标区域boxb。
33.使用反面目标检测器检测目标反面，从t1帧时刻起使用反面目标检测器检测目标反面，检测到目标后启动反向目标跟踪直至第t1帧或者跟踪失败，记录下最后一次跟踪成功的视频帧序号t2和目标区域boxb。
34.步骤3的t值的具体确定方法为：设当前视频帧速率为fps，设允许的时间差值为t
time
，则t＝t
time
×
fps，ttime表示正常情况下切换目标的最小时间。
35.切换目标具体指的是：放下当前目标，重新拿起另一个目标并至于镜头中所需的时间。阈值t可以根据正常情况下的t
time
时间进行推算，经过多次实验统计出一个经验值t
time
，然后利用视频帧速率fts将时间换算成帧数，即t＝t
time
×
fps。
36.0.2s≤t
time
≤2s，则(0.2
×
fps)≤t≤(2
×
fps)。
37.经验值t
time
的设定在0.2-2s的范围，这样的经验值设定来源于多次实验结果。
38.t值为，0.2≤t≤1。
39.视频可以是存储器里的拍摄好的视频文件，也可以是在线视频会议等类似的直接视频连线的应用场景下的实时在线视频。
40.目标正反面展示动作连续性的检测方法可以应用于对已录制好的视频文件中的目标正反面展示动作是否连续的检测，也可以应用于对实时在线视频的目标正反面展示动作是否连续的检测。
41.本技术实施例目标正反面展示动作连续性的检测方法的实施原理为：
42.以一个视频为例，通过以下实施步骤判断展示目标正反面的动作是否连续：
43.步骤1：使用正面目标检测器检测目标正面，直到检测不到该目标正面，此时视频帧序号为200，则启动跟踪直至跟踪失败，记录下最后一次跟踪成功的视频帧序号为t1，t1＝230，目标区域box230的左上角x坐标，y坐标，宽和高分别为23,25,100,100；
44.步骤2：从t1帧时刻起使用反面目标检测器检测目标反面，检测到第一帧成功的视频帧序号为250，然后反向跟踪目标直至230帧或者跟踪失败，记录最后一次跟踪成功的帧序号为t2＝234，目标区域box234的左上角x坐标，y坐标，宽和高分别为23,25,100,100；
45.步骤3：判断目标正反面展示动作是否连续，设定阈值t，阈值t可以根据正常情况下切换目标(放下当前目标，重新拿起另一个目标并至于镜头中)的时间进行推算。经过多次实验统计出一个经验值t
time
，然后利用视频帧速率fps将时间换算成帧数，即t＝t
time
×
fps，取阈值t
time
＝1(秒)，假设当前视频帧速率fps＝25，则阈值t＝1
×
25＝25(帧)，(t2-t1)＝4(帧)，小于阈值t的25帧；
46.步骤4：计算第t1＝230帧的目标区域bbox230与第t2＝234帧的目标区域bbox234的交并比iou值为1，大于阈值t的0.5，则判定该视频正反面展示动作连续。
47.以上均为本技术的较佳实施例，并非依此限制本技术的保护范围，故：凡依本发明的结构、形状、原理所做的等效变化，均应涵盖于本发明的保护范围之内。