一种空间移动物体的落地点区域检测方法及装置与流程

1.本技术涉及影像检测技术领域，尤其涉及一种空间移动物体的落地点区域检测方法及装置。


背景技术：

2.随着人工智能的发展，现今，在图像视频处理方面越来越显示出其重要程度。自动化在以后的时间里将成为主流，目前，体育行业在这方面的应用也越来越普遍，一方面减少人力成本，另一方面保证绝对的公平公正公开的理念。比如，体育行业的测试、比赛及考试中，检测设备利用图像视频处理来智能化判断球的落地点，进而确定球的落地区域来进行评分。而由于球的速度比较快,短暂的时间内可能会错失落地的帧，而导致可能会进行区域的误判，这时，对于落地点区域的准确判断就尤为重要了。


技术实现要素：

3.本技术提供一种空间移动物体的落地点区域检测方法、装置、设备及存储介质，以解决移动物体落地区域检测不准确的技术问题。
4.第一方面，提供一种空间移动物体的落地点区域检测方法，应用于具有检测落地点的终端设备或检测设备，该方法包括：获取待测物体的连续视频帧，根据所述视频帧确定所述待测物体的第一待定坐标，所述第一待定坐标为图像坐标系下所述待测物体在每一视频帧中的位置坐标；根据所述第一待定坐标确定所述待测物体的第一目标坐标，根据所述第一目标坐标确定对应的目标视频帧，所述第一目标坐标为在图像坐标系下所述待测物体的落地点的位置坐标，所述目标视频帧为检测到所述待测物体的落地点的视频帧；根据坐标转换规则，将所述目标视频帧上的第一范围坐标与所述第一目标坐标转化成基于俯视所述评分区域建立的平面坐标系下对应的第二范围坐标与第二目标坐标，所述第一范围坐标为基于图像坐标系下确定第一评分区域的点的坐标；根据所述第二范围坐标和所述第二目标坐标确定所述落地点的目标区域，所述目标区域为所述待测物体落入的评分区域。
5.本技术方案通过对连续的视频帧中待测物体的第一待定坐标来确定待测物体的第一目标坐标，从而可以实现准确得到落地点的目标视频帧。此外，根据坐标转换规则，将目标视频帧上的第一范围坐标与第一目标坐标转化成对应的第二范围坐标与第二目标坐标，可以实现基于俯视所述可落区域的平面，根据第二范围坐标和第二目标坐标直观地确定的落地点的目标区域，提高了判断落地点的目标区域的准确性。
6.结合第一方面，在一种可能的实现方式中，所述根据所述第一待定坐标确定所述待测物体的第一目标坐标，包括：利用所述待测物体在连续视频帧中的第一待定坐标确定所述待测物体在移动过程中的运动轨迹，确定图像坐标系下所述待测物体的落地方向对应预判坐标轴；根据所述第一待定坐标在预判坐标轴上的坐标值进行落地点确认，确定所述第一目标坐标。所述第一待定坐标有多个坐标值，通过待测物体的运动轨迹获取待测物体的落地方向对应预判坐标轴，只利用所述预判坐标轴上的坐标点进行落地点确认，简化了
落地点的判定条件，提高了判定效率。
7.结合第一方面，在一种可能的实现方式中，所述根据所述第一待定坐标的对应于预判坐标轴上的坐标点，确定所述第一目标坐标，包括：获取每一个所述第一待定坐标对应的预判坐标轴下的坐标值，获取所述预判坐标轴下的坐标值中的最大坐标值或最小坐标值；获取所述最大坐标值或最小坐标值对应的第一待定坐标，将所述最大坐标值或最小坐标值对应的第一待定坐标作为所述第一目标坐标。通过多个第一待定坐标的变化可以确定所述待测物体在移动过程中的运动轨迹，则通过从获取多个预判坐标轴下的坐标值中获取最大坐标值或最小坐标值，确定所述第一目标坐标，有效提高了对第一目标坐标确定的准确度。
8.结合第一方面，在一种可能的实现方式中，所述根据坐标转换规则，将所述目标视频帧上的第一范围坐标与所述第一目标坐标转化成基于俯视所述评分区域建立的平面坐标系下对应的第二范围坐标与第二目标坐标，包括：获取预设的所述图像坐标系与基于俯视所述评分区域建立的平面坐标系的坐标转换矩阵；利用所述坐标转换矩阵将所述第一范围坐标与所述第一目标坐标转化成对应的所述第二范围坐标与所述第二目标坐标。通过坐标转换矩阵将第一范围坐标与第一目标坐标转化成基于俯视所述评分区域建立的平面坐标系的第二范围坐标和所述第二目标坐标，可以更加有效、直观地判断所述待测物体落地点区域。
9.结合第一方面，在一种可能的实现方式中，所述根据所述第二范围坐标和所述第二目标坐标确定所述落地点的目标区域，包括：根据所述第二范围坐标确定基于所述俯视所述评分区域建立的平面坐标系下的第二评分区域；根据所述第二目标坐标在所述第二评分区域的位置，确定所述落地点的目标区域。
10.结合第一方面，在一种可能的实现方式中，所述根据所述第一目标坐标确定对应的目标视频帧，包括：确定所述第一目标坐标所属的视频帧，将所述第一目标坐标所属的视频帧作为所述目标视频帧。
11.结合第一方面，在一种可能的实现方式中，所述根据所述视频帧确定所述待测物体的第一待定坐标，包括：通过卷积神经网络目标检测算法，检测所述待测物体在视频帧中的第一待定坐标。
12.第二方面，一种空间移动物体的落地点区域检测装置，包括：
13.待定坐标获取模块，用于获取待测物体的连续视频帧，根据所述视频帧确定所述待测物体的第一待定坐标；
14.目标坐标确定模块，用于根据所述第一待定坐标确定所述待测物体的第一目标坐标，根据所述第一目标坐标确定对应的目标视频帧；
15.坐标转换模块，用于根据坐标转换规则，将所述目标视频帧上的第一范围坐标与所述第一目标坐标转化成基于俯视所述评分区域建立的平面坐标系下对应的第二范围坐标与第二目标坐标；
16.目标区域确定模块，用于根据所述第二范围坐标和所述第二目标坐标确定所述落地点的目标区域。
17.第三方面，提供一种计算机设备，包括存储器以及一个或多个处理器，一个或多个处理器用于执行存储在存储器中的一个或多个计算机程序，一个或多个处理器在执行一个
或多个计算机程序时，使得该计算机设备实现上述第一方面的空间移动物体的落地点区域检测方法。
18.第四方面，提供一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序包括程序指令，上述程序指令当被处理器执行时使上述处理器执行上述第一方面的空间移动物体的落地点区域检测方法。
19.本技术可以实现如下技术效果：通过对连续的视频帧中待测物体的第一待定坐标来确定待测物体的第一目标坐标，从而可以实现准确得到落地点的目标视频帧。此外，根据坐标转换规则，将目标视频帧上的第一范围坐标与第一目标坐标转化成对应的第二范围坐标与第二目标坐标，可以实现基于俯视所述可落区域的平面，根据第二范围坐标和第二目标坐标直观地确定的落地点的目标区域，提高了判断落地点的目标区域的准确性。
附图说明
20.图1为本技术实施例提供的一种空间移动物体的落地点区域检测方法的流程示意图；
21.图2为本技术实施例提供的卷积神经网络目标检测算法的网络结构示意图；
22.图3为本技术实施例提供的一种空间移动物体的落地点区域检测装置的结构示意图；
23.图4为本技术实施例提供的一种计算机设备的结构示意图。
具体实施方式
24.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行描述。本技术的技术方案可适用于具有视频图像检测功能的终端设备，比如影像检测仪等。在本实施例中，终端设备包括视频帧处理器、相机装置，所述视频帧处理器用于获取视频帧，所述相机装置用于图像捕捉。
25.参见图1，图1为本技术实施例提供的一种空间移动物体的落地点区域检测方法的流程示意图，如图1所示，该方法包括如下步骤：
26.s101，获取待测物体的连续视频帧，根据所述视频帧确定所述待测物体的第一待定坐标。其中，所述第一待定坐标为图像坐标系下所述待测物体在每一视频帧中的位置坐标，图像坐标系是以摄像机拍摄的二维照片为基准建立的坐标系，用于指定物体在照片中的位置。
27.由于本技术方案是判断影像中的移动物体的落地区域，因此在获取待测物体的连续视频帧之前，预先对待测物体的移动过程进行录像，从在录像视频中获取视频流的每一帧来得到视频帧，其中，视频帧可以理解为相机在某一时刻捕捉到的图像。由于待测物体在运动中可能速度比较快，普通相机在捕捉图像时,将会产生虚影，所以本实施例可以采用高帧率相机进行图像捕捉，在一种可行的实现方式中，可使用支持最大1920
×
1080@60fps高清画面输出的海康ds-2pt7t20iw-de，可以提高图像的高清度，从而提高图像捕捉的准确性。
28.又由于视频帧是相机在某一时刻捕捉待测物体的图像，则根据视频帧可以得到待测物体在移动过程中连续时刻的位置情况，即可以得到第一待定坐标。可见，多个连续的视
频帧中对应的多个第一待定坐标可以反映待测物体在移动过程中的运动轨迹，因此获取的每一个视频帧之间的时间间隔越短，则获取的第一待定坐标之间的变化值越小，从而后续根据所述第一待定坐标确定的待测物体的落地点位置坐标就越精确。为了通过视频帧获取更加精准的第一待定坐标，在本实施例中，在待测物体高速运动中，可以使得视频帧处理器的处理速度达到60帧每秒。
29.在本实施例中，第一待定坐标可以通过深度学习神经网络检测算法检测得到。具体地，该深度学习神经网络检测算法可以为卷积神经网络目标检测算法，参见图2，图2为卷积神经网络目标检测算法的网络结构，由backbone、pane t以及output三个部分组成。其中，backbone为主干网络，用来做特征提取的网络，代表网络的一部分，一般是用于前端提取图片信息，生成特征图,供后面的网络使用；panet为路径聚合网络path aggregation network，旨在促进信息的流动；output为输出段。bottle neck csp为瓶颈层，conv为卷积层。spp用于使输入图像尺寸不受限制。upsample为上采样，用来在原有图像像素的基础上在像素点之间采用合适的插值算法插入新的元素。concat为叠加层，为横向或纵向空间上的叠加。在使用卷积神经网络目标检测算法时，选择backbone使用cspdarknet，此网络具有参数少，卷积层数深等优点，能够提高检测精确度。在neck段使用panet，使用特征金字塔方式，扩大特征层的感受野，使待测物体的空间信息和语义信息相结合，更好地检测待测物体在图像视野中的位置，在output段，三个不同尺寸的特征图，兼顾了不同分辨率的目标物检测。在本实施例中，可以使用上述的卷积神经网络目标检测算法，分别对连续视频帧中的各个帧进行待测物体的检测，以确定待测物体在各个视频帧中的第一待定坐标。
30.待获取待测物体的第一待定坐标后，则执行图1中的步骤s102、即可根据待测物体在各视频帧中的第一待定坐标确定待测物体的第一目标坐标，根据第一目标坐标确定对应的目标视频帧。其中，第一目标坐标为在图像坐标系下待测物体的落地点的位置坐标，目标视频帧为检测到待测物体的落地点的视频帧。
31.待测物体在空间移动降落或反弹升起的时候，第一待定坐标会有特定的变化规律，根据该规律，可以选取判定待测物体落地点的坐标轴，基于该坐标轴上的坐标值确定落地点坐标。本实施例中，利用待测物体在连续视频帧中的第一待定坐标确定所述待测物体在移动过程中的运动轨迹，确定图像坐标系下所述待测物体的落地方向对应预判坐标轴。比如说当图像坐标系的x轴为横向方向，以右为正，而图像坐标系的y轴为竖向方向，以下为正，则很明显可知道，当待测物体在空间下落的时候，第一待定坐标的y轴会一直增大，当待测物体弹起在空间向上升起的时候，第一待定坐标的y轴会一直减少，因此，待测物体在下落到最低点将触地弹起，根据该规律，就可以选取y轴为预判坐标轴，可以基于y轴的坐标值变化，确定待测物体与地面接触时的y轴坐标，就可以判定待测物体的落地坐标了。当然，图像坐标系的坐标方向设定不仅限于上述设定。最后根据所述第一待定坐标在预判坐标轴上的坐标值进行落地点确认，来确定所述第一目标坐标。
32.具体地，在本实施例中，选取预判坐标轴下的坐标值中的最大坐标值或者最小坐标值，获取最大坐标值或最小坐标值对应的第一待定坐标，将获取到的最大坐标值或最小坐标值对应的第一待定坐标作为所述第一目标坐标。比如说，在排球考试中，基于上述实施例中的坐标设定，在排球场的半边左上角为原点(0,0)建立图像坐标系，从录像视频中捕捉到9个视频帧，从第一帧到第九帧中，排球在对应的视频帧中的第一待定坐标依次是q1
(1035，390)、q2(1050，401)、q3(1067，412)、q4(1082，423)、q5(1095，430)、q 6(1104，419)、q 7(1110，406)、q8(1118，394)、q9(1124，383)。可以看出，通过坐标可以看出横坐标在一直增大，纵坐标在前面5帧在增大,后面4帧在减小，可以分析前5帧是排球在下降的过程，后4帧是排球落地后弹起的过程，此时可以判断出y轴坐标值为430所对应的第一待定坐标(1095，430)即为落地点坐标，也就是排球的第一目标坐标，即预判坐标轴下的坐标值中的最大坐标值所对应的第一待定坐标作为所述第一目标坐标。最后，根据第一目标坐标确定第一目标坐标所属的视频帧，第一目标坐标所属的视频帧即为目标视频帧，因此可以判断球在第5帧是目标视频帧。在另外一种可能的实现方式中，坐标系设定为y轴向上为正时，则根据上述同理可得，此时y轴最小坐标值所对应的第一待定坐标为第一目标坐标，这里就不具体描述了。
33.通过多个第一待定坐标的变化可以确定所述待测物体在移动过程中的运动轨迹，则通过从获取多个预判坐标轴下的坐标值中获取最大坐标值或最小坐标值，确定所述第一目标坐标，有效提高了对第一目标坐标确定的准确度。
34.待获取到目标视频帧后，则执行步骤s103、根据坐标转换规则，将所述目标视频帧上的第一范围坐标与所述第一目标坐标转化成基于俯视所述评分区域建立的平面坐标系下对应的第二范围坐标与第二目标坐标。其中，所述第一范围坐标为基于图像坐标系下确定第一评分区域的点的坐标。
35.本技术方案最终实现的是确定待测物体落入的评分区域，因此，在所有步骤执行之前，要先划分评分区域，在本实施例中，评分区域可以根据评分区域的关键点坐标进行确定，即第一范围坐标，比如说，排球场的评分区域可以根据每条划分区域的直线的两个端点坐标作为第一范围坐标、乒乓球场的评分区域可以根据区域边界线的4个交点坐标作为第一范围坐标。待确定第一范围坐标后，将第一范围坐标标定在视频帧上的图像坐标系下，确定图像中的第一评分区域。由于在图像中，第一评分区域并不会呈现出标准、真实的几何形状，因此，为了能够直观、准确的判定第一目标坐标所处的评分区域，需要将第一范围坐标和第一目标坐标转换至基于所述俯视所述评分区域建立的平面坐标系的第二范围坐标和第二目标坐标。在本实施例中，根据图像坐标系与基于俯视所述评分区域建立的平面坐标系的坐标转换关系进行坐标转换，所述坐标转换关系可以是转换矩阵，即利用坐标转换矩阵将第一范围坐标与第一目标坐标转化成对应的第二范围坐标与第二目标坐标。通过坐标转换矩阵将第一范围坐标与第一目标坐标转化成基于俯视所述评分区域建立的平面坐标系的第二范围坐标和所述第二目标坐标，可以更加有效、直观地判断所述待测物体落地点区域。
36.在获取到第二范围坐标与第二目标坐标之后，可继续执行步骤s104、根据所述第二范围坐标和所述第二目标坐标确定所述落地点的目标区域。其中，所述目标区域为所述待测物体落入的评分区域。
37.将第二范围坐标在基于所述俯视所述评分区域建立的平面坐标系上进行标定，则可以根据第二范围坐标还原评分区域的真实几何形状，即得到第二评分区域，同时将第二目标坐标在基于所述俯视所述评分区域建立的平面坐标系上进行标定，就可以直接得出第二目标坐标点，也就是待测物体的落地点，根据落地点与第二评分区域的位置关系，则可以确定所述待测物体的目标区域。在一种可以实现的方式中，可以直接根据第二目标坐标在
第二范围坐标所构成的区域边界线的哪一端来确定待测物体落地点落入的目标区域。比如说，平面坐标系以左下角为原点建立，x轴为横向方向，向右为正，y轴为竖向方向，向上为正。当评分区域是一个直角三角形时，基于平面坐标系下，第二范围坐标为(0，0)、(0，100)、(100，40)时，则根据三个第二范围坐标可以确定三条边界线方程式，三条边界线围成的区域即为第二评分区域，根据所述第二目标坐标与三条边界线方程式，判定第二目标区域分别在三条边界线方程式的哪一端，即可确定是否落入到此三角形评分区域。
38.上述介绍了本技术的方法，为了更好地实施本技术的方法，接下来介绍本技术的装置。
39.参见图3，图3是本技术实施例提供的一种空间移动物体的落地点区域检测装置的结构示意图。如图3所示，该空间移动物体的落地点区域检测装置30包括：
40.待定坐标获取模块301，用于获取待测物体的连续视频帧，根据所述视频帧确定所述待测物体的第一待定坐标；
41.目标坐标确定模块302，用于根据所述第一待定坐标确定所述待测物体的第一目标坐标，根据所述第一目标坐标确定对应的目标视频帧；
42.坐标转换模块303，用于根据坐标转换规则，将所述目标视频帧上的第一范围坐标与所述第一目标坐标转化成基于俯视所述评分区域建立的平面坐标系下对应的第二范围坐标与第二目标坐标；
43.目标区域确定模块304，用于根据所述第二范围坐标和所述第二目标坐标确定所述落地点的目标区域。
44.在一种可能的设计中，目标坐标确定模块301具体用于：通过卷积神经网络目标检测算法，检测所述待测物体在视频帧中的第一待定坐标。
45.在一种可能的设计中，目标坐标确定模块302具体用于：利用所述待测物体在连续视频帧中的第一待定坐标确定所述待测物体在移动过程中的运动轨迹，确定图像坐标系下所述待测物体的落地方向对应预判坐标轴；根据所述第一待定坐标在预判坐标轴上的坐标值进行落地点确认，确定所述第一目标坐标。
46.在一种可能的设计中，目标坐标确定模块302具体用于：获取每一个所述第一待定坐标对应的预判坐标轴下的坐标值，获取所述预判坐标轴下的坐标值中的最大坐标值或最小坐标值；获取所述最大坐标值或最小坐标值对应的第一待定坐标，将所述最大坐标值或最小坐标值对应的第一待定坐标作为所述第一目标坐标。
47.在一种可能的设计中，目标坐标确定模块302具体用于：确定所述第一目标坐标所属的视频帧，将所述第一目标坐标所属的视频帧作为所述目标视频帧。
48.在一种可能的设计中，坐标转换模块303具体用于：获取预设的所述图像坐标系与基于俯视所述评分区域建立的平面坐标系的坐标转换矩阵；利用所述坐标转换矩阵将所述第一范围坐标与所述第一目标坐标转化成对应的所述第二范围坐标与所述第二目标坐标。
49.在一种可能的设计中，目标区域确定模块304具体用于：根据所述第二范围坐标确定基于所述俯视所述评分区域建立的平面坐标系下的第二评分区域；根据所述第二目标坐标在所述第二评分区域的位置，确定所述落地点的目标区域。
50.上述装置，通过对连续的视频帧中待测物体的第一待定坐标来确定待测物体的第一目标坐标，从而可以实现准确得到落地点的目标视频帧。此外，根据坐标转换规则，将目
标视频帧上的第一范围坐标与第一目标坐标转化成对应的第二范围坐标与第二目标坐标，可以实现基于俯视所述可落区域的平面，根据第二范围坐标和第二目标坐标直观地确定的落地点的目标区域，提高了判断落地点的目标区域的准确性。
51.参见图4，图4是本技术实施例提供的一种计算机设备的结构示意图，该计算机设备40包括处理器401、存储器402。处理器401连接到存储器402，例如处理器401可以通过总线连接到存储器402。
52.处理器401被配置为支持该计算机设备40执行上述方法实施例中的方法中相应的功能。该处理器401可以是中央处理器(central processing unit，cpu)，网络处理器(network processor，np)，硬件芯片或者其任意组合。上述硬件芯片可以是专用集成电路(application specific integrated circuit，asic)，可编程逻辑器件(programmable logic device，pld)或其组合。上述pld可以是复杂可编程逻辑器件(complex programmable logic device，cpld)，现场可编程逻辑门阵列(field-programmable gate array，fpga)，通用阵列逻辑(generic array logic，gal)或其任意组合。具体地，处理器401可以为单片机中的处理器、存储器402用于存储程序代码等。存储器402可以包括易失性存储器(volatile memory，vm)，例如随机存取存储器(random access memory，ram)；存储器402也可以包括非易失性存储器(non-volatile memory，nvm)，例如只读存储器(read-only memory，rom)，快闪存储器(flash memory)，硬盘(hard disk drive，hdd)或固态硬盘(solid-state drive，ssd)；存储器402还可以包括上述种类的存储器的组合。
53.处理器401可以调用所述程序代码以执行以下操作：
54.获取待测物体的连续视频帧，根据所述视频帧确定所述待测物体的第一待定坐标，所述第一待定坐标为图像坐标系下所述待测物体在每一视频帧中的位置坐标；
55.根据所述第一待定坐标确定所述待测物体的第一目标坐标，根据所述第一目标坐标确定对应的目标视频帧，所述第一目标坐标为在图像坐标系下所述待测物体的落地点的位置坐标，所述目标视频帧为检测到所述待测物体的落地点的视频帧；
56.根据坐标转换规则，将所述目标视频帧上的第一范围坐标与所述第一目标坐标转化成基于俯视所述评分区域建立的平面坐标系下对应的第二范围坐标与第二目标坐标，所述第一范围坐标为基于图像坐标系下确定第一评分区域的点的坐标；
57.根据所述第二范围坐标和所述第二目标坐标确定所述落地点的目标区域，所述目标区域为所述待测物体落入的评分区域。
58.本技术实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被计算机执行时使所述计算机执行如前述实施例所述的方法。
59.本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(read-only memory，rom)或随机存储记忆体(random access memory，ram)等。
60.以上所揭露的仅为本技术较佳实施例而已，当然不能以此来限定本技术之权利范围，因此依本技术权利要求所作的等同变化，仍属本技术所涵盖的范围。