乒乓球运动轨迹识别方法、双轨迹检测方法及系统、设备与流程

1.本技术主要涉及机器视觉技术领域，尤其涉及一种乒乓球运动轨迹识别方法、乒乓球双轨迹检测方法、乒乓球监测系统、终端设备以及计算机可读存储介质。


背景技术：

2.随着国家对全民健康的重视，乒乓球以其占用场地少、对抗性低、老少咸宜等优点，得到了全国人民的喜爱。目前，市面上已出现能够辅助检测乒乓球的运动轨迹、判断比赛得分的乒乓球视觉系统。
3.通过乒乓球视觉系统对乒乓球进行检测时，得到的坐标为乒乓球在相机坐标系下的坐标，通过该坐标很难判断乒乓球相对于乒乓球桌的位置。因此，需要通过坐标转换将相机坐标系下乒乓球的坐标转化为球桌坐标系下的坐标。
4.现有技术中，在已知相机参数的情况下，通常在乒乓球桌上人工精准放置标定板或标准尺寸标定物，通过人工干预，使标定板或标定物坐标系与球桌坐标系完全对齐，得到标定板或标准尺寸标定物上特征点阵在球桌坐标系下的实际三维坐标，并结合标定板或标准尺寸标定物的特征点阵在相机图像上的像素坐标，得到相机坐标系与球桌坐标系的转换关系。然而，利用标定板或标准尺寸标定物进行标定意味着需要人为地在乒乓球桌上设置标定板或标准尺寸标定物，并在标定完成后撤回标定板或标准尺寸标定物。当乒乓球桌与相机的相对位置发生改变时，则需要重新标定。因此，这种标定方式操作复杂度高，需要耗费大量的人工成本和时间成本。


技术实现要素：

5.本技术提供了一种乒乓球运动轨迹识别方法、乒乓球双轨迹检测方法、乒乓球监测系统、终端设备以及计算机可读存储介质。
6.为解决上述技术问题，本技术提供了一种乒乓球运动轨迹识别方法，所述乒乓球运动轨迹识别方法包括：
7.采集乒乓球球桌的待识别图像，并定位所述待识别图像上的角点；
8.基于所述角点的图像坐标和世界坐标，获取所述待识别图像与球桌桌面所在的世界坐标系的变换关系；
9.按照所述变换关系将所述待识别图像上的乒乓球投影到所述球桌桌面所在的世界坐标系上。
10.其中，所述按照所述变换关系将所述待识别图像上的乒乓球投影到所述球桌桌面所在的世界坐标系上，包括：
11.按照所述变换关系将连续多帧的待识别图像上的乒乓球投影到所述球桌桌面所在的世界坐标系上，得到所述乒乓球的运动轨迹。
12.其中，所述乒乓球运动轨迹识别方法，还包括：
13.获取所述待识别图像上的关于乒乓球的实时线段轨迹；
14.将所述实时线段轨迹分别与若干历史运动轨迹进行匹配，按照匹配结果将所述实时线段轨迹分配到匹配成功的历史运动轨迹。
15.其中，所述定位所述待识别图像上的角点，包括：
16.获取所述待识别图像上关于所述球桌桌面的上底线、下底线、左边线以及右边线的若干点；
17.对所述上底线、下底线、左边线以及右边线的若干点分别进行线性拟合，得到四条直线；
18.根据所述四条直线的相交点定位所述待识别图像上的角点。
19.其中，所述基于所述角点的图像坐标和世界坐标，获取所述待识别图像与球桌桌面所在的世界坐标系的变换关系，包括：
20.构建透射变换矩阵，所述透射变换矩阵中包括若干未知的矩阵参数；
21.利用所述角点的图像坐标、世界坐标，以及所述透射变换矩阵构建若干线性方程构成的线性方程组；
22.对所述线性方程组进行求解，确定所述透射变换矩阵中的矩阵参数，从而确定所述待识别图像与所述球桌桌面所在的世界坐标系的变换关系。
23.其中，所述乒乓球运动轨迹识别方法，还包括：
24.采集所述乒乓球球桌的连续多帧待识别图像；
25.比对所述连续多帧待识别图像上的动态物体，将所述动态物体所在的图像区域标记为乒乓球所在的图像区域。
26.为解决上述技术问题，本技术提供了一种乒乓球双轨迹检测方法，所述乒乓球双轨迹检测方法包括：
27.利用双目相机采集乒乓球球桌上同一乒乓球的第一运动轨迹和第二运动轨迹，其中，所述第一运动轨迹和所述第二运动轨迹由上述的乒乓球运动轨迹识别方法通过连续多帧待识别图像上的乒乓球投影到球桌桌面所在的世界坐标系上的投影点组成；
28.获取所述第一运动轨迹和所述第二运动轨迹的相交点；
29.按照所述相交点与所述球桌桌面上的预设区域的相对位置关系，确定所述乒乓球的得分情况。
30.其中，所述预设区域为得分区域；
31.所述按照所述相交点与所述球桌桌面上的预设区域的相对位置关系，确定所述乒乓球的得分情况，包括：
32.当所述第一运动轨迹和所述第二运动轨迹的第一个相交点落在所述得分区域内时，确定所述乒乓球的落点为有效得分。
33.其中，所述双目相机沿所述球桌桌面的中心线布置，设置于所述球桌存在乒乓球运动的一侧桌面的上方，且所述双目相机的采集范围覆盖整个乒乓球球桌。
34.为解决上述技术问题，本技术提供了一种乒乓球监测系统，所述乒乓球监测系统包括：
35.区域监测设备，设置于乒乓球球桌的上方，用于采集所述乒乓球球桌上的待识别图像；
36.数据终端，与所述区域监测设备通信连接，以获取所述区域监测设备采集的待识
别图像，用于根据所述待识别图像实现如上述的乒乓球运动轨迹识别方法，和/或上述的乒乓球双轨迹检测方法。
37.其中，所述区域监测设备包括双目相机，所述双目相机用于采集所述乒乓球球桌同步的左右两帧待识别图像。
38.其中，所述乒乓球监测系统还包括：
39.发球机，与所述数据终端通信连接，用于接收并按照所述数据终端下发的控制指令发出乒乓球，其中，所述控制指令由所述数据终端根据前一个乒乓球的运动轨迹生成。
40.为解决上述技术问题，本技术提供了一种终端设备，其中，所述终端设备包括处理器、与所述处理器连接的存储器，其中，所述存储器存储有程序指令；
41.所述处理器用于执行所述存储器存储的程序指令以实现如上述的乒乓球运动轨迹识别方法，和/或上述的乒乓球双轨迹检测方法。
42.为解决上述技术问题，本技术提供了一种计算机可读存储介质，所述存储介质存储有程序指令，所述程序指令被执行时实现如上述的乒乓球运动轨迹识别方法，和/或上述的乒乓球双轨迹检测方法。
43.与现有技术相比，本技术的有益效果是：终端设备采集乒乓球球桌的待识别图像，并定位所述待识别图像上的角点；基于所述角点的图像坐标和世界坐标，获取所述待识别图像与球桌桌面所在的世界坐标系的变换关系；按照所述变换关系将所述待识别图像上的乒乓球投影到所述球桌桌面所在的世界坐标系上。本技术通过提供一种自动标定校准乒乓球球桌的方法，以准确识别乒乓球球桌上乒乓球的位置，实现乒乓球运动轨迹识别的智能化和自动化。
附图说明
44.为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。其中：
45.图1是本技术提供的乒乓球运动轨迹识别方法一实施例的流程示意图；
46.图2是本技术提供的乒乓球双轨迹检测方法一实施例的流程示意图；
47.图3是本技术提供的乒乓球监测系统一实施例的结构示意图；
48.图4是本技术提供的终端设备的一实施例的框架示意图；
49.图5是本技术提供的计算机存储介质一实施例的结构示意图。
具体实施方式
50.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本技术的一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
51.本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措
辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
52.本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。
53.请参阅图1，图1是本技术提供的乒乓球运动轨迹识别方法一实施例的流程示意图。
54.如图1所示，本实施例的乒乓球运动轨迹识别方法具体包括以下步骤：
55.步骤s11：采集乒乓球球桌的待识别图像，并定位待识别图像上的角点。
56.在本技术实施例中，终端设备通过搭载的相机采集乒乓球球桌的待识别图像。其中，终端设备搭载的相机可以为普通相机，也可以为双目相机等。以双目相机为例，双目相机可以设置于乒乓球球桌的上方，以使双目相机的采集范围能够覆盖整个乒乓球球桌的所有区域，保证出现的乒乓球球桌的乒乓球能够被及时准确识别。
57.进一步地，终端设备通过对待识别图像上的点线特征进行识别，从而对待识别图像上的角点进行定位。
58.具体地，终端设备可以对待识别图像上的乒乓球球桌进行处理，分别获取球桌的上底线、下底线、左边线以及右边线上的若干点。然后，终端设备对以上底线和边线上获取的点进行线性拟合得到四条直线，分别为：上底线、下底线、左边线以及右边线。最后，终端设备获取四条直线中两两直线的相交点，作为待识别图像上的角点。
59.步骤s12：基于角点的图像坐标和世界坐标，获取待识别图像与球桌桌面所在的世界坐标系的变换关系。
60.在本技术实施例中，终端设备一方面利用步骤s11定位待识别图像上的角点，从而获取角点的图像坐标，另一方面在世界坐标系上定位球桌桌面的角点的位置，从而获取角点的世界坐标。
61.终端设备获取角点的图像坐标和世界坐标后，即可通过解线性方程计算得到待识别图像与球桌桌面的变换关系，其中，变换关系可以通过透射变换矩阵表征。
62.具体地，终端设备构建包括若干位置的矩阵参数的透射变换矩阵，其表示形式可以表现如下：
63.其中，(x，y)为乒乓球在球桌投影的世界坐标，(x，y)为图像坐标，m11～m33为透射变换矩阵的矩阵参数。
64.终端设备利用步骤s11定位的四个角点的图像坐标和世界坐标代入上述透射变换矩阵，从而获取得到若干线性方程构成的线性方程组。其中，线性方程组中的线性方程的数量与角点数量相同。
65.终端设备通过对线性方程组进行求解，确定透射变换矩阵中的矩阵参数，即m11～
m33的具体数值，从而确定最终的透射变换矩阵，即待识别图像与球桌桌面的变换关系。
66.步骤s13：按照变换关系将待识别图像上的乒乓球投影到球桌桌面所在的世界坐标系上。
67.在本技术实施例中，终端设备利用步骤s12确定的透射变换矩阵，将待识别图像变换到球桌桌面所在的世界坐标系上，从而实现对待识别图像上的乒乓球进行透射，得到乒乓球在桌面所在的世界坐标系上的投影。
68.进一步地，终端设备还需要在待识别图像上识别乒乓球的位置。具体地，由于相机的位置和采集角度不变，球桌桌面相较于相机而言是相对静止的，因此，终端设备可以通过比对连续多帧的待识别图像上的像素点变化，从而对比识别出连续多帧的待识别图像上的动态物体，并将动态物体所在的图像区域标记为乒乓球所在的图像区域。
69.在其他实施方式中，终端设备也可以采用图像识别、目标检测等方式识别出待识别图像中的乒乓球的位置，具体方式在此不再赘述。
70.终端设备在获取连续多帧的待识别图像上的乒乓球在球桌桌面的投影点后，即可利用连续多个投影点组成乒乓球的运动轨迹。
71.具体地，终端设备将乒乓球运动看作一条运动轨迹实际上摄像头所捕获的是一帧帧图像，乒乓球运动的曲线就会被分为一段段线段。如果画面中有多个乒乓球运动，一帧图像中就有多个线段，这些线段可能属于不同乒乓球的运动轨迹。实际上的处理是对每条运动轨迹已有数据进行拟合，预测出整条轨迹，求出每条线段和每条轨迹的误差，综合误差水平、运动曲线方向和线段的位置，判断线段是否属于该轨迹。
72.在本技术实施例中，终端设备采集乒乓球球桌的待识别图像，并定位所述待识别图像上的角点；基于所述角点的图像坐标和世界坐标，获取所述待识别图像与球桌桌面所在的世界坐标系的变换关系；按照所述变换关系将所述待识别图像上的乒乓球投影到所述球桌桌面所在的世界坐标系上。本技术通过提供一种自动标定校准乒乓球球桌的方法，以准确识别乒乓球球桌上乒乓球的位置，实现乒乓球运动轨迹识别的智能化和自动化。
73.在上述实施例的乒乓球运动轨迹识别方法的基础上，本技术还提供了一种乒乓球双轨迹检测方法，请继续参阅2，图2是本技术提供的乒乓球双轨迹检测方法一实施例的流程示意图。
74.如图2所示，本实施例的乒乓球双轨迹检测方法具体包括以下步骤：
75.步骤s21：利用双目相机采集乒乓球球桌上同一乒乓球的第一运动轨迹和第二运动轨迹。
76.在本技术实施例中，双目相机沿球桌桌面的中心线布置，设置于球桌存在乒乓球运动的一侧桌面的上方，且双目相机的采集范围覆盖整个乒乓球球桌。
77.终端设备利用双目相机进行乒乓球3d位置的识别，由上述乒乓球运动轨迹识别方法通过投射变换可以得到乒乓球在桌面的投影位置，一个乒乓球运动的轨迹在桌面的投影是一条曲线，用一个双目摄像头可以得到来两张同步的照片，左右图像同样通过投射变换可以得到乒乓球运动轨迹在左右两个摄像头的投影曲线，即第一运动轨迹和第二运动轨迹。
78.步骤s22：获取第一运动轨迹和第二运动轨迹的相交点。
79.在本技术实施例中，终端设备获取第一运动轨迹和第二运动轨迹的相交点，其中，
第一运动轨迹和第二运动轨迹的相交点即为乒乓球触碰球桌桌面时的轨迹点。其原因在于：双目相机的左右两个摄像头是通过透射变换原理将乒乓球的位置透射到球桌桌面上，当乒乓球触碰到球桌桌面时，双目相机的左右两个摄像头的采集图像投影到球桌桌面上时为同一个投影点。
80.步骤s23：按照相交点与球桌桌面上的预设区域的相对位置关系，确定乒乓球的得分情况。
81.在本技术实施例中，以预设区域为得分区域为例，当第一运动轨迹和第二运动轨迹的第一个相交点落在得分区域内时，确定乒乓球的落点为有效得分。
82.在其他实施例中，预设区域也可以为非得分区域、边界区域等，其得分规则在此不一一列举。
83.为实现上述实施例中的乒乓球运动轨迹识别方法和/或乒乓球双轨迹检测方法，本技术还提供了一种乒乓球监测系统。具体请参阅图3，图3是本技术提供的乒乓球监测系统一实施例的结构示意图。
84.如图3所示，本技术实施例的乒乓球监测系统500具体包括：区域监测设备51，设置于乒乓球球桌的上方，用于采集乒乓球球桌上的待识别图像；数据终端52，与区域监测设备51通信连接，以获取所述区域监测51设备采集的待识别图像，用于根据所述待识别图像实现如上述实施例的乒乓球运动轨迹识别方法，和/或上述实施例的乒乓球双轨迹检测方法。
85.具体地，本技术结合发球机用于乒乓球考试的应用场景介绍一种具体的乒乓球监测系统。
86.其中，区域监测设备包括双目相机，所述双目相机用于采集所述乒乓球球桌同步的左右两帧待识别图像。
87.乒乓球监测系统还可以包括：发球机，与所述数据终端通信连接，用于接收并按照所述数据终端下发的控制指令发出乒乓球，其中，所述控制指令由所述数据终端根据前一个乒乓球的运动轨迹生成。
88.在其他实施例中，乒乓球监测系统还包括考试录像设备、考试管理服务端等，在此不再赘述。
89.为实现上述实施例中的乒乓球运动轨迹识别方法和/或乒乓球双轨迹检测方法，本技术还提供一种终端设备300，具体请参见图4，本技术实施例的终端设备300包括处理器31、存储器32、输入输出设备33以及总线34。
90.该处理器31、存储器32、输入输出设备33分别与总线34相连，该存储器32中存储有程序数据，处理器31用于执行程序数据以实现上述实施例所述的乒乓球运动轨迹识别方法和/或乒乓球双轨迹检测方法。
91.在本技术实施例中，处理器31还可以称为cpu(central processing unit，中央处理单元)。处理器31可能是一种集成电压控制系统芯片，具有信号的处理能力。处理器31还可以是通用处理器、数字信号处理器(dsp，digital signal process)、专用集成电压控制系统(asic，application specific integrated circuit)、现场可编程门阵列(fpga，field programmable gate array)或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器31也可以是任何常规的处理器等。
92.本技术还提供一种计算机存储介质，请继续参阅图5，图5是本技术提供的计算机存储介质一实施例的结构示意图，该计算机存储介质400中存储有程序数据41，该程序数据41在被处理器执行时，用以实现上述实施例的乒乓球运动轨迹识别方法和/或乒乓球双轨迹检测方法。
93.本技术的实施例以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本技术各个实施方式所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
94.以上所述仅为本技术的实施方式，并非因此限制本技术的专利范围，方式利用本技术说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本技术的专利保护范围内。