一种利用3D摄像头测量球体运动距离的系统的制作方法

一种利用3d摄像头测量球体运动距离的系统
技术领域
1.本发明涉及图像分析技术领域，具体涉及一种利用3d摄像头测量球体运动距离的系统。


背景技术：

2.近年来，基于视觉的目标检测、跟踪与轨迹预测方法快速兴起并得到了广泛应用。
3.3d相机，区别于传统的只能获取平面图像的2d相机，最大的特点在于而已获得景深数据。通过平面坐标(x,y)和摄像头距离该点的深度数据z的组合。可以获取图像中每个点的三维坐标，可以完成真实场景的还原，场景重建等工作。
4.因此，将3d相机应用于球体运动距离的测量可以取得较好的效果。


技术实现要素：

5.本发明是为了解决体育运动中自动获取相关的运动信息的问题，提供一种利用3d摄像头测量球体运动距离的系统，本发明利用相机测距方法，能较方便地得到运动的距离信息，分析相关的体育运动信息，可在实际的体育运动环境中安装使用。
6.本发明提供一种利用3d摄像头测量球体运动距离的系统，包括设置在运动球区域一侧用于记录球体运动并传输图像和视频的3d摄像头、与3d摄像头连接用于将3d摄像头固定在运动球区域一侧的支撑装置和与3d摄像头相连用于接收3d摄像头的图像并进行图像处理的数据处理模块；
7.3d摄像头包括至少2个相机；
8.数据处理模块包括相机俯视融合模块、运动球区域检测模块、检测定位球体模块、球体三维测距模块、球体跟踪模块和计算运动距离模块；
9.相机俯视融合模块用于将每个相机的地面俯视图融合成包含所有相机视场的3d摄像头地面俯视图，运动球区域检测模块用于检测每个相机的背景区域和运动区域，检测定位球体模块用于检测每个相机的原始图像中的球体目标并筛选得到运动区域中球体目标的二维坐标，球体三维测距模块用于得到球体目标的三维坐标，球体跟踪模块用于完成球体目标的跟踪并得到球体目标区域，计算运动距离模块用于根据3d摄像头地面俯视图和球体目标区域计算得到球体目标的运动距离；
10.数据处理模块的处理方法包括以下步骤：
11.s1、获取每个相机记录球体运动的原始图像和视频序列；
12.s2、相机俯视融合模块将原始图像映射到地面视角形成地面俯视图并通过计算sift特征、特征匹配、配准、曝光补偿、拼接和融合后形成3d摄像头地面俯视图；
13.s3、运动球区域检测模块根据获得的每个相机的视频序列采用高斯混合模型的背景建模方法，得到背景区域和运动区域；
14.s4、检测定位球体模块针对每个原始图像采用基于特征金字塔的ssd网络结构进行球体目标的检测，获得球体目标大致区域和二维坐标；
15.s5、球体三维测距模块使用相同标定物标定3d摄像头的立体参数，并计算三维坐标；
16.s6、球体跟踪模块采用孪生候选区域生成网络，通过非极大值抑制去除重叠框，跟踪相机图像的运动球体，得到更新后球体目标的单一目标区域；
17.s7、计算运动距离模块获取球体目标在3d摄像头地面俯视图中的二维坐标，检测球体目标运动的起始点，计算起始点在3d摄像头地面俯视图上的二维坐标，依据起始点和落在地面点的坐标，得到球体目标的运动距离。
18.本发明所述的一种利用3d摄像头测量球体运动距离的系统，作为优选方式，步骤s2包括以下步骤：
19.s21、映射：相机俯视融合模块将获得的原始图像映射到地面视角形成地面俯视图；
20.s22、配准：在地面俯视图上计算sift特征，匹配每个相机的sift特征，计算地面俯视图的对应关系，完成每个相机的地面俯视图的配准；
21.s23、拼接：分别将各个地面俯视图进行曝光补偿，采用图割法寻找每个相机原始地面视角图像的拼接部分，在拼接处采用拉普拉斯金字塔的图像融合方法进行融合，得到3d摄像头地面俯视图。
22.本发明所述的一种利用3d摄像头测量球体运动距离的系统，作为优选方式，步骤s4包括以下步骤：
23.s41、获得球体目标大致区域：检测定位球体模块采用基于特征金字塔的ssd网络结构检测原始图像中的球体目标，筛选得到运动区域内球体目标大致区域；
24.s42、定位二维坐标：在球体目标大致区域内，检测定位球体模块检测球体目标的圆形边缘，定位圆形区域的圆心坐标得到二维坐标。
25.本发明所述的一种利用3d摄像头测量球体运动距离的系统，作为优选方式，步骤s4中，获得二维坐标的方法为：对原始图像使用圆形检测的方法，定位球体目标的边缘和中心坐标，得到同一球体目标在不同相机中的中心坐标，中心坐标即为二维坐标。
26.本发明所述的一种利用3d摄像头测量球体运动距离的系统，作为优选方式，步骤s5包括以下步骤：
27.s51、获得立体标定参数：每个相机采用相同标定物获得3d摄像头的立体标定参数；
28.s52、获得实际三维坐标：根据立体标定参数计算每个相机之间的变换矩阵，通过变换矩阵，求取球体目标中心点对应的三维坐标。
29.本发明所述的一种利用3d摄像头测量球体运动距离的系统，作为优选方式，立体标定参数包括：相对平移量和旋转量。
30.本发明所述的一种利用3d摄像头测量球体运动距离的系统，作为优选方式，步骤s6包括以下步骤：
31.s61、获得后一帧的目标位置：跟踪运动球体模块使用孪生候选区域生成网络，结合前一帧参考帧，跟踪得到后一帧的目标位置，孪生候选区域生成网络包含用于特征提取的孪生子网络和候选区域生成网络，孪生网络的上下支路的网络结构和参数完全相同；
32.s62、获得单一目标区域：分别输入参考帧和预测帧，再通过候选区域生成网络得
到预测的候选框，通过非极大值抑制去除重叠框，得到更新后球体目标的单一目标区域。
33.本发明所述的一种利用3d摄像头测量球体运动距离的系统，作为优选方式，步骤s7包括以下步骤：
34.s71、获得起始点二维坐标：获取球体目标在3d摄像头地面俯视图中的二维坐标，同时检测球体目标运动的起始点，计算起始点在3d摄像头地面俯视图上的二维坐标，得到起始点二维坐标；
35.s72、计算球体运动距离：依据起始点二维坐标和落在地面的地面点二维坐标，计算得到球体目标的运动距离。
36.本发明所述的一种利用3d摄像头测量球体运动距离的系统，作为优选方式，3d摄像头为双目相机或三目相机，支撑装置为三脚架。
37.球体运动距离测量系统包括双相机俯视融合模块、运动球区域检测模块、检测定位球体模块、球体三维测距模块、球体跟踪模块和计算运动距离模块。
38.双相机俯视融合模块融合相机的地面俯视图，合成包含双相机视场的地面俯视图。本模块首先变换左右相机的原始图像到地面视角的图像，通过特征点的匹配，合成两相机的俯视图。本模块包括原始图像到地面视角图像的映射，特征点的匹配，曝光均匀处理，融合区域的处理。
39.运动球区域检测模块检测单个相机的运动球区域。本模块分析视频中的运动球信息，得到图像中的运动球区域。
40.检测定位球体模块检测单个相机图像上的球体目标，筛选得到运动区域球体目标的大致位置。在球体目标的大致区域，检测球体目标的圆形边缘，定位圆形区域的二维圆心坐标。
41.球体三维测距模块利用双目测距的原理，根据检测定位模块得到的单个相机的二维圆心坐标、双目相机标定的位置参数，得到球体目标的三维坐标。该模块包括双目相机的标定过程，双目测距的计算过程。
42.球体跟踪模块完成球体目标检测后的跟踪过程。本模块根据检测得到的球体目标的图像坐标，计算跟踪目标的图像特征，计算视频后续帧的相关性，得到更新后的目标位置。
43.计算运动距离模块完成球体目标运动距离的计算。本模块首先定位球体运动的起点位置，得到起点位置在地面俯视图上的坐标，同时记录运动目标落在地面点在地面俯视图上的坐标，计算得到相应的球体目标的运动距离。
44.本系统的图像采集设备可以是任何同步的双相机系统，双相机安装在可以调节的三脚架上。双相机处在离地面较高的高度，能够拍摄测量区域内的完整图像。双相机系统采用固定的安装方式，系统运行时双相机的位置不应发生变动。
45.本发明具有以下优点：
46.本系统能耗低，测量直接，有较高的精度和适应性，使用方便。
附图说明
47.图1为一种利用3d摄像头测量球体运动距离的系统流程图；
48.图2为一种利用3d摄像头测量球体运动距离的系统步骤s2流程图；
49.图3为一种利用3d摄像头测量球体运动距离的系统步骤s4流程图；
50.图4为一种利用3d摄像头测量球体运动距离的系统步骤s5流程图；
51.图5为一种利用3d摄像头测量球体运动距离的系统步骤s6流程图；
52.图6为一种利用3d摄像头测量球体运动距离的系统步骤s7流程图；
53.图7为一种利用3d摄像头测量球体运动距离的系统实施例3结构示意图。
具体实施方式
54.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。
55.实施例1
56.如图1所示，一种利用3d摄像头测量球体运动距离的系统，包括设置在运动球区域一侧用于记录球体运动并传输图像和视频的3d摄像头、与3d摄像头连接用于将3d摄像头固定在运动球区域一侧的支撑装置和与3d摄像头相连用于接收3d摄像头的图像并进行图像处理的数据处理模块；
57.3d摄像头包括至少2个相机；
58.数据处理模块包括相机俯视融合模块、运动球区域检测模块、检测定位球体模块、球体三维测距模块、球体跟踪模块和计算运动距离模块；
59.相机俯视融合模块用于将每个相机的地面俯视图融合成包含所有相机视场的3d摄像头地面俯视图，运动球区域检测模块用于检测每个相机的背景区域和运动区域，检测定位球体模块用于检测每个相机的原始图像中的球体目标并筛选得到运动区域中球体目标的二维坐标，球体三维测距模块用于得到球体目标的三维坐标，球体跟踪模块用于完成球体目标的跟踪并得到球体目标区域，计算运动距离模块用于根据3d摄像头地面俯视图和球体目标区域计算得到球体目标的运动距离；
60.数据处理模块的处理方法包括以下步骤：
61.s1、获取每个相机记录球体运动的原始图像和视频序列；
62.s2、相机俯视融合模块将原始图像映射到地面视角形成地面俯视图并通过计算sift特征、特征匹配、配准、曝光补偿、拼接和融合后形成3d摄像头地面俯视图；
63.s3、运动球区域检测模块根据获得的每个相机的视频序列采用高斯混合模型的背景建模方法，得到背景区域和运动区域；
64.s4、检测定位球体模块针对每个原始图像采用基于特征金字塔的ssd网络结构进行球体目标的检测，获得球体目标大致区域和二维坐标；
65.s5、球体三维测距模块使用相同标定物标定3d摄像头的立体参数，并计算三维坐标；
66.s6、球体跟踪模块采用孪生候选区域生成网络，通过非极大值抑制去除重叠框，跟踪相机图像的运动球体，得到更新后球体目标的单一目标区域；
67.s7、计算运动距离模块获取球体目标在3d摄像头地面俯视图中的二维坐标，检测球体目标运动的起始点，计算起始点在3d摄像头地面俯视图上的二维坐标，依据起始点和落在地面点的坐标，得到球体目标的运动距离。
68.实施例2
69.如图1
‑
6所示，一种利用3d摄像头测量球体运动距离的系统，包括设置在运动球区域一侧用于记录球体运动并传输图像和视频的3d摄像头、与3d摄像头连接用于将3d摄像头固定在运动球区域一侧的支撑装置和与3d摄像头相连用于接收3d摄像头的图像并进行图像处理的数据处理模块；
70.3d摄像头包括至少2个相机；
71.数据处理模块包括相机俯视融合模块、运动球区域检测模块、检测定位球体模块、球体三维测距模块、球体跟踪模块和计算运动距离模块；
72.相机俯视融合模块用于将每个相机的地面俯视图融合成包含所有相机视场的3d摄像头地面俯视图，运动球区域检测模块用于检测每个相机的背景区域和运动区域，检测定位球体模块用于检测每个相机的原始图像中的球体目标并筛选得到运动区域中球体目标的二维坐标，球体三维测距模块用于得到球体目标的三维坐标，球体跟踪模块用于完成球体目标的跟踪并得到球体目标区域，计算运动距离模块用于根据3d摄像头地面俯视图和球体目标区域计算得到球体目标的运动距离；
73.数据处理模块的处理方法包括以下步骤：
74.s1、获取每个相机记录球体运动的原始图像和视频序列；
75.s2、相机俯视融合模块将原始图像映射到地面视角形成地面俯视图并通过计算sift特征、特征匹配、配准、曝光补偿、拼接和融合后形成3d摄像头地面俯视图；
76.s21、映射：相机俯视融合模块将获得的原始图像映射到地面视角形成地面俯视图；
77.s22、配准：在地面俯视图上计算sift特征，匹配每个相机的sift特征，计算地面俯视图的对应关系，完成每个相机的地面俯视图的配准；
78.s23、拼接：分别将各个地面俯视图进行曝光补偿，采用图割法寻找每个相机原始地面视角图像的拼接部分，在拼接处采用拉普拉斯金字塔的图像融合方法进行融合，得到3d摄像头地面俯视图；
79.s3、运动球区域检测模块根据获得的每个相机的视频序列采用高斯混合模型的背景建模方法，得到背景区域和运动区域；
80.s4、检测定位球体模块针对每个原始图像采用基于特征金字塔的ssd网络结构进行球体目标的检测，获得球体目标大致区域和二维坐标；
81.s41、获得球体目标大致区域：检测定位球体模块采用基于特征金字塔的ssd网络结构检测原始图像中的球体目标，筛选得到运动区域内球体目标大致区域；
82.s42、定位二维坐标：在球体目标大致区域内，检测定位球体模块检测球体目标的圆形边缘，定位圆形区域的圆心坐标得到二维坐标；
83.获得二维坐标的方法为：对原始图像使用圆形检测的方法，定位球体目标的边缘和中心坐标，得到同一球体目标在不同相机中的中心坐标，中心坐标即为二维坐标；
84.s5、球体三维测距模块使用相同标定物标定3d摄像头的立体参数，并计算三维坐标；
85.s51、获得立体标定参数：每个相机采用相同标定物获得3d摄像头的立体标定参数；立体标定参数包括：相对平移量和旋转量；
86.s52、获得实际三维坐标：根据立体标定参数计算每个相机之间的变换矩阵，通过
变换矩阵，求取球体目标中心点对应的三维坐标；
87.s6、球体跟踪模块采用孪生候选区域生成网络，通过非极大值抑制去除重叠框，跟踪相机图像的运动球体，得到更新后球体目标的单一目标区域；
88.s61、获得后一帧的目标位置：跟踪运动球体模块使用孪生候选区域生成网络，结合前一帧参考帧，跟踪得到后一帧的目标位置，孪生候选区域生成网络包含用于特征提取的孪生子网络和候选区域生成网络，孪生网络的上下支路的网络结构和参数完全相同；
89.s62、获得单一目标区域：分别输入参考帧和预测帧，再通过候选区域生成网络得到预测的候选框，通过非极大值抑制去除重叠框，得到更新后球体目标的单一目标区域；
90.s7、计算运动距离模块获取球体目标在3d摄像头地面俯视图中的二维坐标，检测球体目标运动的起始点，计算起始点在3d摄像头地面俯视图上的二维坐标，依据起始点和落在地面点的坐标，得到球体目标的运动距离；
91.s71、获得起始点二维坐标：获取球体目标在3d摄像头地面俯视图中的二维坐标，同时检测球体目标运动的起始点，计算起始点在3d摄像头地面俯视图上的二维坐标，得到起始点二维坐标；
92.s72、计算球体运动距离：依据起始点二维坐标和落在地面的地面点二维坐标，计算得到球体目标的运动距离；
93.3d摄像头为双目相机或三目相机，支撑装置为三脚架。
94.实施例3
95.如图1
‑
7所示，一种利用3d摄像头测量球体运动距离的系统，该系统包括一个双目图像获取设备，包括一个固定的双目相机和用于调节高度的三脚架。获取图像数据后，图像数据经过图1
‑
6数据处理后，得到相应的距离计算结果。
96.具体的实施中，图像采集设备获取同步的双目640p双目图像，双相机的视频采集频率为30hz。
97.双目相机获取同步的双目图像后，图像从原始图像映射到地面俯视图。两个相机得到各自的地面俯视图后，在地面俯视图上计算各自的sift特征，匹配两幅地面俯视图的特征，计算两幅俯视图的平面对应关系，完成两幅地面俯视图的配准。完后配准后，两幅图像进行曝光补偿，采用图割法寻找两幅俯视图的拼接部分，在两幅图像的拼接处采用拉普拉斯金字塔的图像融合方法进行融合。
98.单个相机采集的视频序列采用高斯混合模型的背景建模方法，得到背景区域和运动的前景区域。之后，单个相机的图像采用基于特征金字塔的ssd网络结构，进行球体目标的检测，得到球体目标的区域。图像的球体目标区域，采用圆形检测的方法，定位球体目标的边缘和中心坐标。两个相机的图像相同处理，得到同一球体目标在不同相机中的中心坐标。
99.球体三维测距模块包含相机的标定过程。双目相机采用相同标定物标定双目相机的立体参数，包括双目相机的相对平移量和旋转量。得到立体标定的参数后，计算相机之间的变换矩阵。利用相机之间的变换矩阵，求取目标中心点对应的实际三维坐标。
100.跟踪运动球体模块采用孪生候选区域生成网络，结合前一帧参考帧，跟踪得到后一帧的目标位置。该网络包含用于特征提取的孪生子网络和候选区域生成网络，孪生网络的上下支路的网络结构和参数完全相同，分别输入参考帧和预测帧，再通过候选区域生成
网络得到预测的候选框，通过非极大值抑制去除重叠框，得到较精确的单一目标区域。
101.计算球体运动距离模块获取球体在地面俯视图上的二维坐标，同时检测球体运动的起始点，计算起始点在地面俯视图上的二维坐标。依据起始点和落在地面点的坐标，得到球体运动的距离。
102.在此具体实施中，系统输出球体在实际环境中的运动距离，有较好的适应性。
103.以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。