专利名称：一种球类检测的方法及系统的制作方法
技术领域：
本发明涉及计算机视觉的技术领域，特别是涉及一种球类检测的方法及一种球类 检测的系统。
背景技术：
基于多媒体技术的体育视频分析研究主要服务于两个大的应用方向其中之一是 基于内容的分析和检索系统，基于运动摄像机下拍摄的图片的目标检测技术是该系统的关 键技术之一；二是基于视频监控的辅助裁判和技战术分析的计算机视觉系统。现有技术中，对于球类比赛的计算机视觉系统的研究一般是基于网球的“即时回 放系统”，如hawk-eye的网球视觉系统只是提及用简单图像处理技术进行检测网球 ’另一 种Lucentvision的网球视觉系统，是先联合利用前后帧相减提取运动的区域，以及在当前 帧中球类的预测灰度值两者“与”的结果作为目标的候选区域；然后利用简单的球类特征比 如尺寸、形状(长宽比)进行滤波，最后得到检测目标。然而，这种现有技术的球类检测方法，由于其采用简单的图像分析技术，或采用前 后帧差提取候选目标，在当前帧利用预设灰度值对候选目标定位，定位不是很准确，另外无 法适用于运动摄像机拍摄的图像，尤其对于乒乓球的球类检测而言，由于运动员在发球时 乒乓球会放在运动员的手掌里，当球放在手掌里球是没有运动信息的，采用现有技术的球 类检测方法还会出现无法把球完全检测出来的问题。因此，目前需要本领域技术人员迫切解决的一个技术问题就是如何能够创新地 提出一种球类检测机制，以在适用于静止摄像机拍摄模式的基础上，进一步适用于运动摄 像机拍摄模式，并有效提高球类目标的检测精度。
发明内容
本发明所要解决的技术问题是提供一种球类检测的方法及系统，以在适用于静止 摄像机拍摄模式的基础上，进一步适用于运动摄像机拍摄模式，并有效提高球类目标的检 测精度。为了解决上述技术问题，本发明实施例公开了一种球类检测的方法，包括从球图像样本中提取目标球的参考颜色信息；采用预置的粗搜索颜色度量阈值，度量所述目标球的参考色与待检测图像的颜色 距离，并依据所述颜色距离度量结果在待检测图像中确定候选感兴趣区域，所述候选感兴 趣区域中包括聚类因子；采用预置的精搜索颜色度量阈值，度量所述目标球的参考色与待检测图像中各候 选感兴趣区域的颜色距离，并依据所述颜色距离度量结果在待检测图像中重新确定所述候 选感兴趣区域中的聚类因子；提取所述候选感兴趣区域的目标球特征，并将所述目标球特征值与特征参考值进 行匹配，获得目标球区域。
优选的，所述从图像样本中提取目标球的参考颜色信息的步骤进一步包括针对球图像样本的每个颜色通道构建一维平均颜色直方图；确定出每个一维平均直方图的峰值索引；依据所述峰值索引定义区间，所述区间的边界小于峰值索引的像素值；依据所述区间计算每个颜色通道内的平均颜色，作为目标球的参考颜色信息。优选的，所述依据颜色距离度量结果在待检测图像中确定候选感兴趣区域的步骤 进一步包括采用所述颜色距离度量结果遍历待检测图像中的像素点，获得作为聚类因子的符 合阈值范围的像素点；所述聚类因子按照其在待检测图像中的位置组成聚类区域blob ；依据所述聚类区域blob的大小及位置信息确定候选感兴趣区域。优选的，所述依据颜色距离度量结果在待检测图像中重新确定所述候选感兴趣区 域中的聚类因子的步骤进一步包括采用所述颜色距离度量结果遍历待检测图像中候选感兴趣区域中的像素点，获得 作为重新确定的聚类因子的符合阈值范围的像素点。优选的，所述目标球特征包括面积信息、区域长轴信息、区域短轴信息、周长信息、 离心率信息、圆度信息及圆的对称性信息。优选的，所述将目标球特征值与特征参考值进行匹配获得目标球区域的步骤进一 步包括若所述目标球特征值均满足相应的特征参考值，则判定当前候选感兴趣区域为目 标球区域；和/ 或，若所述面积信息、离心率信息、圆度信息及圆的对称性信息满足相应的特征参考 值，则判定当前候选感兴趣区域为目标球区域；和/ 或，若一帧图像上出现两个以上的候选感兴趣区域，则判定圆度值最大的候选感兴趣 区域为目标球区域。优选的，所述的方法，还包括在起始帧或每N帧启动一次目标球的检测。本发明实施例还公开了一种球类检测的系统，包括参考色统计模块，用于从球图像样本中提取目标球的参考颜色信息；粗搜索模块，用于采用预置的粗搜索颜色度量阈值，度量所述目标球的参考色与 待检测图像的颜色距离，并依据所述颜色距离度量结果在待检测图像中确定候选感兴趣区 域，所述候选感兴趣区域中包括聚类因子；精搜索模块，用于采用预置的精搜索颜色度量阈值，度量所述目标球的参考色与 待检测图像中各候选感兴趣区域的颜色距离，并依据所述颜色距离度量结果在待检测图像 中重新确定所述候选感兴趣区域中的聚类因子；目标验证模块，用于提取所述候选感兴趣区域的目标球特征，并将所述目标球特 征值与特征参考值进行匹配，获得目标球区域。
5
优选的，所述参考色统计模块进一步包括直方图构建子模块，用于针对球图像样本的每个颜色通道构建一维平均颜色直方 图；峰值索引确定子模块，用于确定出每个一维平均直方图的峰值索引；区间定义子模块，用于依据所述峰值索引定义区间，所述区间的边界小于峰值索 引的像素值；参考色计算子模块，用于依据所述区间计算每个颜色通道内的平均颜色，作为目 标球的参考颜色信息。优选的，所述粗搜索模块进一步包括像素点遍历子模块，用于采用所述颜色距离度量结果遍历待检测图像中的像素 点，获得作为聚类因子的符合阈值范围的像素点；聚类子模块，用于所述聚类因子按照其在待检测图像中的位置组成聚类区域 blob ；ROI确定子模块，用于依据所述聚类区域blob的大小及位置信息确定候选感兴趣 区域。优选的，所述精搜索模块进一步包括目标精确定位子模块，用于采用所述颜色距离度量结果遍历待检测图像中候选感 兴趣区域中的像素点，获得作为重新确定的聚类因子的符合阈值范围的像素点。优选的，所述目标球特征包括面积信息、区域长轴信息、区域短轴信息、周长信息、 离心率信息、圆度信息及圆的对称性信息。优选的，所述目标验证模块进一步包括第一校验子模块，用于在所述目标球特征值均满足相应的特征参考值时，判定当 前候选感兴趣区域为目标球区域；禾口/ 或，第二校验子模块，用于在所述面积信息、离心率信息、圆度信息及圆的对称性信息 满足相应的特征参考值时，判定当前候选感兴趣区域为目标球区域；和/ 或，第三校验子模块，用于在一帧图像上出现两个以上的候选感兴趣区域，判定圆度 值最大的候选感兴趣区域为目标球区域。与现有技术相比，本发明具有以下优点首先，本发明采用由粗到精搜索感兴趣区域的方法，通过粗搜索提取全部可能含 有目标的感兴趣区域，然后在可能含有目标的感兴趣区域里进行精搜索，以使目标的细节 显示完全，所以目标定位的精度高；并且，感兴趣区域是根据目标的大小自适应确定的，从 而可以恰到好处地包围目标又不至于包围特别多无关的区域。其次，本发明采用联合面积、离心率、圆度、对称性四种球类特征评估目标，可以更 加有效的识别出球类目标，从而有效提高了球类目标的检测精度。再者，本发明还可以在线自适应调整球的参考色，使之适应光照的变化，更准确的 度量目标与参考色之间的距离，使目标颜色聚类更完全，定位更准确。最后，本发明还可以统计球的参考颜色，使得检测算法具有学习球类明显颜色的统计特性，使得这些统计适应成像条件的变化，并且可以检测不同体育项目的球类，无论比 赛中用什么颜色的球。此外，由于本发明不容易受光照、背景影响，使用范围广，还能进一步处理运动员 发球时放在手掌里的球，以及，球快速运动时成像不是特别圆的球。
图1是本发明的一种球类检测的方法实施例的流程图；图加是作为本发明球类检测示例的一帧乒乓球比赛画面的原始图像；图2b是对图加所示的图像进行粗搜索后获得聚类blob的显示示意图；图2c是基于图2b所示的聚类blob自适应确定ROI的显示示意图；图2d是基于图2c所示的ROI进一步定位目标后的显示示意图；图2e是对图2d所示的ROI进行目标评估后获得的最终检测目标结果的显示示意 图；图3是本发明的一种自适应确定ROI的计算方法示意图；图4是本发明的一种球类检测的系统实施例的结构框图。
具体实施例方式为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实 施方式对本发明作进一步详细的说明。参考图1，示出了本发明的一种球类检测的方法实施例的流程图，具体可以包括以 下步骤步骤101、从球图像样本中提取目标球的参考颜色信息；步骤102、采用预置的粗搜索颜色度量阈值，度量所述目标球的参考色与待检测图 像的颜色距离，并依据所述颜色距离度量结果在待检测图像中确定候选感兴趣区域，所述 候选感兴趣区域中包括聚类因子；步骤103、采用预置的精搜索颜色度量阈值，度量所述目标球的参考色与待检测图 像中各候选感兴趣区域的颜色距离，并依据所述颜色距离度量结果在待检测图像中重新确 定所述候选感兴趣区域中的聚类因子；步骤104、提取所述候选感兴趣区域的目标球特征，并将所述目标球特征值与特征 参考值进行匹配，获得目标球区域。为使本领域技术人员更好地理解本发明，以下以体育赛事转播中球类比赛的视觉 分析系统为例，对球类检测的关键技术及原理简单说明对于图像平面球类检测技术而言。基于视觉的目标检测方案一般分为两个基本 步骤一是假设产生阶段(Hypothesis Generation, HG)，也叫候选区域确定阶段，经过图 像分割，会产生可能包含潜在球类的感兴趣区域(Region Of Interest，R0I)，并准确定 位潜在球类目标在ROI中的位置，即假定潜在目标在图像中的定位；二是假设确认阶段 (HypothesisVerification, HV)，即对上一阶段产生的候选区域进行确认，判断是否是目 标，从而检测出目标。结合上述原理可以得知，本发明实施例中所述步骤101-步骤103为假设产生阶段，步骤104为假设确认阶段。本发明在假设产生阶段采用由粗到精(coarse-to-fine)的 球类候选区域检测方法，在假设确认阶段采用尺寸、离心率、圆度、对称性等球类特征进行 滤波，该球类检测方法即适用于静止摄像机拍摄的图像，也适用于运动摄像机拍摄的图像。在本发明的一种优选实施例中，所述步骤101可以进一步包括以下子步骤子步骤Al、针对球图像样本的每个颜色通道构建一维平均颜色直方图；子步骤A2、确定出每个一维平均直方图的峰值索引；子步骤A3、依据所述峰值索引定义区间，所述区间的边界小于峰值索引的像素 值；子步骤A4、依据所述区间计算每个颜色通道内的平均颜色，作为目标球的参考颜
色fe息。即在本发明实施例中，具体可以采用统计的方法来估计典型球的颜色作为目标 球的参考色。对于要提取颜色的球图片样本集，每个颜色通道使用所有像素构建一维平 均颜色直方图，并确定出每一个一维平均直方图的峰值索引，在峰值索引附近定义一个区 间[imin，imax]，区间的边界要比峰值索引少的像素，其中，η可由本领域技术人员视具体 情况取任意值。在确定了区间边界后，对于每个颜色通道就可以计算出区间内的平均颜色 为Minitial = [rM, gM, bM]其中，i^gA作为当前值或初始值。在实际中，最简单地用颜色检测球的方法就是利用目标球的参考颜色去估计一 个固定的阈值。然而，由于球的颜色受光照影响通常不是均勻的；另外，在不同的位置，球的 亮度是多变的；并且，在不同比赛场景中，场景的亮度比均值或亮或暗。显然这种由参考色 估计的固定阈值不再合适，在转变图像到二值图像时，将会导致过分割(球部分丢失)或者 弱分割(很多无关目标出现。)为了解决这个问题，本发明提出了一种由粗到精的两阶段阈值的搜索方法。采用 这种方法，在具体实现中，需要先依据目标球的参考颜色信息生成粗搜索颜色度量阈值和 精搜索颜色度量阈值，这两个阈值在实际中可以采用试探法来进行估算，由于具体应用场 景存在各种差异，故本发明并不要求这两个阈值限制在某一范围内。具体而言，在粗搜索阶段，可以采用一个范围较小的阈值，如30 —-50之间的任一 值，目的是为了仅仅留下那些与球有相似颜色的候选目标，而其余的均被删除。在本发明的一种优选实施例中，所述步骤102具体可以包括如下子步骤子步骤B 1、采用所述颜色距离度量结果遍历待检测图像中的像素点，获得作为聚 类因子的符合阈值范围的像素点；作为一种示例，所述遍历像素点进行颜色距离度量的方法可以采用欧几里得度量 (L2范数)，具体可以通过以下公式计算
权利要求
1.一种球类检测的方法，其特征在于，包括 从球图像样本中提取目标球的参考颜色信息；采用预置的粗搜索颜色度量阈值，度量所述目标球的参考色与待检测图像的颜色距 离，并依据所述颜色距离度量结果在待检测图像中确定候选感兴趣区域，所述候选感兴趣 区域中包括聚类因子；采用预置的精搜索颜色度量阈值，度量所述目标球的参考色与待检测图像中各候选感 兴趣区域的颜色距离，并依据所述颜色距离度量结果在待检测图像中重新确定所述候选感 兴趣区域中的聚类因子；提取所述候选感兴趣区域的目标球特征，并将所述目标球特征值与特征参考值进行匹 配，获得目标球区域。
2.如权利要求1所述的方法，其特征在于，所述从图像样本中提取目标球的参考颜色 信息的步骤进一步包括针对球图像样本的每个颜色通道构建一维平均颜色直方图； 确定出每个一维平均直方图的峰值索引；依据所述峰值索引定义区间，所述区间的边界小于峰值索引的像素值； 依据所述区间计算每个颜色通道内的平均颜色，作为目标球的参考颜色信息。
3.如权利要求1所述的方法，其特征在于，所述依据颜色距离度量结果在待检测图像 中确定候选感兴趣区域的步骤进一步包括采用所述颜色距离度量结果遍历待检测图像中的像素点，获得作为聚类因子的符合阈 值范围的像素点；所述聚类因子按照其在待检测图像中的位置组成聚类区域blob ； 依据所述聚类区域blob的大小及位置信息确定候选感兴趣区域。
4.如权利要求3所述的方法，其特征在于，所述依据颜色距离度量结果在待检测图像 中重新确定所述候选感兴趣区域中的聚类因子的步骤进一步包括采用所述颜色距离度量结果遍历待检测图像中候选感兴趣区域中的像素点，获得作为 重新确定的聚类因子的符合阈值范围的像素点。
5.如权利要求1所述的方法，其特征在于，所述目标球特征包括面积信息、区域长轴信 息、区域短轴信息、周长信息、离心率信息、圆度信息及圆的对称性信息。
6.如权利要求5所述的方法，其特征在于，所述将目标球特征值与特征参考值进行匹 配获得目标球区域的步骤进一步包括若所述目标球特征值均满足相应的特征参考值，则判定当前候选感兴趣区域为目标球 区域；和/或，若所述面积信息、离心率信息、圆度信息及圆的对称性信息满足相应的特征参考值，则 判定当前候选感兴趣区域为目标球区域； 和/或，若一帧图像上出现两个以上的候选感兴趣区域，则判定圆度值最大的候选感兴趣区域 为目标球区域。
7.如权利要求1所述的方法，其特征在于，还包括在起始帧或每N帧启动一次目标球的检测。
8.一种球类检测的系统，其特征在于，包括参考色统计模块，用于从球图像样本中提取目标球的参考颜色信息； 粗搜索模块，用于采用预置的粗搜索颜色度量阈值，度量所述目标球的参考色与待检 测图像的颜色距离，并依据所述颜色距离度量结果在待检测图像中确定候选感兴趣区域， 所述候选感兴趣区域中包括聚类因子；精搜索模块，用于采用预置的精搜索颜色度量阈值，度量所述目标球的参考色与待检 测图像中各候选感兴趣区域的颜色距离，并依据所述颜色距离度量结果在待检测图像中重 新确定所述候选感兴趣区域中的聚类因子；目标验证模块，用于提取所述候选感兴趣区域的目标球特征，并将所述目标球特征值 与特征参考值进行匹配，获得目标球区域。
9.如权利要求8所述的系统，其特征在于，所述参考色统计模块进一步包括 直方图构建子模块，用于针对球图像样本的每个颜色通道构建一维平均颜色直方图； 峰值索引确定子模块，用于确定出每个一维平均直方图的峰值索引；区间定义子模块，用于依据所述峰值索引定义区间，所述区间的边界小于峰值索引的 像素值；参考色计算子模块，用于依据所述区间计算每个颜色通道内的平均颜色，作为目标球 的参考颜色信息。
10.如权利要求8所述的系统，其特征在于，所述粗搜索模块进一步包括像素点遍历子模块，用于采用所述颜色距离度量结果遍历待检测图像中的像素点，获 得作为聚类因子的符合阈值范围的像素点；聚类子模块，用于所述聚类因子按照其在待检测图像中的位置组成聚类区域blob; ROI确定子模块，用于依据所述聚类区域blob的大小及位置信息确定候选感兴趣区域。
11.如权利要求10所述的系统，其特征在于，所述精搜索模块进一步包括目标精确定位子模块，用于采用所述颜色距离度量结果遍历待检测图像中候选感兴趣 区域中的像素点，获得作为重新确定的聚类因子的符合阈值范围的像素点。
12.如权利要求8所述的系统，其特征在于，所述目标球特征包括面积信息、区域长轴 信息、区域短轴信息、周长信息、离心率信息、圆度信息及圆的对称性信息。
13.如权利要求12所述的系统，其特征在于，所述目标验证模块进一步包括第一校验子模块，用于在所述目标球特征值均满足相应的特征参考值时，判定当前候 选感兴趣区域为目标球区域； 和/或，第二校验子模块，用于在所述面积信息、离心率信息、圆度信息及圆的对称性信息满足 相应的特征参考值时，判定当前候选感兴趣区域为目标球区域； 和/或，第三校验子模块，用于在一帧图像上出现两个以上的候选感兴趣区域，判定圆度值最 大的候选感兴趣区域为目标球区域。
全文摘要
本发明公开了一种球类检测的方法，包括从球图像样本中提取目标球的参考颜色信息；采用预置的粗搜索颜色度量阈值，度量所述目标球的参考色与待检测图像的颜色距离，并依据所述颜色距离度量结果在待检测图像中确定候选感兴趣区域，所述候选感兴趣区域中包括聚类因子；采用预置的精搜索颜色度量阈值，度量所述目标球的参考色与待检测图像中各候选感兴趣区域的颜色距离，并依据所述颜色距离度量结果在待检测图像中重新确定所述候选感兴趣区域中的聚类因子；提取所述候选感兴趣区域的目标球特征，并将所述目标球特征值与特征参考值进行匹配，获得目标球区域。本发明可以在适用于静止摄像机拍摄模式的基础上，进一步适用于运动摄像机拍摄模式，并有效提高球类目标的检测精度。
文档编号H04N5/225GK102148919SQ20101011006
公开日2011年8月10日 申请日期2010年2月9日 优先权日2010年2月9日
发明者付萍 申请人:新奥特(北京)视频技术有限公司