专利名称：全自动视频回放系统的制作方法
技术领域：
本发明涉 及一种全自动视频回放系统。
背景技术：
传统的硬盘录像机主要是嵌入式的，不是应用于广播电视领域，而是作为监视器使用。属于低端商业等级的产品。硬盘损坏，完全没有预警，系统程序仍然在运行，事实上录像数据无法写到硬盘当中，从而造成数据丢失；即使发现问题现场也无法进行维修。所有的硬件都集成在一起，其中只要有一个模块发生故障，基本上就导致了整个系统无法正常运行，必须更换新机或发回厂家维修。由于受芯片的限制回放的效果极其不理想，在进行局域网和外网访问的时候效果更是不能让人接受，显示效果不理想，延时比较大。视频处理部分集成在一块板子上，如果需要扩展I路，唯一的办法只能是换机器，所以可扩展性差。对于现有的PC架构的硬盘录像机用户需要根据厂商提供的软件和卡自行提供PC机，然后进行安装配置。是一套用户通过各种板卡组装起来的系统，可靠性不高，稳定性差，也只适用于一般的商用环境，比如监控。对于某些可以用于体育赛事的视频回放机，需要进行回放时，也只能通过人为识别的方式进行回放，人为的选择一个回放点，将某一段视频重新进行播放。对于回放次数少的体育赛事还可以应付，但是对于高尔夫比赛完全靠人为控制回放，工作量相当大，需要有多个人实时专门负责视频回放。因此能够实现自动回放即模式识别，对整个视频回放机领域来说是个很大的突破，尤其是对高尔夫赛事而言，十分有必要。
发明内容
本发明针对以上问题的提出，而研制一种全自动视频回放系统。本发明采用的技术手段如下一种全自动视频回放方法，其特征在于包括如下步骤SI、读取一帧图像，判断该图像是否为灰度图像，不是则转化为灰度图像；S2、将步骤SI获取的灰度图像处理成为直方图，然后设定阈值，寻找亮点同时抛弃暗点；S3、对步骤S2处理后的图像进行二值图像处理；同时读取模板信息，即球的亮度
信息；S4、按照模板用区域分割法，分割图像，然后通过特征匹配和灰度匹配两种方法进行图像匹配；S5、判断是否匹配成功，如果匹配成功，则返回开始重新一帧的判断；S6、如果没有匹配成功则返回上一帧图像进行上述运算，进行图像匹配，并判断是否匹配成功，如果上一帧匹配成功，则说明球已进洞，则系统会选择此时画面向前N秒为开始播放画面，作为精彩画面进行自动播放。所述步骤S4还包括判断模板信息是否读取成功，如读取成功进行图像匹配操作，如不成功则退出识别模式进行手动模式的步骤。所述模板信息的制作步骤包括截取图像，判断是否为灰度图像，不是转化为灰度图像，统计这一帧灰度图像的灰度级概率，生成直方图，用最大类间方差法，确定阈值，通过阈值分割生成二值图像，通过SOBEL算子边缘检测法进行轮廓提取，并获取特征信息。一种利用上述述全自动视频回放方法进行自动视频回放的装置，其特征在于包括用于采集N路视频信号的摄像单元；连接摄像单元，用于对摄像单元采集的N路视频信号进行分配处理的视频分配器；连接视频分配器，对视频分配器发送过来的N路视频信号进行存储，以及按照上述视频回放方法进行视频回放处理的视频回放机；分别连接视频分配器和视频回放机，对视频分配器发送过来的视频信号或对视频回放机发送过来的视频信号，进行直播或按照上述视频回放方法进行视频回放，以及选择直播或回放哪路信号的切换单元；连接切换单元，对切换单元传输过来的视频信号进行显示，以及向切换单元发送切换指令的控制终端。所述切换单元和控制终端通过网络进行数据连接；所述网络为电视网或以太网；另外，所述网络还同用于观看视频节目的用户终端相连接。同现有技术相比本发明的优点是显而易见的，具体如下该系统同时支持手动模式及模式识别模式，自动回放，识别回放点；模式识别技术可实现全自动视频回放，无需人为操作；支持多路回放；支持远程网络控制；支持近距离蓝牙、红外摇控；以及可多台并行工作等优点。另外由于该系统结构简单，使用方便，而且成本低廉适于广泛推广。
图I为本发明视频直播回放工作示意图；图2全自动视频回放系统工作流程图；图3模板训练流程图。
具体实施例方式如图I至图3所示全自动视频回放的方法和系统，在各赛事的直播及转播回放，尤其是高尔夫赛事中，实现全自动回放。本系统基于PC式框架，可以轻易扩展存储硬盘，可扩充至6路，从不同角度同采集多种不同画面，从而可以选择更合适的画面进行多路回放。不会因为由于回放机只能采集少数几路视频，而错过精彩的画面。除了可以通过人为识别回放点，进行回放之外，提供了自动回放的功能，目前还没有应用于体育赛事直播及转播的此类自动回放功能。对于高尔夫比赛而言，对回放的次数需求很大，每一个选手的一轮比赛至少需要18次的回放，所以高尔夫比赛，实现自动回放，非常有必要。本案的自动回放即利用模式识别技术，通过数学模型算法并结合图像处理来判断球是否进洞。球进洞后，开始进行自动回放，把从推杆前十几秒至球进洞这个过程进行回放。这样就不需要占用一个专门的人力资源实时负责回放，而且人为回放需要一定的时间进行设置，找到回放点，比较不容易把握，浪费时间。如果因为出现问题而无法实现模式识别，系统可自动转为人为识别模式，即手动模式。两种回放模式并存保证了回放的实效性及回放质量。另外还提供了简单的视频剪辑功能，红外、蓝牙遥控功能，可多台并行工作。
如图I所示的全自动视频回放方法，包括如下步骤S1、读取一帧图像，判断该图像是否为灰度图像，不是则转化为灰度图像(目的是，降低信息量)；S2、将步骤SI获取的灰度图像处理成为直方图，然后设定阈值，寻找亮点同时抛弃暗点；通常阈值设定为192，大于192的亮点留下，小于192的暗点抛弃；S3、对步骤S2处理后的图像进行二值图像处理；同时读取模板信息，即球的亮度信息(包括灰度值的大小，亮度频率)；S4、按照模板用区域分割法，分割图像，然后通过特征匹配和灰度匹配两种方法进行图像匹配(，即特征值提取，其中匹配过程采用隔行扫描，进行匹配)；S5、判断是否匹配成功(，即是否捕捉到球)，如果匹配成功，则返回 开始重新一帧的判断；S6、如果没有匹配成功则返回上一帧图像进行上述运算，进行图像匹配，并判断是否匹配成功，如果上一帧匹配成功，则说明球已进洞，则系统会选择此时画面向前N秒为开始播放画面，作为精彩画面进行自动播放。所述步骤S4还包括判断模板信息是否读取成功，如读取成功进行图像匹配操作，如不成功则退出识别模式进行手动模式的步骤。所述模板信息的制作步骤包括截取图像，判断是否为灰度图像，不是转化为灰度图像，统计这一帧灰度图像的灰度级概率，生成直方图，用最大类间方差法，确定阈值，通过阈值分割生成二值图像，通过SOBEL算子边缘检测法进行轮廓提取，并获取特征信息。图2为视频回放系统工作流程图，从视频分配器中获取的信息中，读取一帧图像，通过读取文件头来判断此帧图像是否为灰度图像，若不是灰度图像，则通过提取G分量，使其转化为灰度图像。统计这一帧灰度图像中，灰度级概率，生成直方图，用最大类间方差法，确定阈值，通过阈值分割生成二值图像，读取XML格式的模板信息，判断信息是否读取成功，若读取模板信息失败，则退出模式识别，进入到手动模式。若读取模板信息成功，则按照模板用区域分割法，分割图像，然后通过特征匹配和灰度匹配两种方法进行图像匹配，如果捕捉到球了，匹配成功，待球进洞后自动开始回放，如果此帧图像匹配不成功，即没有捕捉到球，则看上一帧图像是否匹配成功，如果上一帧匹配成功，说明球已经进洞，系统进入自动回放模式，如上一帧未匹配成功，则读取当前帧的下一帧，重复上述操作。图3模板训练流程图，截取一帧图像，通过读取文件头来判断此帧图像是否为灰度图像，若不是灰度图像，则通过提取G分量，使其转化为灰度图像。统计这一帧灰度图像的灰度级概率，生成直方图。用最大类间方差法，确定阈值，通过阈值分割生成二值图像，通过SOBEL算子边缘检测法进行轮廓提取，并获取特征信息，即获取高尔夫球的特征信息，包括形状参数=F=CZA3IA (C为球的周长A为球的面积)，颜色特征(区域均值)，生成模板信息，并保存(可保存为XML文件)。参照模版通过2种方式获得已有的一张分辨率在100*100以下的高尔夫球(或其他球类)，也可以通过现场获得，现场获得是指通过摄像机回传的视频进行截取图片的方式。获得参考模版后将其变化为灰度图像，方式为Y=G (其中Y为变换后灰度值，G为绿分量)，之后统计各灰度的个数即生成灰度直方图，运动球类基本都以一种颜色为主体，在主背景差异很大，灰度图呈现单峰状态，正好使用最大类间方差法来确定阈值；该阈值也可以通过实际使用经验来确定。在特征提取上，本方案主要从灰度特征和形状特征来进行提取。灰度属于色彩特征的提取，前面提到球体都是以一种颜色为主体，颜色分布有规律并且很均匀，且球体是不受图像旋转和平移变化的影响，因此使用简单的灰度信息提取即可使用本方案，提取的特征包括灰度均值，相邻两点灰度差。形状特征的提取采用Sobel边缘检测的方法实现轮廓特征的提取，匹配采用SDA方法源图像匹配点为中心，定义一个窗口 W，统计其窗口的灰度值(该值是二值化后的)的和，然后在源图像中逐步计算其与模版的灰度差值的和，最后搜索到的差值最小的区域的中心像素即为匹配原点。归一化积相关灰度匹配Y(i，j，m，n) = |S(m，n) — S(i，j) — T(m，n) + T(i, j)]其中s、模板对应原图(子图)的灰度平均值、模板的灰度平均值和j原
图每个点，是每个点s(i，j)表示原图的平均灰度，s(m，n)在原图片中同模板对应匹配位
置的区域的灰度和，T(m，n)模板灰度图像的总和仰模板或原图片中同模板对应匹配位置的区域的，nM和N是丰旲板图像闻和宽，m G (0, M), n G (0, N)； j)，模板的平均灰度，对方法的解释1.定义绝对误差；2.取一个不变阈值；
3.扫面原图每个像素点待匹配点对应的模板子图，根据I中的公式据算绝对误差，当累加值超过阈值时停止累加，停止此模板子图的扫描，记录带匹配点的位置和累加次数；4.直到扫描完全图；5.累加次数最少的像素点就为最佳匹配点。图I为本发明视频直播回放工作示意图，摄像机采集到N路(例如6路)视频信号的摄像单元I ;连接摄像单元I，用于对摄像单元I采集的N路(例如6路)视频信号进行分配处理的视频分配器2 ;连接视频分配器2，对视频分配器2发送过来的N路视频信号进行存储的，以及按照上述视频回放方法进行视频回放处理的视频回放机3 ;分别连接视频分配器2和视频回放机3，对视频分配器2发送过来的视频信号或对视频回放机3发送过来的视频信号，进行直播或回放，以及进行直播或回放哪路信号进行选择的切换单元4 ;连接切换单元4,对切换单元4传输过来的视频信号进行显示，以及向切换单元4发送切换指令的控制终端6。所述切换单元4和控制终端6通过网络5进行数据连接；所述网络5为电视网或以太网；另外，所述网络还同用于观看视频节目的用户终端相连接。摄像单元I采集到的N路视频信号(例如6路，具体多少路可根据实际需要进行调整)，直接传送给视频分配器，再由视频分配器2分别传送给切换单元4及视频回放机3各路视频信号，传送给切换单元4的信号可以直接进行播放。通过网络5传送给用户终端7 (电视终端或网络用户终端)进行播放。在视频回放机3当中的视频信号经过处理后，自动选择需要回放的视频信息部分，然后将处理好的N路信号传送到切换单元4，通过切换台决定哪路回放，最后通过电视信号或网络信号回放。以上所述，仅为本发明较佳的具体实施方式
，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。
权利要求
1.一种全自动视频回放方法，其特征在于包括如下步骤 51、读取一帧图像，判断该图像是否为灰度图像，不是则转化为灰度图像； 52、将步骤SI获取的灰度图像处理成为直方图，然后设定阈值，寻找亮点同时抛弃暗占. 53、对步骤S2处理后的图像进行二值图像处理；同时读取模板信息，即球的亮度信息； 54、按照模板用区域分割法，分割图像，然后通过特征匹配和灰度匹配两种方法进行图像匹配； 55、判断是否匹配成功，如果匹配成功，则返回开始重新一帧的判断； 56、如果没有匹配成功则返回上一帧图像进行上述运算，进行图像匹配，并判断是否匹配成功，如果上一帧匹配成功，则说明球已进洞，则系统会选择此时画面向前N秒为开始播放画面，作为精彩画面进行自动播放。
2.根据权利要求I所述的一种全自动视频回放方法，其特征在于所述步骤S4还包括判断模板信息是否读取成功，如读取成功进行图像匹配操作，如不成功则退出识别模式进行手动模式的步骤。
3.根据权利要求I所述的一种全自动视频回放方法，其特征在于所述模板信息的制作步骤包括截取图像，判断是否为灰度图像，不是转化为灰度图像，统计这一帧灰度图像的灰度级概率，生成直方图，用最大类间方差法，确定阈值，通过阈值分割生成二值图像，通过SOBEL算子边缘检测法进行轮廓提取，并获取特征信息。
4.一种利用权利要求I所述全自动视频回放方法进行自动视频回放的装置，其特征在于包括 用于采集N路视频信号的摄像单元(I)； 连接摄像单元(I )，用于对摄像单元(I)采集的N路视频信号进行分配处理的视频分配器⑵； 连接视频分配器(2)，对视频分配器(2)发送过来的N路视频信号进行存储，以及按照权利要求I所述视频回放方法进行视频回放处理的视频回放机(3)； 分别连接视频分配器(2)和视频回放机(3)，对视频分配器(2)发送过来的视频信号或对视频回放机(3)发送过来的视频信号，进行直播或回放，以及进行直播或回放哪路信号进行选择的切换单元(4)； 连接切换单元(4),对切换单元(4)传输过来的视频信号进行显示，以及向切换单元(4)发送切换指令的控制终端(6)。
5.根据权利要求4所述的一种全自动视频回放系统，其特征在于所述切换单元(4)和控制终端(6)通过网络(5)进行数据连接；所述网络(5)为电视网或以太网；另外，所述网络(5 )还同用于观看视频节目的用户终端(7 )相连接。
全文摘要
本发明公开了一种全自动视频回放系统，包括用于采集N路视频信号的摄像单元；连接摄像单元，用于对摄像单元采集的N路视频信号进行分配处理的视频分配器；连接视频分配器，对视频分配器发送过来的N路视频信号进行存储，以及对读取的图像进行匹配、判断是否需作为精彩画面进行自动播放的视频回放机；分别连接视频分配器和视频回放机，对视频分配器发送过来的视频信号或对视频回放机发送过来的视频信号，进行直播或回放，以及进行直播或回放哪路信号进行选择的切换单元；连接切换单元，对切换单元传输过来的视频信号进行显示，以及向切换单元发送切换指令的终端。该系统同时支持手动模式及模式识别模式，自动回放，识别回放点。
文档编号H04N5/268GK102708903SQ20121019678
公开日2012年10月3日 申请日期2012年6月14日 优先权日2012年6月14日
发明者潘重光 申请人:大连三通科技发展有限公司