场面区间分割装置的制作方法

专利名称：场面区间分割装置的制作方法
技术领域：
本发明涉及与运动图像一 同提示图像的结构信息的技术。
背景技术：
以往，已知例如可以将足球比赛的运动图像分割为比赛中区间和中断区
间，对比赛中区间的图像进行摘要(digest)视听的技术(参照专利文献l)。 在专利文献1中，从运动图像求出背景色的比率，推断出拍摄方式使得其比 率大的图像为广角(wide),小的图像为放大(zoom),而且，根据前后的图 像求出平均运动量。此外，拍摄方式为广角中心且平均运动量较多的地方判 定为比赛中区间，除此之外的地方判定为中断区间。由此，可摘要^f见听比赛 中区间的图像。此外，已知识别在运动图像中拍摄的球，并根据球的移动来 确定比赛的内容的技术(参照非专利文献l)。在非专利文献l中，识别在运 动图像中拍摄的球，根据球的移动提取变化点，将在该时刻最接近球的选手 确定为进行了该动作的主体者，并根据球和主体者的位置关系或者在其之后 的球的移动方向等来确定主体者进行的比赛内容，例如带球、防守、传球、 射门、解围(clear)等。此外，在非专利文献1中，也对场地信息进4亍管理， 可通过J求位置和场地信息，判定5求是否在场地内，并分割为比赛中区间和中 断区间。因此，可摘要视听比赛中区间的图像。 专利文献l:特开2004-40750号公才艮
非专利文献1:廿、乂力一l二fc、l于S選手(D:^l^—判定慶應義墊大学理工学部 情報工学科長瀬琢也小沢慎

发明内容
本发明要解决的课题
但是，在上述专利文献l中，在拍摄方式中频繁使用放大的情况下，即 使实际上是在比赛中区间，但有可能误判定为中断区间。此外，在频繁使用 剪切(cut)的图像的情况下，前后的图像的变化较大，被判定为平均运动量
较多，即使实际上是在中断区间，但有可能误判定为比赛中区间。这样，在 上述专利文献1中，即使是利用摄像机的拍摄方式或由前后的图像所求出的 平均运动量，也误判定比赛中区间和中断区间，不能正确地进行摘要视听。
另一方面，在上述非专利文献l中具有以下问题，球的位置在场地外时， 可根据球位置和场地信息，正确地确定中断区间，但是^t的位置在场地内时， 由于犯M^等导致发生了中断区间的情况下，不能正确地确定中断区间。即， 即使在中断区间，犯规之后选手所进行的带球或穿过等也被判断为比赛中区 间。
而且，在例如足球比赛的运动图像，可将利用者最想视听的场面进行摘 要视听，因此要求将比赛中区间分割为场面区间进行管理。为此，首先进行 将运动图像分割为进行比赛的比赛中区间、和比赛被中断的中断区间的处理， 之后，通过对于比赛中区间的图像在攻守的转换或攻击的中断的时刻进行分 割，从而可将一连串的攻击作为 一个场面区间来分割并管理。
但是，在上述专利文献1和非专利文献1中存在以下问题，即使在比赛 中区间存在攻守的转换或攻击的中断，也不能正确地识别它们，因此不能将 一连串的攻击作为 一个场面区间来分割，不能将比赛中区间分割为每个场面 区间。假设在非专利文献1中，在存在攻守的转换或攻击的中断的情况下， 即使作为场面区间来确定并分割，这些也仅是在主体者的所属团队在球轨迹 变化点上存在变更的地方上分割的区间。因此，在混战状态下，选手之间互 相争夺的情况下，在一连串的攻击中主体者所属的团队频繁地切换，在每次 存在该变更时，被作为场面区间分割， 一连串的攻击场面由多个场面区间来 构成，被分割为碎块。
本发明的目的在于，提供一种场面区间分割装置，即使在运动图像的拍 摄方式中频繁使用放大或剪切等的情况下或者球在场地内时发生犯规的情况 下，也能正确地确定中断区间，而且，在比赛中区间中存在混战状态下，不 会在每次主体者切换时分割场面区间，可将一连串的攻击作为 一个场面区间 来正确地管理，另一方面，可在通过解围而结束了一连串的攻击的情况下， 分割并管理场面区间。
为解决本发明的方法
技术领域：
本发明的场面区间分割装置，其特征在于，它包括球轨迹信息存储部 分，其管理球轨迹信息，该球轨迹信息对运动图像中拍摄的球的每个轨迹变
化确定了主体者；球停止一定时间点提取部分，使用所述球轨迹信息，提取 球的移动停止了一定时间的时刻；球最近点提取部分，使用所述球轨迹信息， 提取最接近所述停止了一定时间的球位置的时刻中断区间确定部分，通过 所述球轨迹信息存储部分取得球轨迹信息，根据所述球停止一定时间点提取 部分和所述球最近点提取部分所提取的各时刻，确定中断区间；以及场面区 间分割部分，根据所述确定的中断区间，提取比赛中区间的球轨迹信息，并 分割为每个场面区间。 发明效果
如上，根据本发明的场面区间分割装置，即使在运动图像的拍摄方式中 频繁使用放大或剪切等的情况下或者球在场地内时发生犯规的情况下，也能 正确地确定中断区间，而且，在比赛中区间中存在混战状态下，不会在每次 主体者切换时分割场面区间，可将一连串的攻击作为 一个场面区间来正确地 管理，另一方面，可在通过解围而结束了一连串的攻击的情况下，分割并管 理场面区间。


图1是表示具有本发明的一个实施方式的场面区间分割装置的运动图像 发送装置的内部结构方框图。
图2是表示取得球轨迹信息的处理步骤的流程图。 图3是表示分割场面区间的处理步骤的流程图。
图4是表示使用球轨迹信息的球位置来确定中断区间的处理步骤的流程图。
图5是表示根据球位置确定中断区间时使用的信息的图。 图6是表示使用裁判信号信息的发生时刻来确定中断区间的处理步骤的 流程图。
图7是表示根据裁判信号的发生时刻来确定中断区间时使用的信息的图。
图8是表示使用球轨迹信息的球移动向量来确定中断区间的处理步骤的 流程图。
图9是表示根据球移动向量来确定中断区间时使用的信息的图。 图10是表示在分割比赛中区间中的场面区间的处理步骤的流程图。
图11是表示在分割场面区间时的球轨迹信息的图(解围场面) 图12是表示不分割场面区间时的球轨迹信息的图(混战状态)
图13是表示球轨迹信息的数据结构的图。
图14是表示对球轨迹信息存储部分存储数据的例子的图。
图15是表示团队信息的数据结构的图。
图16是表示对团队信息存储部分存储数据的例子的图。
图17是表示场地信息的数据结构的图。
图18是表示对场地信息存储部分存储数据的例子的图。
图19是表示裁判信号信息的数据结构的图。
图20是表示对裁判信号信息存储部分存储数据的例子的图。
图21是表示中断区间的数据结构的图。
图22是表示对中断区间存储部分存储数据的例子的图。
图23是表示场面区间的数据结构的图。
图24是表示对场面区间存储部分存储数据的例子的图。
图25是表示其它方式的运动图像发送系统的图。
图26是表示其它方式的运动图像发送系统的图。
标号说明
102场面区间分割装置
117球轨迹信息存储部分
121球停止一定时间点提取部分
122球最近点提取部分
123中断区间确定部分
125场面区间分割部分
具体实施例方式
接着，说明为了实施本发明的最佳的方式。另外，本发明不限定于以下 的实施方式，在不脱离本发明的意旨的范围内，可适当地进行变形、实施。 第一实施方式
以下，说明本发明的第一实施方式。本实施方式中，说明在运动图像发 送端的装置中具有场面区间分割装置，场面区间分割裴置根据对在被拍摄的 运动图像中拍摄的球的轨迹信息确定了中断区间之后，根据中断区间来提取
比赛中区间，而且，将比赛中区间分割为多个场面区间来管理，并将这些发 送到运动图1"象^接收端的终端的方式。
如图1所示，运动图像发送装置100大体由球轨迹信息取得部分101和 场面区间分割部分102构成。球轨迹信息取得部分101是这样的模块，它使 用存储了由摄像机拍摄的多个运动图像的运动图像存储部分10、和管理拍摄 时的摄像机的移动或拍摄角度的变化等的信息的摄像机参数存储部分20，取 得球的轨迹信息。此外，场面区间分割部分102是这样的模块，它根据由球 轨迹信息取得部分101取得的球轨迹信息，确定运动图像的中断区间，并根 据这个来提取比赛中区间，进而将比赛中区间分割为多个场面区间来管理。
球轨迹信息取得部分101包括球识别部分111,从运动图像存储部分 10识别拍摄到图像中的球；球移动向量提取部分112，提取所识别的球的移 动；球移动向量校正部分113，使用由摄像机参数存储部分20管理的摄像机 参数，对由于摄像机的移动或拍摄角度的变化等而产生的在运动图像中拍摄 的球的移动的误差进行校正；球移动向量变化点提取部分114,从被校正的 球的移动，提取变化点；团队信息存储部分115，为了确定团队，将制服 (uniform)的颜色等的信息与团队名相关联地管理；主体者团队确定部分 116,取得各个球移动向量变化点的图像和摄像机参数，并将在变化点最接近 于球的选手确定为主体者，进而，使用团队信息存储部分115来确定主体者 的团队信息，并取得球轨迹信息，该球轨迹信息由在每个球轨迹变化点的轨 迹变化时刻、球位置、球移动向量以及主体者的团队信息构成。另外，通过 预先在团队信息存储部分115中管理好制服的颜色或图样等的信息，能够确 定主体者所属的团队(参照图15和图16)。
场面区间分割部分102包括球轨迹信息存储部分117,从主体者团队 确定部分116接受球轨迹信息并管理；裁判信号信息存储部分118，在每次发 生裁判的信号信息的时刻，对其进行管理；场地信息存储部分119，用X、 Y 坐标管理场地的边界；场地内外球判定部分120,使用球轨迹信息和场地信 息，判定球轨迹变化点的球位置在场地内外的哪一侧；球停止一定时间点提 取部分121,根据球轨迹信息，提取球停止了一定时间的点；球位置最近点 提取部分122，提取最接近于某一球轨迹变化点的球的位置的球轨迹变化点； 中断区间确定部分123,使用球轨迹信息存储部分117内的球轨迹信息、和 场地内外球判定部分120的判定结果、以及球停止一定时间点提取部分121
和球位置最近点提取部分122的提取结果或者裁判信号信息存储部分118内 的裁判信号信息，由球轨迹信息确定中断区间；中断区间存储部分124，接 受并管理所确定的中断区间；攻守场面分割部分125，根据球轨迹信息存储 部分117的球轨迹信息和中断区间存储部分124的中断区间，提取比赛中区 间，并将比赛中区间分割为每一连串的攻击场面区间；场面区间存储部分126 ， 管理所分割的场面区间。
其中，球轨迹信息存储部分117管理着每个球轨迹变化点的时刻、用X、 Y坐标表示的球位置、和球移动向量以及主体者的团队(参照图13和图14)。 此外，裁判信号信息存储部分118管理着裁判每次发出信号的时刻(参照图 19和图20)。裁判信号时刻的登记方法包括登记人确认并登记比赛中裁判吹 哨的时刻的方法，或在裁判的哨上搭载发送装置，在裁判吹哨时，发送装置 进行无线通信，运动图像发送装置100登记接收时刻的方法等。进而，场地 信息存储部分119用X、 Y坐标管理场地的边界，通过使用这个，可以判定 用球轨迹信息的X、Y坐标表示的球的位置是否在场地内(参照图17和图18)。 此外，在每个中断区间，中断区间存储部分124管理中断区间的开始、结束 时刻(参照图21和图22)。进而，在每个场面区间，场面区间存储单元126 管理攻击团队名、开始时刻、结束时刻(参照图23和图24)。
接着，使用图2，说明球轨迹信息取得部分101内的球轨迹信息的取得 步骤。在步骤201中，球识别部分111识别从运动图像存储部分10被映到图 像的球，在步骤202中，i^移动向量提取部分112追踪所识别的球的移动， 并提取球的移动向量。所提取的球移动向量在运动图像的拍摄时受到摄4^/L 的移动或拍摄角度的变化等影响而导致产生误差，所以在步骤203中，球移 动向量校正部分113，使用管理着摄像机信息的摄像机参数存储部分20,对 所提取的球移动向量进行校正，该摄像机信息是拍摄了运动图像的摄像机的 移动或拍摄角度的变化等。接着，在步骤204中，球移动向量变化点提取部 分114判定所校正的球移动向量中是否存在变化点。存在时进至步骤205; 不存在时返回至步骤201。在步骤205中，主体者团队确定部分116使用在 球移动向量变化点上的运动图像和摄像机参数，取得正确的图〗象，而且，将 在该时刻最接近球的选手确定为主体者，并使用团队信息存储部分115的团 队信息来确定主体者所属的团队，取得确定了这个时间点的时刻、球位置、 球移动向量以及主体者(团队名)的球轨迹信息。在步骤206中，对球轨迹
信息存储部分117登记所取得的球轨迹信息，在步骤207中，判定是否存在 下一个运动图像。存在时返回至步骤201,进行步骤201至206的处理；不 存在时结束。根据以上的步骤，可通过使用由多个视点拍摄的运动图像、和 对拍摄了图像的摄像机的移动或拍摄角度的变化等进行管理的摄像机参数， 取得球轨迹信息。
接着，使用图3,说明场面区间分割部分102内的场面区间分割步骤。 在步骤301中，球轨迹信息存储部分117登记了从球轨迹信息取得部分101 发送来的球轨迹信息之后，场地内外球判定部分120使用球轨迹信息和场地 信息存储部分119的场地信息，根据球位置进行中断区间的确定。在步骤302 中，中断区间确定部分123使用根据步骤301的球位置所确定的中断区间的 球轨迹信息之外的信息以及裁判信号信息存储部分118的裁判信号信息，将 存在裁判信号之后的球轨迹信息确定为中断开始点，此外，中断区间确定部 分123通过使用其之后的球轨迹信息，使球停止一定时间点提取部分121提 取球停止了一定时间的轨迹信息或者使球位置最近点提取部分122提取最接 近于发生裁判信号之前的球轨迹信息的位置的轨迹信息，从而确定中断结束 点。接着，在步骤303中，中断区间确定部分123通过使用根据步骤301的 球位置所确定的中断区间以及根据步骤302的裁判的信号所确定的中断区间 的球轨迹信息之外的信息，使球停止一定时间点提取部分121提取球停止了 一定时间的时刻，从而确定中断结束点，此外，中断区间确定部分123使用 其之前的球轨迹信息，使球位置最近点提取部分122取得最接近于中断结束 点的位置的轨迹信息，并使其提取其之后的轨迹信息，从而确定中断开始点。 然后，在步骤304中，中断区间确定部分123将在步骤301至303中确定的 各个中断区间登记到中断区间存储部分124。接着，在步骤305中，攻守场 面分割部分125根据球轨迹信息存储部分117的球轨迹信息和中断区间存储 部分124的中断区间来提取比赛中区间，并将比赛中区间分割为每一连串的 攻击场面区间。接着，在步骤306中，攻守场面分割部分125将分割的场面 区间登记到场面区间存储部分126。在步骤307中，判定是否存在下一个球 轨迹信息，存在时返回到步骤301，进行步骤301至306的处理；不存在时 结束。根据以上的步骤，可使用由球轨迹信息取得流程图取得的球轨迹信息， 将运动图像分割为中断区间和比赛中区间，进而，将比赛中区间分割为每一 连串的攻击场面区间。另外，步骤301到步骤303的各处理也可以并行进行。
以下，说明根据步骤301的球位置确定的中断区间、根据步骤302的裁判的 信号确定的中断区间、根据步骤303的球启动开始点确定的中断区间、在步 骤305的比赛中区间中的场面区间的分割。
使用图4，说明根据球轨迹信息的球位置而确定中断区间的处理步骤。 在步骤401中，中断区间确定部分123从球轨迹信息存储部分117取得球轨 迹信息。球轨迹信息的取得可以考虑以下方法，从球轨迹信息存储部分117 一个一个取得的方法、连续取得多个的方法、全部取得的方法等，但哪一种 方法也都可以。例如，在图5中，中断区间确定部分123取得球轨迹信息a 至f。在步骤402中，能够取得球轨迹信息时进至步骤403，不能取得时结束。 在步骤403中，中断区间确定部分123将所取得的球轨迹信息的一个信息送 到场地内外球判定部分120，场地内外球判定部分120使用被场地信息存储 部分119管理的场地信息，判定所取得的球轨迹信息是否为场地内的信息。 在步骤404中，该球轨迹信息被判定为在场地内时进至步骤405，被判定为 在场地外时进至步骤410。例如，在图5中，在中断区间确定部分123将球 轨迹信息a送到场地内外球判定部分120时，场地内外球判定部分120使用 被场地信息存储部分119管理的场地信息，判定所取得的球轨迹信息a的球 位置(400， 300)是否为场地(100， 100) ( 100， 100) ( 100, 100) ( 100, 100)内的信息。球轨迹信息a被判定为场地内，进至步骤405。另一方面， 在中断区间确定部分123将球轨迹信息d送到场地内外球判定部分120时， 场地内外球判定部分120判定所取得的球轨迹信息d的球位置(70， 600 )为 场地外，进至步骤410。
在步骤405中，场地内外球判定部分120从中断区间确定部分123取得 被判定为场地内的球轨迹信息之后的球轨迹信息。在图5中，球轨迹信息a 之后有球轨迹信息b,场地内外球判定部分120从中断区间确定部分123取 得球轨迹信息b。在步骤406中，与步骤402相同地，场地内外球判定部分 120使用被场地信息存储部分119管理的场地信息，判定所取得的该球轨迹 信息是否为场地内的信息。在步骤407中，该球轨迹信息也被判定为场地内 时返回至步骤405,从中断区间确定部分123取J寻其之后的球轨迹信息，并 再次进行步骤405和步骤406。另 一方面，在被判定为场地外时进至步骤408。 在图5中，因所取得的球轨迹信息b的球位置(200， 350)是场地内，所以 场地内外球判定部分120从中断区间确定部分123取得其之后的球轨迹信息， 并对球轨迹信息C判定是否为场地内的信息。所取得的球轨迹信息C的球位
置(60, 380)是场地外，此时进至步骤408。在步骤408中，场地内外球判 定部分120将判定为场地外的球轨迹信息识别为中断开始点，并对中断区间 确定部分123通知该球轨迹信息。这里，将球轨迹信息c识别为中断开始点， 并对中断区间确定部分123通知该信息。在步骤409中，被通知了表示中断 开始点的球轨迹信息的中断区间确定部分123对中断区间存储部分124登记 该球轨迹信息。这里，对中断区间存储部分124登记作为中断开始点的球轨 迹信息c。
在步骤410中，场地内外球判定部分120从中断区间确定部分123取得 被判定为场地外的球轨迹信息之后的球轨迹信息。在图5中，球轨迹信息d 之后有球轨迹信息e，场地内外球判定部分120从中断区间确定部分123取得 球轨迹信息e。在步骤411中，与步骤402相同地，场地内外球判定部分120 使用被场地信息存储部分119管理的场地信息，判定所取得的该球轨迹信息 是否为场地内的信息。在步骤412中，该球轨迹信息也被判定为场地外时返 回至409,从中断区间确定部分123取得其之后的球轨迹信息，并再次进行 步骤410和步骤411。另一方面，在判定为场地内时进至412。在图5中，因 所取得的球轨迹信息e的球位置(60, 380)是场地外，所以场地内外球判定 部分120从中断区间确定部分123取得其之后的球轨迹信息f,并对球轨迹信 息f判定是否为场地内的信息。所取得的球轨迹信息f的球位置(220， 650) 是场地内，此时进至步骤413。在步骤413中，场地内外球判定部分120将 判定为场地内的球轨迹信息之前的球轨迹信息识别为中断结束点，同时将在 中断结束点之前所得的球轨迹信息也识别为在中断区间中，并对中断区间确 定部分123通知这些球轨迹信息。这里，将球轨迹信息e识别为中断结束点， 同时将在中断结束点之前所得的球轨迹信息d也识别为在中断区间中，并对 中断区间确定部分123通知球轨迹信息d、 e。在步骤414中，被通知了表示 中断结束点和中断区间的球轨迹信息的中断区间确定部分123对中断区间存 储部分124登记这些球轨迹信息。这里，对中断区间存储部分124登记作为 中断结束点的球轨迹信息e和中断区间的球轨迹信息d。在步骤415中，中断 区间确定部分123从球轨迹信息存储部分117取得下一个球轨迹信息。在步 骤416中，中断区间确定部分123判定是否存在下一个球轨迹信息，存在时 返回至步骤403,再次进行步骤403至步骤414的处理。另一方面，不存在
时结束处理。根据如上的处理，可使用球轨迹信息的球位置和场地信息，确 定场:t也外的中断区间。
接着，使用图6,说明根据裁判信号信息的发生时刻确定中断区间的处
理步骤。在步骤601中，中断区间确定部分123从裁判信号信息存储部分118
取得裁判信号信息。这里，裁判信号信息不取得根据球位置所确定的场地外 的中断区间的时刻发生的裁判信号信息。即，这里取得的裁判信号信息仅取 得球在场地内时所发生的信息。取得的方法可以考虑，从裁判信号信息存储
部分118 —个一个取得的方法、连续取得多个的方法、全部取得的方法等， 但哪一种方法也都可以。例如，在图7中，中断区间确定部分123取得裁判 信号时刻为OO: 12: 05的裁判信号信息。在步骤602中，能够取得裁判信号 信息时进至步骤603,不能取得时结束处理。在步骤603中，从球轨迹信息 存储部分117取得裁判信号时刻之后的球轨迹信息。此时，取得的球轨迹信 息是取得根据步骤301的球位置所确定的场地外的中断区间之外的球轨迹信 息。例如，在图7中，裁判信号时刻之后的球轨迹信息从其轨迹变化时刻取 得00: 12: 10的球轨迹信息b。在步骤604中，将所取得的球轨迹信息识别 为中断开始点。在识别了中断开始点之后，在步骤605中，取得多个在之后 的一定时间以内的球轨迹信息；在步骤606中，从那些球轨迹信息中，提取 球停止了一定时间的时刻。在步骤607中，存在球停止了一定时间的点时进 至步骤608,没有停止的点时进至步骤609。在步骤608中，取得球停止了一 定时间的球轨迹信息，并将取得的球轨迹信息识别为中断结束点。在图7中， 取得球轨迹信息b至e,其中停止了 一定时间的球轨迹信息取得其球移动向量 成为(0, 0)的球轨迹信息d,并将该时刻识别为中断结束点。
另一方面，在步骤609中，因没有球停止了一定时间的点，在这种情况 下，取得裁判信号时刻之前的球轨迹信息。例如，在图7中，没有球移动向 量成为(0， 0)的球轨迹信息的情况下，取得裁判信号时刻之前的球轨迹信 息a。在步骤610中，取得最接近于所取得的球轨迹信息的球轨迹信息。这里， 球轨迹信息a的球位置为(500， 300),在球轨迹信息b至e中最接近的位置 为(520, 320)，所以取得球轨迹信息d，并将该时刻识别为中断结束点。
在步骤611中，中断区间确定部分123将在步骤604中识别的中断开始 点到在步骤608或步骤610中识别的中断结束点为止作为中断区间登记到中 断区间存储部分124。这里，将中断开始点的球轨迹信息b开始到中断结束
点的球轨迹信息d为止登记到中断区间存储部分124。在步骤612中，中断 区间确定部分123判定是否存在下一个裁判信号信息，存在时返回至步骤 603,再次进行步骤603至步骤611的处理。另一方面，没有时结束处理。根 据如上的处理，可使用根据步骤301的球位置所确定的场地外的中断区间之 外的球轨迹信息和裁判信号信息存储部分118的裁判信号信息，确定场地内 的中断区间。
接着，使用图8，说明根据球轨迹信息的球移动向量确定中断区间的步 骤。在步骤801中，中断区间确定部分123使用球轨迹信息存储部分117， 取得根据步骤301的球位置所确定的中断区间和根据步骤302的裁判的信号 所确定的中断区间的球轨迹信息之外的球轨迹信息，取得停止了 一定时间的 球轨迹信息。在步骤802中，能够取得球轨迹信息的情况下进至步骤803, 不能取得的情况下结束。在图9中，因停止了一定时间的球轨迹信息的球移 动向量为(0, 0),所以判断为在该时刻停止，取得5求轨迹信息d。在步骤803 中，将所取得的球轨迹信息识别为中断结束点。识别了中断结束点之后，在 步骤804中，取得之后一定时间以内的多个球轨迹信息，在步骤805中，从 那些球轨迹信息中，取得最接近于中断结束点的球轨迹信息。在这里，因中 断结束点的球位置为(520， 320),其之前取得的多个球轨迹信息a至c中， 最接近的位置为(500， 300),所以取得球轨迹信息a。即，识别为球轨迹信 息a的位置为比赛中区间的结束点，在步骤806中，取得其之后的球轨迹信 息，并将该时刻识别为中断开始点。在这里，取得球轨迹信息b,并将该时 刻识别为中断开始点。
在步骤807中，中断区间确定部分123将在步骤806中识别的中断开始 点到在步骤803中识别的中断结束点为止作为中断区间登记到中断区间存储 部分124。这里，从中断开始点的球轨迹信息b到中断结束点的球轨迹信息d 为止登记到中断区间存储部分124。在步骤808中，判定是否存在下一个停 止了一定时间的球轨迹信息，存在时返回至步骤803,再次进行步骤803至 步骤808的处理。另一方面，没有时结束处理。根据如上的处理，可通过使 用球轨迹信息的球移动向量来提取球的一定时间停止点，从而确定中断区间。
接着，使用图10,说明在比赛中区间中的场面区间的分割处理步骤。在 步骤1001中，攻守场面分割部分125根据球轨迹信息存储部分117的球轨迹 信息和中断区间存储部分124的中断区间，提取比赛中区间。在步骤1002中，
存在比赛中区间时进至步骤1003,没有时结束处理。在步骤1003中，取得 所提取的比赛中区间的前端的球轨迹信息，在步骤1004中，取得之后的球轨 迹信息。例如，在图11或图12中，提取的比赛中区间的前端是球轨迹信息 a，之后是球轨迹信息b,取得这些。在步骤1005中，判定是否存在之后的球 轨迹信息，存在时进至步骤1006,没有时进至步骤1015。在步骤1006中， 判定该球轨迹信息是否为比赛中区间的结束点，不是结束点时进至步骤1007， 是结束点时进至步骤1015。在图11或图12中，因球轨迹信息b不是比赛中 区间的结束点，所以进至步骤1007。在步骤1007中，判定在步骤1004中取 得的球轨迹信息和之前的球轨迹信息的主体者是否为同一团队。在同一团队 时返回至步骤1004，再次进行步骤1004至步骤1007;不是同一团队时进至 步骤1008。在图ll或图12中，球轨迹信息b的主体者团队为A队，其之前 的球轨迹信息a的主体者团队为A队，所以主体者相同。这种情况下，返回 至步骤1004,再次进行步骤1004至步骤1007;在取得了主体者团队为B队 的球轨迹信息c之后进至步骤1008。
在步骤1008中，取得在步骤1004中所取得的球轨迹信息之后的球轨迹 信息。在图11或图12中，取得球轨迹信息d。在步骤1009中，比较在步骤 1008中所取得的球轨迹信息和其之前的信息，即在步骤1004中所取得的球 轨迹信息，判定轨迹变化时刻的差是否大，在时刻的差较大时进至步骤1011， 在时刻的差较小时进至步骤1010。另外，对于其判定基准可任意地设定，但 是在本实施方式中，存在5秒以上的差就判定为轨迹变化时刻的差较大。在 图11或图12中，5求轨迹信息c的轨迹变化时刻为00: 12: 18， 5求轨迹信息 d的轨迹变化时刻为00: 12: 22，其轨迹变化时刻的差较小，此时进至步骤 1010。另外，在球轨迹信息d的轨迹变化时刻为00: 12: 28的情况下进至步 骤IOII。在步骤1010中，判定在步骤1008中所取得的球轨迹信息和其之前 的信息的球位置的差是否大，位置的差较大时进至步骤1011，位置的差较小 时返回至步骤1004。另外，对于其判定基准可任意地设定，但是在本实施方 式中，在X轴或者Y轴上存在400以上的差就判定为球位置的差较大。在图 11中，球轨迹信息d的球位置为(200， 650 )，球轨迹信息c的球位置为(550， 150),所以位置的差较大，此时进至步骤1011。另一方面，在图12中，球 轨迹信息d的^求位置为(500, 350 ),球轨迹信息c的球位置为(400, 150 ), 所以位置的差较小，此时返回至步骤1004,取得其之后的球轨迹信息e。在步骤1011中，将在步骤1008中取得的球轨迹信息之前的信息识别为 场面区间结束点，在步骤1012中，将在场面区间结束点之前所取得的球轨迹
信息作为一个场面区间管理，在步骤1013中，将该场面区间登记到场面区间 存储部分126。在步骤1014中，将在步骤1011中识别的场面区间结束点识 别为下一个场面区间开始点，即，识别为下一个场面区间的前端的J求轨迹信 息，并返回至步骤1003再次进4于处理。
另一方面，在步骤1004中检索之后的球轨迹信息，在没有其球轨迹信息 时或之后的球轨迹信息为比赛中区间的结束点时，在步骤1015中，将当前为 止取得的球轨迹信息作为一个场面区间。即，在没有球轨迹信息时，将之前 的信息识别为场面区间结束点；在之后的球轨迹信息为比赛中区间的结束点 时，将该信息识别为场面区间结束点。在图11或图12中，球轨迹信息e之 后没有球轨迹信息，所以，此时将球轨迹信息e识别为场面区间结束点。此 外，因球轨迹信息d之后的球轨迹信息e是比赛中区间的结束点，此时，将 球轨迹信息e识别为场面区间结束点。而且，将在场面区间结束点之前取得 的球轨迹信息作为一个场面区间管理，在步骤1016中，将该场面区间登记到 场面区间存储部分126。在步骤1017中，检索下一个比赛中区间，并返回至 步骤1002。在步骤1002中，存在下一个比赛中区间时进至步骤1003，没有 时结束处理。根据如上的处理，可根据球轨迹信息存储部分117的球轨迹信 息和中断区间存储部分124的中断区间，提取比赛中区间，并将场面区间分 割为每一连串的攻击场面来管理。
如上所述，本实施方式的场面区间分割装置，管理对在被拍摄的运动图 像中拍摄的球的每个轨迹变化确定了主体者的球轨迹信息，通过进行根据球 位置确定中断区间的处理、根据裁判信号信息的发生时刻确定中断区间的处 理、根据提取球停止了一定时间的点来确定中断区间的处理，取得了各个中 断区间之后，根据休息区间提取比赛中区间，进而，对比赛中区间中的场面 区间进行分割处理，即使存在混战状态或解围场面的情况下，也能将一连串 的攻击作为一个场面区间正确地管理。
另外，在本实施方式中，主要说明了根据在运动图像中拍摄的球的轨迹 信息以每一连串的攻击正确地管理场面区间的情况，^f旦通过确定中断区间， 可确定中断开始之前或结束之后的中断内容，并通过将其与球轨迹信息相关 联地管理，从而容易地掌握比赛中区间的中断内容。
例如，在使用步骤301的球轨迹信息和场地信息确定场地外的中断区间
时，可确定中断区间结束之后的比赛内容为界外球(throw in )、球门球(goal kick)、角球等。例如，在图5中，中断结束点的球位置是被进行界外球的位 置，所以可确定中断结束点之后的比赛内容为界外球。除此之外，使用球位 置而确定的中断结束点之后的比赛内容有球门球或角球。中断结束点之后的 比赛内容为界外球时，通过将界外球与球轨迹信息f相关联，并将其登记到 球轨迹信息存储部分117,从而容易地掌握界外球场面(参照图5)。
此夕卜，使用步骤302或303的场地内的球轨迹信息，根据球停止了 一定 时间的时刻来确定中断区间时，可确定中断区间结束之后的比赛内容为任意 球等。此时，将任意球与中断结束点之后的球轨迹信息d'相关联，并将其登 记到球轨迹信息存储部分117,从而容易地掌握任意球场面(参照图7、图9)。
此外，在步骤305中，比赛中区间中的场面区间被分割时，可确定被分 割的场面区间的结束时的比赛内容为解围。此时，将解围与场面区间结束时 的球轨迹信息c相关联，并将其登记到球轨迹信息存储部分117,从而容易地 掌握解围场面(参照图11)。此外，在步骤305中，比赛中区间中的场面区 间不被分割时，可确定该比赛中区间为混战状态。此时，通过将混战状态与 比赛中区间的前端的球轨迹信息a相关联，并将其登记到球轨迹信息存储部 分117，从而容易地掌握混战状态(参照图12)。
此外，通过使用场地信息或裁判信号信息，根据球轨迹信息的球位置确 定射门场面，此外，也可以确定射门之后的中断区间。例如，射门的位置可 使用场地信息来掌握((400-600, 80~100)或者(權~600，卯0~920)),在 球的位置移到球门内的位置之后((550， 90))，存在裁判信号信息时，可确 定在该时刻有射门场面。此时，通过将射门与发生射门场面的时刻的球轨迹 信息相关联，并将其登记到球轨迹信息存储部分117，从而容易地掌握比赛 中区间的比赛内容。此外，可确定射门之后的球轨迹信息是中断区间，球轨 迹信息的球位置移到中心线位置((500, 500)),并在中断区间直到发生裁判 信号信息为止。
除此之外，通过使用球轨迹信息的轨迹变化时刻以及裁判信号信息等， 将球轨迹信息与开始比赛的时刻或结束的时刻相关联，并将其登记到球轨迹 信息存储部分117，从而容易地掌握比赛开始之后或比赛结束之前的场面。
此外，在本实施方式中作为最佳的方式，说明了用运动图像发送装置分
割并管理场面区间，并将其发送到运动图像接收终端的方式，但中断区间的 确定或场面区间的分割等可以用运动图像发送装置或运动图像接收终端的任 一个进行。例如也可以是，如图25所示，从运动图4象发送装置发送球轨迹信 息、场地信息以及裁判信号信息，并使用这些信息由运动图像接收终端进行
中断区间的确定和场面区间的分割处理。此外，也可以是，如图26所示，用 运动图像发送装置确定中断区间后与球轨迹信息一 同发送，并使用这些用运 动图像接收终端进行场面区间的分割处理。 产业上的可利用性
如上，本发明可适用于摘要^L听如足球等的运动图像，不4又可在短时间 内仅视听比赛中区间，也可以视听利用者所期望的每个场面。
权利要求
1.一种场面区间分割装置，其特征在于，它包括球轨迹信息存储部分，其管理球轨迹信息，该球轨迹信息对运动图像中拍摄的球的每个轨迹变化确定了主体者；球停止一定时间点提取部分，使用所述球轨迹信息，提取球的移动停止了一定时间的时刻；球最近点提取部分，使用所述球轨迹信息，提取最接近所述停止了一定时间的球位置的时刻中断区间确定部分，从所述球轨迹信息存储部分取得球轨迹信息，并根据所述球停止一定时间点提取部分和所述球最近点提取部分所提取的各时刻，确定中断区间；以及场面区间分割部分，根据所述确定的中断区间，提取比赛中区间的球轨迹信息，并分割为每个场面区间。
2. 如权利要求1所述的场面区间分割装置，其特征在于，它包括 场地信息存储部分，管理场地的边界；以及场地内外判定部分，使用所述场地信息，判定球的位置是否在场地内， 所述中断区间确定部分从所述球轨迹信息存储部分取得球轨迹信息，并使用该球轨迹信息，将由所述场地内外判定部分所判定的场地外的球轨迹信息确定为中断区间。
3. 如权利要求1所述的场面区间分割装置，其特征在于，它包括 裁判信号信息存储部分，管理裁判发出信号的时刻，所述中断区间确定部分使用所述球轨迹信息和所述裁判信号信息，确定 中断区间。
4. 一种场面区间分割方法，其特征在于，它包括 取得球轨迹信息的步骤，该球轨迹信息对运动图像中拍摄的球的每个轨迹变化确定了主体者；使用球轨迹信息的球位置和管理场地的边界的场地信息，确定场地外的 中断区间的步骤；使用球轨迹信息的球轨迹变化时刻和管理裁判信号时刻的裁判信号信 息，确定中断区间的步骤； 根据所述被确定的各中断区间，从所述球轨迹信息存储部分提取比赛中区间的球轨迹信息的步骤；以及将所述比赛中区间分割为每个场面区间的步骤。
5. 如权利要求4所示的场面区间分割方法，其特征在于， 使用所述球轨迹信息的球位置和管理场地的边界的场地信息，确定场地外的中断区间的步骤包括取得第l球轨迹信息的步骤；使用所述场地信息，判定所述第1球轨迹信息的球位置是否在场地内的 步骤；以及在所述第1球轨迹信息在场地内的情况下，还包括取得之后的第2球 轨迹信息的步骤；使用所述场地信息，在所述第2球轨迹信息的球的位置在 场地外的情况下，将其识别为中断开始点而取得的步骤，另一方面，在所述第1球轨迹信息在场地外的情况下，还包括取得之 后的第3球轨迹信息的步骤；使用所述场地信息，在所述第3球轨迹信息的 球的位置在场地内的情况下，将所述第3球轨迹信息识别为中断结束点而取 得的步骤。
6. 如权利要求4所示的场面区间分割方法，其特征在于，使用球轨迹信息的球轨迹变化时刻和管理裁判信号时刻的裁判信号信 息，确定中断区间的步骤包括取得所述裁判信号信息的步骤；在所述裁判信号信息的裁判信号时刻之后，取得规定时间以内的多个球 轨迹信息，并将前端的第l球轨迹信息识别为中断开始点的步骤；判断在所述取得的多个球轨迹信息中，是否存在停止了一定时间的第2 球轨迹信息的步骤；以及在存在所述停止了一定时间的第2球轨迹信息的情况下，将该球轨迹信 息识别为中断结束点而取得的步骤，另一方面，在不存在所述停止了一定时间的第2球轨迹信息的情况下， 还包括取得所述裁判信号时刻之前的第3球轨迹信息的步骤；在所述取得 的多个球轨迹信息中，将最接近所述第3球轨迹信息的球位置的第4球轨迹 信息识别为中断结束点而取得的步骤。
7. 如权利要求4所示的场面区间分割方法，其特征在于， 使用所述球轨迹信息的球移动向量和球的位置，确定中断区间的步骤包括取得球的移动停止了一定时间的第l球轨迹信息，并其识别为中断结束 点而取得的步骤；取得在所述第l球轨迹信息之前、规定时间内的多个球轨迹信息的步骤；以及在所述取得的多个球轨迹信息中，将最接近所述第l球轨迹信息的球位 置的球轨迹信息之后的第2球轨迹信息识别为中断开始点而取得的步骤。 8.如权利要求4所示的场面区间分割方法，其特征在于， 将所述比赛中区间分割为每个场面区间的步骤包括 取得在比赛中区间中的前端的第1球轨迹信息的步骤； 取得其之后的第2球轨迹信息的步骤；在所述第2球轨迹信息与比赛中区间的结束点、并且与第l球轨迹信息 的主体者不同的情况下，取得其之后的第3球轨迹信息的步骤；在所述第2球轨迹信息与第3球轨迹信息的时刻的差或者位置的差较大 时，将所述第2球轨迹信息识别为场面区间结束点的步骤；以及将所述场面区间结束点之前取得的球轨迹信息作为一个场面区间而取得 的步骤。
全文摘要
提供一种场面区间分割装置，它能够从运动图像正确地确定中断区间和比赛中区间，能够将在比赛中区间的一连串的攻击以每个场面区间正确地管理。提供一种场面区间分割装置(102)，它包括球轨迹信息存储部分(117)，其管理对球的每个轨迹变化确定了主体者的球轨迹信息；球停止一定时间点提取部分(121)，使用球轨迹信息，提取球的移动停止了一定时间的时刻；球最近点提取部分(122)，使用球轨迹信息，提取最接近停止点的时刻；中断区间确定部分(123)，通过球轨迹信息存储部分(117)取得球轨迹信息，并根据球停止一定时间点提取部分(121)和球最近点提取部分(122)所提取的各时刻，确定中断区间；场面区间分割部分(125)，根据所确定的中断区间，提取比赛中区间的球轨迹信息，并分割为每个场面区间。
文档编号H04N5/76GK101107848SQ20068000296
公开日2008年1月16日 申请日期2006年1月17日 优先权日2005年1月24日
发明者中田透, 吉川雅昭, 张文利 申请人:松下电器产业株式会社