专利名称：用来判断运动视频中精彩片段的装置的制作方法
技术领域：
本发明涉及一种用来判断运动视频中精彩片段的装置，尤其涉及一种
通过事先通过一用户接口 (user interface)确认所辨识计分板特征是否正确， 以提升判断运动视频精彩片段的正确性的装置。
背景技术：
近年来，由于运动活动的普及，收看运动节目变成日常生活中重要且 普遍的休闲活动。然而，由于运动节目往往持续好几个小时，因此观众常 会对球员的准备时间、比赛暂停时间或无趣的广告片段感到不耐烦。在此 情形下，现在观众一般会事先将运动节目录影下来，以在观看时将不感兴 趣的片段快转，或者通过快转或倒带搜寻视频中的精彩片段，例如棒球比 赛中的全垒打、足球比赛中的射门或是网球比赛中的发球得分等片段，而 取代观看完整的运动比赛。
然而，随着多媒体技术的发展，某些图像处理工具可进一步地对运动 视频进行分析，以自动提取出观众感兴趣的事件或是精彩片段。某些已知 技术可根据运动视频中特别的声音或是其本身的图像特性来判断精彩片 段，例如可通过分析运动视频中的哨音、喇叭声或是观众鼓掌的声音来检 测犯规、比赛结束或是得分等精彩事件。或者，图像特征的分析亦可用来 判断运动视频中的精彩片段。
请参考图1，图1是显示在一屏幕上一运动视频的一图像帧100的示意 图。图像帧100包含有运动视频的主要内容及显示在右上角的一计分板图 像IIO。计分板图像IIO代表运动比赛的当前状态，其包含有多个计分板特 征。如果以美式足球作为例，计分板图像100包含有计时器120、局数122、 攻击进度124、球的位置126及犯规举旗128等计分板特征。
一般来说，已知技术必须先对运动视频中的特别声音及图像特征进行 辨识，以进行后续精彩事件的判断。然而，实际上，观众感兴趣的事件或 精彩片段很难被正确地被判断，因此使用者仍必须自己手动寻找运动视频
中的精彩片段，如此将导致使用上的不方便及降低观看运动视频的乐趣。
发明内容
因此，本发明在于提供一种用来判断运动视频中精彩片段的装置。 本发明公开一种用来判断一运动视频中精彩片段的装置。该运动视频 包含多个图像帧。该装置包含有一接收模块、 一分析模块、 一用户接口、 一检测模块以及一判断模块。该接收模块用来接收该运动视频。该分析模 块耦接于该接收模块，用来对该运动视频进行分析，以辨识一计分板图像 及多个计分板特征。该用户接口耦接于该分析模块，用来显示至少一已辨 识计分板特征，并产生一相对应请求讯息，以接收一使用者响应。其中， 该使用者响应包含该至少一已辨识计分板特征的一确认结果。该检测模块 耦接于该用户接口，用来根据该使用者响应，检测该计分板图像在该多个 图像帧间的变化。该判断模块耦接于该检测模块，用来根据该计分板图像 的变化，判断该运动视频中的精彩片段。
图1是显示在一屏幕上一运动视频的一图像帧的示意图。
.图2是本发明用来判断一运动视频中精彩片段的一流程的实施例示意图。
.图3是本发明用于一显示系统中用来判断运动视频中精彩片段的一装 置的实施例示意图。
图4是本发明用来提取一运动视频中精彩片段的一流程的另一实施例 示意图。
图5 A是本发明实施例用来产生 一 用户接口的 一 流程的示意图。
图5B是实现图5A流程的一用户接口的实施例示意图。
图6A是本发明实施例用来产生一用户接口的一流程的示意图。
图6B是实现图6A流程的一用户接口的实施例示意图。
图7A是本发明实施例用来产生 一用户接口的 一流程的示意图。
图7B是实现图7A流程的一用户接口的实施例示意图。
图8A是本发明实施例用来产生一用户接口的一流程的示意图。
图8B是实现图8A流程的一用户接口的实施例示意图。
图9是本发明所提取的一精彩片段的实施例示意图。主要元件符号说明
100、 FR1-FR8图像帧
110、 501、 605、 701、 801、 907 计分板图像
120 计时器
122 局数
124 攻击进度
126 球的位置
128 犯规举旗
20、 40、 50、 60、 70、 80 流程
200 — 260、 400 — 490、 500 — 540、 600 — 640、 700 — 750、 800 ~ 840
步骤
30装置
310接收模块
320分析模块
330用户接口
340检测模块
350判断模块
322第一比较器
324第一辨识器
326第二比较器
328第二辨识器
332请求讯息产生器
334使用者响应接收
360数据库
50B、 60B、 70B、 80B 用户接口
502、 604、 606、 702、 802 请求讯息
503、 504、 703、 704 确认按键 705 计分板特征
805 使用者响应 90 精彩片段
909 出局数栏位
903 提取区域
905 显示区域
901 时间区域
具体实施例方式
h形
置。请参考图2,图2是本发明用来判断一运动视频中精彩片段的一流程 20的实施例示意图。首先，由步骤210开始接收包含有多个图像帧(Image Frame)的运动视频。接着，步骤220对运动视频进行分析，以辨识一计分 板图像及多个计分板特征。在步骤230中，本发明在一用户接口上显示至 少一已辨识计分板特征，并产生一相对应请求讯息，以接收一使用者响应。 其中，该使用者响应包含该至少一已辨识计分板特征的一确认结果。在步 骤240中，本发明可根据该使用者响应，检测该计分板图像在该多个图像 帧间的变化。最后，在步骤250中，本发明可根据该计分板图像的变化， 判断该运动视频中的精彩片段。
优选地，运动视频存储在一存储装置中，并且该多个图像帧中的至少 一图像帧包含有该计分板图像。因此，在对运动视频中多个图像帧进行比 较之后，该多个图像帧间具有小变化的 一 区域可以被辨识并判断为该计分 板图像。另外，当运动视频中精彩片段被判断出来之后，精彩片段的发生 时间、长度及次数等信息所形成的元数据(metadata)可进一步地存储在数 据库中。另一方面，本发明亦可将已辨识计分板图像存储至数据库，以形 成一参考图案，进而作为分析相同运动比赛类型的运动视频的依据。因此， 当本发明对运动视频中多个图像帧进行比较时，图像帧中具有符合该数据 库所存储参考图案的区域可被判断为计分板图像，而其上的计分板特征亦 可被轻易地判断出来。
请注意，通过本发明方法，运动视频中不论观众感兴趣的事件(即精 彩片段)或观众不感兴趣的事件(例如广告)皆可被判断出来。换句话说， 当对运动视频进行本发明精彩片段判断方法之后，使用者不仅可由运动视 频中提取出感兴趣的事件，亦可跳过如广告等不感兴趣的事件。
请参考图3,图3是本发明用于一显示系统中用来判断运动视频中精彩 片段的一装置30的实施例示意图。装置30是用来实现上述流程20,其包 含有一接收模块310、 一分析模块320、 一用户接口 330、 一检测模块340 及一判断模块350。接收模块310用来接收具有多个图像帧的运动视频。在 某些实施例中，运动视频可由一服务器广播并预录在与装置30相耦接的一 存储装置。分析模块320耦接于接收模块310，包含有一第一比较器322 及一第一辨识器324。第一比较器322用来比较运动视频的多个图像帧，以 判断出图像帧间具有小变化的一区域。第一辨识器324则用来判断该区域 是否为该计分板图像，并辨识计分板图像上的多个计分板特征。用户接口 330耦接于分析模块320,包含有一请求讯息产生器332及一使用者响应接 收器334。请求讯息产生器332用来在用户接口上显示至少一 已辨识计分板 特征，并产生一相对应请求讯息。使用者响应接收器334用来接收一使用 者响应，以判断该至少一已辨识计分板特征是否正确。其中，该使用者响 应包含该至少一已辨识计分板特征的一确认结果。检测模块340耦接于用 户接口 330,用来根据使用者响应，检测该计分板图像在多个图像帧间的变 化。判断模块350耦接于检测模块340,则用来根据计分板图像的变化，判 断运动视频中的精彩片段。关于装置30的详细操作，请继续参考以下说明。 在某些实施例中，装置30还包含一数据库360,用来存储计分板图像 的辨识结果，以形成一参考图案，作为分析相同运动比赛类型的运动视频 的依据。在此情形下，分析模块320还包含有一第二比较器326及一第二 辨识器328。第二比较器326用来根据数据库360所存储的参考图案，对多 个图像帧进行比较。接着，第二辨识器328则用来判断图像帧中具有符合 数据库所存储参考图案的区域是否为计分板图像，并辨识其上的计分板特 征。
在操作上，本发明在用户接口中显示对应于一图像帧的计分板图像及 至少一已辨识计分板特征，并产生一请求讯息，以请求使用者确认已辨识 计分板特征是否正确。接着，本发明可根据使用者响应来判断已辨识计分 板特征的正确性。如此一来，本发明可进一步检测计分板图像在多个图像 帧间的变化。由于计分板图像的变化往往代表运动比赛事件的发生，因此， 本发明可据此判断出运动视频的精彩片段。
因此，本发明通过事先通过用户接口确认计分板图像及其上计分板特 征的正确性，以正确地判断运动视频中的精彩片段，进而提升使用者搜寻
并提取运动视频中精彩片段的便利性。
优选地，对计分板特征进行辨识还包含对计分板特征的内容数据进行 辨识。计分板特征的内容数据包含有计分板特征在每一图像帧中的数字数 据、文字数据、亮度及状态。举例来说，当运动视频是一棒球比赛节目， 计分板特征可以是比数、安打数、失误、上垒状态、坏球数、好球数及出 局数等计分板栏位；当运动视频是一美式足球比赛节目时，计分板特征可
以是计时器、比数、旗号、达阵(TD， Touchdown)或是射门(FG， Field Goal)等计分板栏位；而当运动视频是一足球比赛节目时，计分板特征可 以是计时器、比数、犯规数、红牌数、黄牌数、犯规数等计分板栏位。
请继续参考图4,图4是本发明用来提取一运动视频中精彩片段的一流 程40的另一实施例示意图。在本实施例中，首先从一视频来源，例如VCD 播放器、DVD播放器或电视，接收运动视频，并存储在一存储装置(步骤 410)。接着，从运动视频中提取多个图像帧(步骤420)。通过比较该多个 图像帧，将具有小变化的一图像区域判断为运动视频的一计分板图像(步 骤430)。然后，根据存储在一数据库中对应于相同运动比赛类型的计分板 参考图案，对该计分板图像及其上的计分板特征进行辨识和分析(步骤 440)。
为了接收用来指示已辨识计分板特征是否正确的一使用者响应，本发 明在用户接口上显示计分板图像及至少一 已辨识计分板特征，并产生一请 求讯息(步骤450)。关于用户接口的实现方式，请参考以下实施例的说明。 如此一来，在根据使用者响应判断已辨识计分板特征的正确性之后，本发 明可进一步检测图像帧间计分板图像的变化(步骤460)。最后，本发明可 根据图像帧间计分板图像的变化，正确地判断出运动视频中的精彩片段(步 骤470 )。
请注意，记分板图像的变化可区分为下列两种形式记分板图像本身 的变化以及计分板图像中计分板特征的变化。记分板图像本身的变化通常 发生在计分板图像消失于运动视频中的时候，其可能代表的是一广告片段 或是运动比赛中一精彩事件的特写镜头等情况。相对地，计分板图像中计 分板特征的变化则是如上所述的计分板特征的变化，其代表如得分、犯规、 出局等运动比赛事件。
举例来说，得分事件可根据计分板图像中比数栏位的数字数据变化来
判断，而犯规事件则可根据计分板图像中犯规旗号的亮度变化来判断等等， 以此类推。当然，每一计分板特征变化事件的时间长度或其重要性可事先 进行定义，并形成一元数据存储在数据库中。因此，本发明可根据计分板 特征变化的发生时间及存储在数据库的元数据，正确地将运动视频的精彩 片段提取出来，并可进一步地将其存储在存储装置中(步骤480)。
优选地，每一运动视频的精彩片段的发生时间、长度及发生次数等信 息亦可进一步形成元数据并存储在数据库中，以作为处理其他具相同运动 比赛类型的运动视频的依据。
请参考图5A，图5A是本发明实施例用来产生一用户接口的一流程50 的示意图。流程50用来实现用户接口，以请求使用者确认对应于一计分板 图像的计分板特征是否辨识正确。在本实施例中，首先在用户接口上显示 计分板图像及标示至少一已辨识计分板特征的位置(步骤510)。接着，在 用户接口同时产生一请求讯息，以接收一使用者响应(步骤520 )。最后， 所标示位置的正确性可根据使用者响应来进行判断(步骤530 )。
当使用者响应指示所标示位置皆正确时，其代表计分板特征已被正确 地辨识，因此本发明可继续进行后续判断精彩片段的步骤。相反地，用户 接口则在计分板图像中标示已辨识计分板特征的其他可能位置，并产生另 一相对应请求讯息，直到接收到使用者响应指示所标示的位置皆为正确为 止。
请参考图5B,图5B是实现本发明流程50的一用户接口 50B的实施例 示意图。用户接口 50B包含一计分板图像501， 一请求讯息502及确认按 键503及504。计分板图像501显示运动视频中一棒球比赛的当前状况，其 包含有垒包状态、队名(「 AAA」及「BBB」)、分数(「3」及「2」)、局数
(「▲2」)、出局数(「2-out」)、好球数与坏球数(「3-2」)等计分板特征。 请求讯息502用来请求使用者确认计分板图像501中所标示的分数栏位
(r3」及「2」)的位置是否正确，其通过箭头符号标示，如图5B所示。确 认按键503及504则用来根据所标示位置的正确性产生使用者响应。因此， 通过确认按键503及504所产生的使用者响应，本发明可判断已辨识计分 板特征的正确性。
当使用者响应为确认按键503所产生的「是」时，本发明可将运动视 频中已辨识计分板特征视为正确，以进一步地根据已辨识计分板特征的变
化，判断运动视频的精彩片段。相反地，当使用者响应为确认按键504所
产生的「否」时，其代表所标示的位置不正确，用户接口 50B则在计分板 图像中标示分数栏位的其他可能位置，并产生另一相对应请求讯息，直到 接收到使用者响应指示所标示的位置皆为正确为止(未显示在图5B中)。
请继续参考图6A，图6A是本发明另一实施例用来产生一用户接口的 一流程60的示意图。流程60亦用来实现用户接口，以请求使用者确认对 应于一计分板图像的计分板特征是否辨识正确。在本实施例中，首先在用 户接口上显示计分板图像及标示已辨识计分板特征的多个可能位置(步骤 610)。接着，在用户接口同时产生一请求讯息，以接收一使用者响应，其 为使用者直接选择一正确位置所产生(步骤620)。如果所有标示的可能位 置皆不正确，用户接口则产生另一请求讯息，以请求使用者直接在计分板 图像中标示计分板特征的正确位置。最后，本发明可根据使用者响应来判 断已辨识计分板特征的实际位置(步骤630 )。
举例来说，请参考图6B,图6B是实现本发明流程60的一用户接口 60B的实施例示意图。相较于图5B,用户接口 60B同时提供计分板图像605 中已辨识计分板特征(即垒包状态)的四个可能位置，并产生一请求讯息 604，其用来请求使用者由上述四个可能位置选出一正确位置，以及产生另 一请求讯息606，其用来请求使用者直接标示已辨识计分板特征的一正确位 置。在此情形下，如果用户接口 60B所提供的所有可能位置皆不正确，使 用者可根据请求讯息606,直接在计分板图像上标示已辨识计分板特征的正 确位置。因此，通过对应于请求讯息604及606的使用者响应，本发明可 判断已辨识计分板特征的正确性。当然，用户接口 60B所提供的可能位置 数量可根据实际需求进行调整，而不限于此。
简单地讲，由于本发明事先对所辨识计分板特征的正确性进行判断， 因此本发明可大幅地提升根据计分板特征变化所提取出的精彩片段的正确 性。
请继续参考图7A,图7A是本发明另一实施例用来产生一用户接口的 一流程70的示意图。流程70亦用来实现用户接口 ，以请求使用者确认对 应于一计分板图像的计分板特征是否辨识正确。在本实施例中，首先分析 已辨识计分板特征的一内容数据(步骤710)。接着，在用户接口上显示已 辨识计分板特征的内容数据(步骤720 )。然后，同时产生一请求讯息于该用户接口上，以请求使用者确认所分析的内容数据是否正确，进而接收一 使用者响应(步骤730 )。最后，本发明可根据使用者响应来判断已辨识计
分板特征的内容数据是否正确(步骤740)。
举例来说，请参考图7B,图7B是实现本发明流程70的一用户接口 70B的实施例示意图。用户接口 70B显示一计分板图像701,并通过一箭 头符号标示一已辨识计分板特征705 (即队伍「AAA」的分数栏位)，如图 7B所示。接着，用户接口 70B同时产生一请求讯息702，以请求使用者确 认计分板特征705的一分析数据是否正确。如果计分板特征705的分析数 据经使用者确认为正确，本发明可将运动视频中已辨识的计分板特征视为 正确，以进一步地根据已辨识计分板特征的变化，判断运动视频的精彩片 段。相反地，如果计分板特征705的分析数据不正确，用户接口70B则产 生另一相对应请求讯息，以请求使用者确认其他分析数据的正确性，直到 接收到使用者响应的指示为正确为止。
因此，通过确认分析数据的正确性，本发明实施例可进一步判断运动 视频中已辨识的计分板特征的正确性，以利后续精彩片段判断步骤的进行。
请参考图8A,图8A是本发明另一实施例用来产生一用户接口的一流 程80的示意图。流程80亦用来实现用户接口 ，以请求使用者确认对应于 一计分板图像的计分板特征是否辨识正确。在本实施例中，首先在用户接 口上显示一计分板图像(步骤810)。接着，在用户接口同时产生一请求讯 息，以请求使用者直接在计分板图像中标示一计分板特征的位置，进而接 收一使用者响应(步骤820)。最后，本发明可根据该使用者响应来判断已 辨识计分板特征的正确性(步骤830 )。
举例来说，请参考图8B，图8B是实现本发明流程80的一用户接口 80B的实施例示意图。用户接口 80B显示一计分板图像801,并同时产生 一请求讯息802,以请求使用者在计分板图像801中标示一计分板特征的位 置，例如队伍「BBB」分数栏位的位置。在此情形下， 一使用者响应805, 其可通过计算机鼠标产生，在计分板图像801中标示队伍「BBB」分数栏 位的位置，如图8B中的箭头符号，因此本发明实施例可据以获得计分板特 征的确切位置。
因此，通过上述实施例，本发明可通过用户接口，根据使用者的确认 信息判断运动视频中已辨识计分板特征的正确性。在此情形下，运动视频
中的精彩片段可更正确地被判断。请注意。上述用户接口的实施例仅为本 发明的举例说明，本领域具通常知识者当可根据实际需求作适当地修改， 例如将上述实施方式作适当地结合等变化，其亦属本发明的范围。
在根据使用者响应判断已辨识计分板特征的正确性之后，本发明可进 一步根据计分板特征的变化，正确地判断出运动视频中的精彩片段。请参
考图9,图9是本发明所提取的一精彩片段卯的实施例示意图。在本实施
例中，精彩片段90根据计分板图像907中一出局数栏位909的数字变化所 判断出来的一球员出局事件。其中，本发明实施例根据存储在数据库中相 关事件的信息，分析和记录球员出局事件的发生时间，以从棒球运动视频 中提取出图像帧FR1 - FR8,进而产生精彩片段90,并在一提取区域903 进行编辑。此外，精彩片段90另可通过一显示区域905进行浏览，而图像 帧FR1-FR8的发生时间被显示在一时间区域901中。
综合上述实施例，本发明通过事先通过用户接口确认计分板图像中已 辨识计分板特征的正确性，以提高判断运动视频中精彩片段的正确性，进 而提升使用者观看运动视频的乐趣及使用的便利性。
以上所述仅为本发明的优选实施例，凡依本发明权利要求书所做的均 等变化与修饰，皆应属本发明的涵盖范围。
权利要求
1. 一种用来判断一运动视频中精彩片段的装置，该运动视频包含多个图像帧，该装置包含有:一接收模块，用来接收该运动视频；一分析模块，耦接于该接收模块，用来对该运动视频进行分析，以辨识一计分板图像及多个计分板特征；一用户接口，耦接于该分析模块，用来显示至少一已辨识计分板特征，并产生一相对应请求讯息，以接收一使用者响应，该使用者响应包含该至少一已辨识计分板特征的一确认结果；一检测模块，耦接于该用户接口，用来根据该使用者响应，检测该计分板图像在该多个图像帧间的变化；以及一判断模块，耦接于该检测模块，用来根据该计分板图像的变化，判断该运动视频中的精彩片段。
2. 如权利要求1所述的装置，其中该多个图像帧中的至少一图像帧包含 有该计分板图像。
3. 如权利要求1所述的装置，其中该装置还包含有一数据库，用来存储 一元数据。
4. 如权利要求3所述的装置，其中该元数据包含该运动视频中精彩片段 的发生时间、长度及次数。
5. 如权利要求3所述的方法，其中该元数据根据该使用者响应产生。
6. 如权利要求5所述的装置，其中该使用者响应包含该至少一 已辨识计 分板特征的位置信息。
7. 如权利要求5所述的装置，其中该使用者响应包含「是」、「否」、「正 确』及r不正确」等信息中的其中之一。
8. 如权利要求5所述的装置，其中该使用者响应包含一数字。
9. 如权利要求1所述的装置，其中该分析模块还包含有 一第一比较器，用来比较该多个图像帧，以辨识出该多个图像帧间具有小变化的一区域；以及一第 一辨识器，用来判断该区域是否为该计分板图像。
10. 如权利要求1所述的装置，其中该装置还包含一数据库，用来存储 该计分板图像，以形成一参考图案，作为分析相同运动比赛类型的运动视 频的依据。
11. 如权利要求IO所述的装置，其中该分析模块还包含有一第二比较器，用来根据该数据库所存储的参考图案，对该多个图像帧进行比较；以及一第二辨识器，用来辨识该多个图像帧中符合该数据库所存储参考图 案的一区域，以判断为该多个计分板特征。
12. 如权利要求1所述的装置，其中该分析模块对该运动视频进行分析， 以辨识该多个计分板特征的内容数据，每一计分板特征的内容数据包含有 对应于每一图像帧的数字数据、文字数据、亮度及状态。
13. 如权利要求1所述的装置，其中该分析模块对该运动视频进行分析， 以辨识该多个计分板特征的位置、尺寸及形状。
14. 如权利要求1所述的装置，其中该用户接口还包含一请求讯息产生器，用来产生对应于该至少 一 已辨识计分板特征的该 请求讯息。
15. 如权利要求1所述的方法，其中该用户接口还包含 一使用者响应接收器，用来接收该使用者响应，以判断该至少一已辨识计分板特征是否正确。
全文摘要
用来判断运动视频中精彩片段的装置。该运动视频一般包含多个图像帧。该装置包含有一接收模块、一分析模块、一用户接口、一检测模块以及一判断模块。该接收模块用来接收该运动视频。该分析模块耦接于该接收模块，用来对该运动视频进行分析，以辨识一计分板图像及多个计分板特征。该用户接口耦接于该分析模块，用来显示至少一已辨识计分板特征，并产生一相对应请求讯息，以接收一使用者响应。其中，该使用者响应包含该至少一已辨识计分板特征的一确认结果。该检测模块耦接于该用户接口，用来根据该使用者响应，检测该计分板图像在该多个图像帧间的变化。该判断模块耦接于该检测模块，用来根据该计分板图像的变化，判断该运动视频中的精彩片段。
文档编号G06T7/20GK101377852SQ20081014425
公开日2009年3月4日 申请日期2008年7月28日 优先权日2007年8月29日
发明者林柏青, 江岳轩, 陈铭军, 黄鹤超 申请人:讯连科技股份有限公司