专利名称：视频显示装置、视频记录装置、视频处理装置以及方法
技术领域：
本发明涉及视频显示装置、视频记录装置、视频处理装置以及方法。
背景技术：
在通过数字电视广播发送的图像信号中包含与图像重叠的字幕(例如时刻显示、地震速报、新闻速报等的文字信息)。通过该字幕的重叠，除了本来的图像以外，还能够得到追加的信息。特别地，关于针对 地震、洪水、台风等自然灾害的警报、导弹攻击或恐怖行动等的突发事件信息、或新闻速报等的紧急信息，在字幕显示的前后或字幕显示中鸣响基于钟声、蜂鸣、音乐、电子音等的速报音(或警报音、钟声)，使视听者关注字幕。但是，对于视听者来说，有时不需要该字幕或速报音。特别是在记录通过广播送来的图像信号或音频信号并在此后进行再现和视听的情况下，在从广播时起到视听为止经过了充分时间的情况下，往往不需要字幕中包含的信息。在专利文献I中记载有如下技术:利用与第I图像信号相同内容的不存在字幕的第2图像信号的像素信号，对第I图像信号中的与字幕区域对应的像素信号进行置换，从而删除字幕。具体而言，第I图像信号是地面数字广播的12波段中进行的高清(HDTV)广播的图像信号，第2图像信号是对地面数字广播的部分接收层分配的I波段中进行的广播(以下称作单波段广播)的图像信号。在非专利文献I中示出在接收到收音机的紧急地震速报钟声后接通音频的装置，揭示了如下技术:观测广播节目的音频信号的频率特性，将特定的4个频率的振幅与阈值进行比较，进行紧急地震速报钟声的判定。专利文献I日本特开2007-336405号公报专利文献2日本特开2009-93472号公报专利文献3日本特开2007-180669号公报非专利文献I「緊急地震速報受信機O製作」、[online]、卜9>夕^夕技術、2009 年 I 月号、CQ 出版社、 1 > 夕一才、'7 卜 <URL:http://torag1.cqpub.c0.jp/tabid/25但是，伴有速报音的字幕是与本来的视频无关的字幕的可能性很高，有时期望消除这种子眷。
发明内容
本发明的目的在于，提供能够选择性地消除伴有速报音的字幕的视频处理装置、视频显示装置、视频记录装置和视频处理方法。本发明的视频处理装置的特征在于，该视频处理装置具有:字幕检测部，其从输入的一连串视频帧中检测包含字幕的字幕区域；速报音检测部，其与所述一连串视频帧对应地，从输入的一连串音频信号中检测速报音；以及视频处理部，其将所述一连串视频帧中被检测到所述字幕区域的视频帧中的所述字幕区域，置换成根据所述一连串视频帧中的所述字幕区域的字幕出现之前的视频帧而得到的图像，输出对所述字幕区域进行置换后的视频帧，所述视频处理部根据所述速报音检测部的检测结果，选择性地对伴有所述速报音的字幕的字幕区域进行置换。本发明的视频显示装置的特征在于，该视频显示装置具有:上述视频处理装置；以及再现部，其显示从所述视频处理装置的所述视频处理部输出的视频帧。本发明的视频记录装置的特征在于，该视频记录装置具有:上述视频处理装置；以及记录部，其记录从所述视频处理装置的所述视频处理部输出的视频帧。本发明的视频处理方法的特征在于，该视频处理方法具有以下步骤:字幕检测步骤，从输入的一连串视频帧中检测包含字幕的字幕区域；速报音检测步骤，与所述一连串视频帧对应地，从输入的一连串音频信号中检测速报音；以及视频处理步骤，将所述一连串视频帧中被检测到所述字幕区域的视频帧中的所述字幕区域，置换成根据所述一连串视频帧中的所述字幕区域的字幕出现之前的视频帧而得到的图像，输出对所述字幕区域进行置换后的视频帧，在所述视频处理步骤中，根据所述速报音检测步骤的检测结果，选择性地对伴有所述速报音的字幕的字幕区域进行置换。根据本发明，能够选择性地消除伴有速报音的字幕。
图1是示出实施方式I的视频处理装置的结构的框图。图2是示出视频记录部的结构的框图。图3是示出视频帧中包含的字幕区域的一例的图。图4是示出实施方式I的视频处理装置的动作的流程图。图5是示出字幕迁移的一例的图。图6是示出视频记录部的状态的一例的图。图7是示出视频记录部的状态的另一例的图。图8是示出字幕迁移的另一例的图。图9是示出实施方式2的视频处理装置的结构的框图。图10是示出字幕变更检测部中的检测信息的图。图11是示出字幕的一例的图。图12是用于说明字幕变更检测部中的字幕变更检测方法的图。图13是用于说明将字幕区域置换成根据周边像素而得到的图像的方法的图。图14是用于说明将字幕区域置换成根据周边像素而得到的图像的方法的图。图15是示出实施方式2中的步骤S405的判定结果的图。图16是示出实施方式3的视频处理装置的结构的框图。图17是示出实施方式3的视频处理装置的动作的流程图。图18是示出实施方式4的视频处理装置的结构的框图。图19是示出实施方式5的视频处理装置的结构的框图。图20是示出实施方式6的视频处理装置的结构的框图。图21是示出实施方式7的视频处理装置的结构的框图。图22是示出实施方式7的视频处理装置的动作的流程图。
图23是不出字幕迁移和速报音的一例的图。图24是示出字幕迁移和速报音的另一例的图。图25是示出字幕迁移和速报音的又一例的图。图26是示出实施方式8的视频处理装置的动作的流程图。图27是示出实施方式9的视频处理装置的动作的流程图。图28是示出实施方式10的视频处理装置的结构的框图。图29是示出实施方式11的视频显示装置的结构的图。图30是示出实施方式12的视频记录装置的结构的图。图31是示出实施方式13的视频记录再现装置的结构的图。图32是示出视频处理装置的变形例的框图。标号说明100、900、1600、1800、1900、2000、2400、3100、3202、3302、3403:视频处理装置；
101:视频记录部；102:子眷检测部；103:子眷变更检测部；104:记录控制部；105:视频处理部；1601:场景变更检测部；1801:文字识别部；2001:数据广播解析部；3200:视频显示装置;3201、3301、3401:接收部；3300:视频记录装置;3303、3402:记录部；3400:视频记录再现装置；2401:速报音检测部；2402:音频信号处理部；3101:系统控制部；3203、3404:再现部；3501:字幕/字幕变更检测部。
具体实施例方式下面，根据附图对本发明的实施方式进行说明。实施方式I图1是示出实施方式I的视频处理装置100的结构的框图。该视频处理装置100接收输入视频信号，从该输入视频信号中检测包含字幕的字幕区域，在检测到字幕区域的情况下，对该字幕区域进行置换(或插值)，输出消除字幕后的输出视频信号。输入视频信号例如是使用地面数字广播中的12波段广播的高清(HDTV)广播的视频信号等。字幕是在视频(例如主视频或本来的视频)中重叠、插入或合成的文字信息、记号信息、图形信息等的信息，例如是时刻显示、地震速报、新闻速报、字幕等。根据地域、内容和形式，字幕被称作解说词、副标题、滚动字幕、警报或叠印字幕等。在图1中，视频处理装置100具有视频记录部101、字幕检测部102、字幕变更检测部103、记录控制部104和视频处理部105。视频记录部101从外部接收一连串的视频信号(具体而言是一连串视频帧)作为输入视频信号，并将其记录在存储器中。这里，视频帧是指构成动态图像的一个一个的静止图像。在以下的说明中，将“视频帧”适当简称作“帧”。具体而言，依次对视频记录部101输入一连串视频巾贞，视频记录部101记录一连串视频巾贞中的现在的视频巾贞即当前视频巾贞和该当前视频帧之前的视频帧。并且，视频记录部101记录一连串视频帧中的字幕出现(或字幕显示)之前的视频帧。字幕出现之前的视频帧优选的是字幕出现紧前的视频帧，在一个方式中，是字幕出现的视频帧的前一个视频帧。针对字幕的出现，只要适当决定何种程度之前的视频帧为字幕出现之前的视频帧即可。具体而言，只要字幕出现之前的视频帧是能够良好地对字幕区域进行置换或插值的程度之前的视频帧即可，例如可以是字幕出现的视频帧的数帧前的视频帧。在本例子中，如图2所示，视频记录部101包括存储区域A、存储区域B和存储区域C。视频记录部101受到后述记录控制部104的控制，对存储器进行管理。具体而言，视频记录部101根据来自记录控制部104的控制信号，将当前视频帧和其紧前的视频帧保存在存储区域B和存储区域C中，将字幕出现紧前的视频帧保存在存储区域A中。这里，视频记录部101是帧存储器，分别针对存储区域A、B、C记录I帧的视频信号。但是，视频记录部101也可以在存储区域A、B、C的任意一方中记录I帧中的一部分(具体而言，仅是字幕部分)。在一个例子中，在存储区域中记录的I帧中的一部分是预先决定的固定位置。例如，在地面数字广播中，绝大多数情况下在视频的上部显示字幕，因此，如图3所示，视频记录部101也可以记录由视频帧表示的视频整体区域301中的上部的部分区域302的视频信号。但是，I帧中的一部分可以是可变位置，例如可以利用字幕检测部102的检测结果来决定。再次参照图1，字幕检测部102从输入到视频处理装置100的一连串视频帧中，检测包含字幕的字幕区域。具体而言，字幕检测部102针对由视频记录部101记录的当前视频帧进行字幕区域的检测。更具体而言，字幕检测部102从视频记录部101中读出当前视频帧，对该当前视频帧进行解析，判定在当前视频帧中是否包含字幕。然后，在判定为包含字幕的情况下，字幕检测部102输出表示包含该字幕的字幕区域的区域信息作为检测结果。这里，字幕检测部102检测矩形区域作为字幕区域，输出该矩形区域的坐标作为区域信息。但是，字幕区域的形状不限于矩形，例如也可以是梯形、平行四边形、椭圆形等。并且，字幕区域也可以是构成字幕的像素的集合。另一方面，在判定为在当前视频帧中不包含字幕的情况下，字幕检测部102输出表示不包含字幕的信息(例如仅是原点的坐标)作为检测结果。但是，字幕检测部102也可以构成为在判定为不包含字幕的情况下不进行任何输出。作为字幕检测部102中的字幕检测算法，例如使用专利文献2所示的方法。但是，不限于该方法，只要是能够检测字幕区域的方法即可，也可以使用其它方法。字幕变更检测部103从输入到视频处理装置100的一连串视频帧中检测字幕的出现。具体而言，字幕变更检测部103针对由视频记录部101记录的当前视频帧进行字幕出现的检测。在一个方式中，字幕变更检测部103根据字幕检测部102的检测结果，在当前视频帧紧前的视频帧中不包含字幕，在当前视频帧中包含字幕的情况下，输出表示出现字幕的信息作为检测结果。在另一方式中，字幕变更检测部103从视频记录部101中读出当前视频帧和当前视频帧紧前的视频帧，对两个视频帧进行比较，检测字幕的出现。例如，字幕变更检测部103检测构成字幕的文字的边缘和该文字的轮廓部的边缘，根据检测到的边缘的变化，检测字幕的出现。关于基于该边缘的字幕变更的检测，在实施方式2中详细说明。字幕变更检测部103也可以从输入到视频处理装置100的一连串视频帧中，检测字幕的消失。例如，字幕变更检测部103可以根据字幕检测部102的检测结果，在当前视频帧紧前的视频帧中包含字幕，在当前视频帧中不包含字幕的情况下，输出表示字幕消失的信息作为检测结果。记录控制部104根据字幕检测部102和字幕变更检测部103的检测结果，对视频记录部101进行控制。具体而言，记录控制部104根据字幕变更检测部103的检测结果，记录输入到视频处理装置100的一连串视频帧中的字幕出现之前的视频帧。更具体而言，在由字幕变更检测部103针对当前视频帧检测到字幕的出现的情况下，记录控制部104对视频记录部101进行控制，将记录在存储区域B或C中的当前视频帧紧前的视频帧作为字幕出现紧前的视频中贞，记录在存储区域A中。也可以在由字幕变更检测部103针对当前视频帧检测到字幕的消失的情况下，或由字幕检测部102针对当前视频帧检测到无字幕的情况下，记录控制部104对视频记录部101进行控制，消除在存储区域A中记录的视频帧。并且，记录控制部104对视频记录部101进行控制，按照每帧，将输入到视频处理装置100的视频帧交替记录在存储区域B和存储区域C的一方中。即，记录控制部104对视频记录部101进行控制，使得在存储区域B和存储区域C之间，按照每帧调换当前视频帧用的存储区域和当前视频帧紧前的视频帧用的存储区域。视频处理部105将输入到视频处理装置100的一连串视频帧中的、由字幕检测部102检测到字幕区域的视频帧中的字幕区域，置换成根据该字幕区域的字幕出现之前的视频帧而得到的图像。即，视频处理部105根据该字幕区域的字幕出现之前的视频帧，对检测到字幕区域的视频帧中的字幕区域进行插值。例如，视频处理部105根据字幕出现之前的视频帧取得或生成无字幕的置换图像，将字幕区域置换成置换图像。视频处理部105可以取得字幕出现之前的视频帧中的与字幕区域对应的区域的图像作为置换图像，也可以对与字幕区域对应的区域的图像实施图像处理而生成置换图像。上述与字幕区域对应的区域可以是与字幕区域相同的区域，也可以是包含与字幕区域的图像类似的图像的区域。在本例子中，在由字幕检测部102针对当前视频帧检测到字幕区域的情况下，视频处理部105将在存储区域B或C中记录的当前视频帧的字幕区域置换成根据在存储区域A中记录的字幕出现紧前的视频帧而得到的图像，输出对字幕区域进行置换后的当前视频帧作为输出视频帧。例如，视频处理部105从字幕检测部102受理区域信息，将当前视频帧中的由该区域信息所示的区域(即字幕区域)的视频信号，置换成字幕出现紧前的视频帧中的由该区域信息所示的区域(即与字幕区域对应的区域)的视频信号。图4是示出实施方式I的视频处理装置100的动作的流程图。下面，参照图4对视频处理装置100的动作进行说明。另外，按照每帧执行图4的处理。视频处理装置100将输入的视频帧(或I帧的视频信号)作为当前视频帧，记录在当前视频帧用的存储区域(存储区域B或C)中(S401)。接着，视频处理装置100针对在当前视频帧用的存储区域中记录的视频帧进行字幕区域的检测(S402)。接着，视频处理装置100针对在当前视频帧用的存储区域中记录的当前视频帧进行字幕变更(字幕的出现和消失)的检测(S403)。接着，视频处理装置100判定在步骤S402中是否检测到字幕区域(S404)，在检测到字幕区域的情况下(S404:是)，进入步骤S405，在没有检测到字幕区域的情况下(S404:否)，进入步骤S408。在步骤S405中，视频处理装置100判定在步骤S403中是否检测到字幕的出现，在检测到字幕的出现的情况下(S405:是)，进入步骤S406，在没有检测到字幕的出现的情况下(S405:否)，进入步骤S407。在步骤S406中，视频处理装置100将在当前视频帧紧前的视频帧用的存储区域中记录的视频帧(即上次在步骤S401中记录的视频帧)记录在字幕出现紧前的视频帧用的存储区域A中，进入步骤S407。在步骤S407中，视频处理装置100从当前视频帧用的存储区域中读出当前视频帧，将该当前视频帧中的在步骤S402中检测到的字幕区域的图像，置换成根据在存储区域A中记录的字幕出现紧前的视频帧而得到的图像，输出消除字幕后的当前视频帧作为输出视频巾贞，进入步骤S411。在步骤S408中，视频处理装置100判定在步骤S403中是否检测到字幕的消失，在检测到字幕的消失的情况下(S408:是)，进入步骤S409，在没有检测到字幕的消失的情况下(S408:否)，进入步骤S410。在步骤S409中，视频处理装置100清除存储区域A，进入步骤S410。在步骤S410中，视频处理装置100从当前视频帧用的存储区域中读出当前视频帧，输出该当前视频帧作为输出视频帧，进入步骤S411。在步骤S411中，视频处理装置100进行在存储区域B与存储区域C之间调换当前视频帧用的存储区域和当前视频帧紧前的视频帧用的存储区域的处理，结束处理。在上述动作中，例如，步骤S401由视频记录部101执行，步骤S402由字幕检测部102执行，步骤S403由字幕变更检测部103执行，步骤S404 S406、S408 S409、S411由记录控制部104执行，步骤S407、S410由视频处理部105执行。另外，在图4中，可以省略步骤S408，在步骤S404的判定结果为“否”的情况下，视频处理装置100也可以进入步骤S409。并且，可以省略步骤S408和S409，在步骤S404的判定结果为“否”的情况下，视频处理装置100也可以进入步骤S410。图5是示出字幕迁移的一例的图。下面，对图5那样字幕迁移的情况下的视频处理装置100的各部的动作和存储状态进行说明。在期间501中，不存在子眷。因此，在子眷检测部102中没有检测到子眷，在子眷变更检测部103中没有检测到字幕变更。记录控制部104进行调换当前视频帧用的存储区域和当前视频帧紧前的视频帧用的存储区域的控制。由此，在存储区域B和C中，按照每帧而交替保存视频帧。具体而言，关于视频记录部101的状态，按照每帧而交替重复图6的状态601和状态602。由于在期间501中不存在字幕，因此，在状态601和602中的任意一方中，存储区域A为空(没有任何记录的状态)。在状态601中，存储区域C是当前视频帧用的存储区域，存储区域B是当前视频帧紧前的视频帧用的存储区域。在状态602中，存储区域B是当前视频帧用的存储区域，存储区域C是当前视频帧紧前的视频帧用的存储区域。在期间501中，视频处理部105不进行置换，输出当前视频帧作为输出视频帧。在期间502中，存在字幕Tl，在从期间501向期间502转移时，产生从无字幕到字眷Tl的子眷变更TCl。在期间502的开头(最初的巾贞)，在子眷检测部102中检测到子眷区域，在字幕变更检测部103中检测到字幕的出现。当设字幕变更TCl时刻的存储状态为图6的状态601时，记录控制部104根据字幕变更检测部103的检测结果，将在存储区域B中记录的视频帧(即当前视频帧紧前的视频帧)复制到存储区域A中。由此，视频记录部101的存储状态从图6的状态601迁移到图7的状态701。在期间502之后的期间中，在字幕检测部102中检测到字幕区域，在字幕变更检测部103中没有检测到字幕变更。记录控制部
104进行调换当前视频帧用的存储区域和当前视频帧紧前的视频帧用的存储区域的控制。由此，在存储区域B和C中，按照每帧而交替保存视频帧。具体而言，关于视频记录部101的状态，按照每帧而交替重复图7的状态702和状态703。在状态702中，存储区域B是当前视频帧用的存储区域，存储区域C是当前视频帧紧前的视频帧用的存储区域。在状态703中，存储区域C是当前视频帧用的存储区域，存储区域B是当前视频帧紧前的视频帧用的存储区域。在存储区域A中依然保持字幕Tl出现紧前的视频帧。在期间502中，视频处理部105通过存储区域A的视频帧对当前视频帧的字幕区域进行置换，输出消除字幕Tl后的当前视频巾贞作为输出视频中贞。在期间503中，存在字幕T2，在从期间502向期间503转移时，产生字幕从字幕Tl切换成子眷T2的子眷变更TC2。在期间503中，在子眷检测部102中检测到子眷区域，在子幕变更检测部103中没有检测到字幕的出现。记录控制部104进行调换当前视频帧用的存储区域和当前视频帧紧前的视频帧用的存储区域的控制。由此，关于视频记录部101的状态，按照每帧而交替重复图7的状态702和状态703。在存储区域A中依然保持字幕Tl出现紧前的视频帧。在期间 503中，视频处理部105通过存储区域A的视频帧对当前视频帧的字幕区域进行置换，输出消除字幕T2后的当前视频帧作为输出视频帧。在期间504中，不存在字幕，在从期间503向期间504转移时，产生从字幕T2到无字幕的字幕变更TC3。在期间504的开头(最初的帧)，在字幕检测部102中没有检测到字幕区域，在字幕变更检测部103中检测到字幕的消失。记录控制部104根据字幕变更检测部103的检测结果，将存储区域A的内容更新成空。由此，视频记录部101的存储状态例如从图 的状态703迁移到图6的状态601。在期间504之后的期间中，在字幕检测部102中没有检测到字幕区域，在字幕变更检测部103中没有检测到字幕变更。记录控制部104进行调换当前视频帧用的存储区域和当前视频帧紧前的视频帧用的存储区域的控制。由此，在存储区域B和C中，按照每帧而交替保存视频帧。具体而言，关于视频记录部101的状态，按照每帧而交替重复图6的状态601和状态602。存储区域A依然为空。在期间504中，视频处理部105不进行置换，输出当前视频帧作为输出视频帧。图8是示出字幕迁移的另一例的图。图8示出在从字幕Tl向字幕T2迁移的期间内字幕消失的情况。下面，对图8那样字幕迁移的情况下的视频处理装置100的各部的动作和存储状态进行说明。在期间801中，不存在字幕。视频处理装置100的各部的动作和存储状态与图5的期间501的情况相同。在期间802中，存在字幕Tl，在从期间801向期间802转移时，产生从无字幕到字幕Tl的字幕变更TC11。视频处理装置100的各部的动作和存储状态与图5的期间502的情况相同。在期间803中，不存在字幕，在从期间802向期间803转移时，产生从字幕Tl到无字幕的字幕变更TC12。视频处理装置100的各部的动作和存储状态与图5的期间504的情况相同。在期间804中，存在字幕T2，在从期间803向期间804转移时，产生从无字幕到字幕T2的字幕变更TC13。视频处理装 置100的各部的动作和存储状态与图5的期间502的情况相同。该情况下，视频处理部105通过在存储区域A中记录的字幕T2出现紧前的视频帧对当前视频帧的字幕区域进行置换，输出消除字幕T2后的当前视频帧作为输出视频帧。
在期间805中，不存在字幕，在从期间804向期间805转移时，产生从字幕T2到无字幕的字幕变更TC14。视频处理装置100的各部的动作和存储状态与图5的期间504的情况相同。根据以上说明的本实施方式1，能够得到下述(I) (3)的效果。(I)在本实施方式中，视频处理装置将视频帧的字幕区域置换成根据该字幕区域的字幕出现之前的视频帧而得到的图像。因此，根据本实施方式，能够根据I种视频信号对视频帧中包含的字幕区域进行置换。具体而言，仅通过I种视频信号，就能够正确且没有不舒适感地对字幕区域进行置换，能够生成或显示消除字幕后的(或无字幕的)良好的视频帧。另一方面，如专利文献I记载的技术那样，在使用与视频信号不同种类的视频信号消除该视频信号中包含的字幕的结构中，在不存在不同种类的视频信号的情况下，无法消除字幕。例如，在2008年3月底以前，义务进行从一个广播站通过12波段广播和单波段广播播放同一节目的联播，但是，目前没有这种义务，在一部分广播中不实施联播。即，有时不存在其它种类的视频信号。(2)视频处理装置从一连串视频帧中检测字幕的出现，根据该检测结果记录上述一连串视频帧中的上述字幕出现之前的视频帧。根据本方式，能够选择性地记录在字幕区域的置换中使用的视频帧。(3)视频处理装置具有视频记录部，该视频记录部依次被输入一连串视频帧，记录当前视频帧和此前的视频帧，针对记录的当前视频帧进行字幕区域的检测和字幕的出现的检测。然后，在检测到字幕出现的情况下，记录已记录的当前视频帧之前的视频帧作为字幕出现之前的视频帧。并且，在检测到字幕区域的情况下，将当前视频帧的字幕区域置换成根据已记录的字幕出现之前的视频帧而得到的图像，输出对字幕区域进行置换后的当前视频帧。根据本方式，能够依次对依次输入的视频帧进行处理。实施方式2图9是示出实施方式2的视频处理装置900的结构的框图。该视频处理装置900相对于实施方式I的视频处理装置100，不同之处在于，根据字幕变更的检测结果对字幕置换方法进行切换，其它部分大致相同。在以下的说明中，省略或简化与实施方式I相同的部分的说明，对与实施方式I相同或对应的要素标注相同标号。字幕变更检测部103从输入的一连串视频帧中检测字幕的出现和字幕的切换作为字幕变更。在一个方式中，字幕变更检测部103检测构成字幕的文字(字幕文字)的边缘和该文字的轮廓部的边缘，根据检测到的边缘的变化对字幕的切换进行检测。具体而言，字幕变更检测部103检测当前视频帧紧前的视频帧中的字幕区域内的文字和轮廓部的边缘，检测当前视频帧中的字幕区域内的文字和轮廓部的边缘，如果两个视频帧之间的边缘的变化为预先确定的水平以上，则判定为产生字幕的切换，如果不是这样，则判定为没有产生字眷的切换。字幕变更检测部103也可以进一步检测字幕的消失作为字幕变更。在本例子中，字幕变更检测部103进行字幕变更的检测，输出表示其检测结果的标志。图10示出从字幕变更检测部103输出的标志的一览。具体而言，字幕变更检测部103根据字幕检测部102的检测结果，如下所述进行字幕变更的检测。在当前视频帧紧前的视频帧中无字幕，在当前视频帧中也无字幕的情况下，输出表示无字幕和字幕变更的“无字幕”标志。在当前视频帧紧前的视频帧中无字幕，在当前视频帧中存在字幕的情况下，输出表示从无字幕到有字幕的变化(字幕的出现)的“无一有”标志。在当前视频帧紧前的视频帧中存在字幕，在当前视频帧中无字幕的情况下，输出表示从有字幕到无字幕的变化(字幕的消失)的“有一无”标志。在当前视频帧紧前的视频帧中存在字幕，在当前视频帧中也存在字幕的情况下，判定字幕的切换，在判定为字幕已切换时，输出表示从有字幕到其它字幕的变化(字幕的切换)的“有一有”标志。另一方面，在判定为没有切换字幕时，输出表示存在字幕但无字幕变更的“有字幕”标志。下面，参照图11示出上述字幕的切换判定的一例。图11中示出由视频帧表示的视频整体的区域1101、该区域1101中包含的字幕区域1102、该字幕区域1102中包含的字幕 1103。字幕区域1102由字幕检测部102检测。为了简便，设字幕区域1102中的字幕1103以外的区域的各像素的亮度值为相同亮度值kc。一般地,如图12的(a)所示，字幕包括具有一定文字色的文字1201和具有一定轮廓色的文字的轮廓部1202。这里，亮度值由8bit的整数值(O 255)表示，设文字色为白色(亮度值255)，轮廓色为黑色(亮度值O)。图12的(b)示出图12的(a)的线LA (通过字幕文字“ f ”最上部的轮廓部的线)中的亮度分布。图12的(c)示出图12的(a)的线LB (通过字幕文字“ ^ ”的中心部的线)中的亮度分布。在图12的(b)中，按照背景色(亮度值kc)、轮廓色(亮度值O)、背景色(亮度值kc)的顺序发生变化，亮度值急剧变化的边缘存在2处。在图12的(c)中，按照背景色(亮度值kc)、数像素的轮廓部的轮廓色(亮度值O)、文字色(亮度值255)、数像素的轮廓部的轮廓色(亮度值O)、背景色(亮度值kc)的顺序发生变化，亮度值急剧变化的边缘存在4处。字幕变更检测部103针对视频帧的整体或字幕区域，在水平方向和垂直方向上进行上述边缘检测，根据其检测结果检测字幕的切换。在字幕已切换的情况下，边缘的个数和位置变化，因此，在一个方式中，字幕变更检测部103根据检测到的边缘的个数和位置的信息检测字幕的切换。例如，字幕变更检测部103设图11的字幕区域1102左上端位置的坐标为(0、0)，利用二维矢量表示检测到的各边缘，求出各个矢量的大小之和，根据该和的大小的变化来判定字幕变更。并且，例如，字幕变更检测部103也可以根据检测到的边缘坐标的个数的差分来判定字幕变更。另外，也可以仅在水平方向上或仅在垂直方向上实施上述边缘的检测。在上述字幕的边缘的检测中，例如，在彼此相邻的2个像素的亮度值的差分的绝对值d为预先确定的阈值kd以上的情况下，即满足d > kd的情况下，字幕变更检测部103判定为在两个像素之间存在边缘。 字幕变更检测部103不仅可以使用亮度值来检测边缘，而且可以使用颜色信息来检测边缘。例如，在像素的信息由亮度信号Y和色差信号(Cb、Cr)表示的情况下，也可以将它们视为三维矢量，使用彼此相邻的2个像素之间的像素信息的矢量的大小的差分的绝对值来检测边缘。另外，上述字幕的切换的判定方法是一例，只要能够检测当前视频帧与当前视频帧紧前的视频帧之间的字幕的切换即可，也可以使用其它方法。并且，在上述的说明中，例示出使用字幕检测部102的检测结果来检测字幕变更(出现、消失和切换)的结构，但是，字幕变更检测部103也可以通过其它方法检测字幕变更。例如，字幕变更检测部103也可以从视频记录部101中读出当前视频帧和当前视频帧紧前的视频帧。对两个视频帧进行比较，检测字幕变更(出现、消失和切换)。该情况下，字幕变更检测部103例如通过上述的边缘检测方法检测构成字幕的文字的边缘和该文字的轮廓部的边缘，根据检测到的边缘的变化来检测字幕变更。另外，字幕变更检测部103也可以从I帧的视频信号中检测字幕变更，还可以根据字幕检测部102的检测结果，从字幕区域的视频信号中检测字幕变更。视频处理部105在对检测到字幕区域的视频帧中的字幕区域进行置换的情况下，根据字幕变更检测部103的检测结果，在置换对象视频帧紧前的字幕变更为字幕的出现时，置换成根据字幕区域的字幕出现之前的视频帧而得到的图像，在置换对象视频帧紧前的字幕变更为字幕的切换时，置换成根据置换对象视频帧的字幕区域的周边像素而得到的图像。即，视频处理部105在对检测到字幕区域的视频帧中的字幕区域进行插值的情况下，根据字幕变更检测部103的检测结果，在插值对象的视频帧紧前的字幕变更为字幕的出现时，根据字幕区域的字幕出现之前的视频帧进行插值，在插值对象的视频帧紧前的字幕变更为字幕的切换时，根据插值对象的视频帧的字幕区域的周边像素进行插值。下面，参照图13和图14示出将字幕区域置换成根据其周边像素而得到的图像的方法的一例。图13示出包含字幕1301的字幕区域1302、该字幕区域1302的外侧区域1303。外侧区域1303由在水平方向和垂直方向上与字幕区域1302相邻的像素构成。视频处理部105将字幕区域1302内的像素的像素值置换成根据外侧区域1303的像素(字幕区域1302外侧的像素)的像素值而得到的像素值。例如如图14所示，视频处理部105在求出字幕区域1302内的像素PI的置换后的像素值的情况下，求出外侧区域1303的像素中的、相对于置换对象像素PI位于上下左右的4个像素PA、PB、PC、PD的像素值的平均值。例如，在 像素由RGB三原色的像素值(R、G、B)表示的情况下，视频处理部105通过下述式(I)，根据像素PA的像素值(RA、GA、BA)、像素PB的像素值(Rb、Gb、Bb)、像素PC的像素值(Rc、Gc、Bc)、像素TO的像素值(Rd、Gd、Bd)求出置换对象像素PI的像素值(R1、G1、B1)。另夕卜，各色的像素值例如由8bit (O 255)表示。
权利要求
1.一种视频处理装置，其特征在于，该视频处理装置具有: 字幕检测部，其从输入的一连串视频帧中检测包含字幕的字幕区域； 速报音检测部，其与所述一连串视频帧对应地，从输入的一连串音频信号中检测速报音；以及 视频处理部，其将所述一连串视频帧中被检测到所述字幕区域的视频帧中的所述字幕区域，置换成根据所述一连串视频帧中的所述字幕区域的字幕出现之前的视频帧而得到的图像，输出对所述字幕区域进行置换后的视频帧， 所述视频处理部根据所述速报音检测部的检测结果，选择性地对伴有所述速报音的字幕的字幕区域进行置换。
2.根据权利要求1所述的视频处理装置，其特征在于， 所述视频处理装置还具有: 字幕变更检测部，其从所述一连串视频帧中检测字幕的出现；以及置换用视频记录部，其根据所述字幕变更检测部的检测结果，记录所述一连串视频帧中的所述字幕出现之前的视频帧， 所述视频处理部将所述字幕区域置换成根据所述记录的视频帧而得到的图像。
3.根据权利要求2所述的视频处理装置，其特征在于， 所述视频处理装置还具有视频记录部，该视频记录部被依次输入所述一连串视频帧，记录当前视频帧和此前的视频帧， 所述字幕检测部针对所述记录的当前视频帧进行所述字幕区域的检测，` 所述字幕变更检测部针对所述记录的当前视频帧检测所述字幕的出现， 在由所述字幕变更检测部检测到所述字幕的出现的情况下，所述置换用视频记录部记录所述记录的当前视频帧之前的视频帧，作为所述字幕出现之前的视频帧， 在由所述字幕检测部检测到所述字幕区域的情况下，所述视频处理部将所述当前视频帧中的所述字幕区域，置换成根据所述记录的所述字幕出现之前的视频帧而得到的图像，输出对所述字幕区域进行置换后的当前视频帧。
4.根据权利要求2或3所述的视频处理装置，其特征在于， 所述字幕变更检测部从所述一连串视频帧中检测字幕的出现和切换，作为字幕变更，所述视频处理部在对被检测到所述字幕区域的视频帧中的所述字幕区域进行置换的情况下，根据所述字幕变更检测部的检测结果，在所述置换对象视频帧紧前的字幕变更为字幕的出现时，置换成根据所述字幕区域的字幕出现之前的视频帧而得到的图像，在所述置换对象视频帧紧前的字幕变更为字幕的切换时，置换成根据所述置换对象视频帧的所述字幕区域的周边像素而得到的图像。
5.根据权利要求2 4中的任意一项所述的视频处理装置，其特征在于， 所述字幕变更检测部检测构成字幕的文字的边缘和该文字的轮廓部的边缘，根据检测到的边缘的变化来检测所述字幕的出现或切换。
6.根据权利要求1 5中的任意一项所述的视频处理装置，其特征在于， 所述视频处理装置还具有场景变更检测部，该场景变更检测部从所述一连串视频帧中检测场景变更， 所述视频处理部在对被检测到所述字幕区域的视频帧中的所述字幕区域进行置换的情况下，根据所述场景变更检测部的检测结果，在所述字幕区域的字幕出现之前的视频帧与所述置换对象视频帧之间没有产生场景变更时，置换成根据所述字幕区域的字幕出现之前的视频帧而得到的图像，在所述视频帧之间产生场景变更时，置换成根据所述置换对象视频帧的所述字幕区域的周边像素而得到的图像。
7.根据权 利要求1 6中的任意一项所述的视频处理装置，其特征在于， 所述字幕检测部针对所述视频帧进行文字识别，根据该文字识别的结果，检测包含文字信息的区域作为所述字幕区域。
8.根据权利要求1 7中的任意一项所述的视频处理装置，其特征在于， 在接收到紧急警报广播信号的情况下，不进行所述字幕区域的置换。
9.根据权利要求1 8中的任意一项所述的视频处理装置，其特征在于， 在接收到数据广播信号，且在该数据广播信号中包含预先确定的信息的情况下，不进行所述字幕区域的置换。
10.根据权利要求1 9中的任意一项所述的视频处理装置，其特征在于， 所述视频处理部选择性地对在以检测到所述速报音的时刻为基准的预先确定的期间内检测到的字幕区域进行置换。
11.根据权利要求1 9中的任意一项所述的视频处理装置，其特征在于， 所述视频处理装置具有字幕变更检测部，该字幕变更检测部从所述一连串视频帧中检测字幕的出现， 在以检测到所述速报音的时刻为基准的预先确定的第I期间内检测到所述字幕的出现的情况下，所述视频处理部选择性地对在以检测到该速报音的时刻为基准的预先确定的第2期间内检测到的字幕区域进行置换。
12.根据权利要求1 9中的任意一项所述的视频处理装置，其特征在于， 所述视频处理装置具有字幕变更检测部，该字幕变更检测部从所述一连串视频帧中检测字幕的出现， 在以检测到所述速报音的时刻为基准的预先确定的期间内检测到所述字幕的出现的情况下，所述视频处理部选择性地对包含该字幕的字幕区域进行置换。
13.根据权利要求1 12中的任意一项所述的视频处理装置，其特征在于， 所述视频处理装置还具有音频信号处理部，该音频信号处理部针对所述音频信号进行降低由所述速报音检测部检测到的速报音的音量的处理。
14.一种视频显示装置，其特征在于，该视频显示装置具有: 权利要求1 13中的任意一项所述的视频处理装置；以及 再现部，其显示从所述视频处理装置的所述视频处理部输出的视频帧。
15.一种视频记录装置，其特征在于，该视频记录装置具有: 权利要求1 13中的任意一项所述的视频处理装置；以及 记录部，其记录从所述视频处理装置的所述视频处理部输出的视频帧。
16.一种视频处理方法，其特征在于，该视频处理方法具有以下步骤: 字幕检测步骤，从输入的一连串视频帧中检测包含字幕的字幕区域； 速报音检测步骤，与所述一连串视频帧对应地，从输入的一连串音频信号中检测速报音；以及视频处理步骤，将所述一连串视频帧中被检测到所述字幕区域的视频帧中的所述字幕区域，置换成根据所述一连串视频帧中的所述字幕区域的字幕出现之前的视频帧而得到的图像，输出对所述字幕区域进行置换后的视频帧，在所述视频处理步骤中，根据所述速报音检测步骤的检测结果，选择性地对伴有所述速报音的字幕的字幕区域进行置换。
全文摘要
本发明提供视频显示装置、视频记录装置、视频处理装置以及方法，能够选择性地消除伴有速报音的字幕。视频处理装置(2400)具有字幕检测部(102)，其从输入的一连串视频帧中检测包含字幕的字幕区域；速报音检测部(2401)，其与一连串视频帧对应地，从输入的一连串音频信号中检测速报音；以及视频处理部(105)，其将一连串视频帧中被检测到字幕区域的视频帧中的字幕区域，置换成根据一连串视频帧中的字幕区域的字幕出现之前的视频帧而得到的图像，输出对字幕区域进行置换后的视频帧。视频处理部(105)根据速报音检测部(2401)的检测结果，选择性地对伴有速报音的字幕的字幕区域进行置换。
文档编号H04N9/82GK103106911SQ201210396280
公开日2013年5月15日 申请日期2012年10月18日 优先权日2011年10月19日
发明者大塚功, 福田智教 申请人:三菱电机株式会社