图像信号产生装置、图像信号产生方法及程序的制作方法

专利名称：图像信号产生装置、图像信号产生方法及程序的制作方法
技术领域：
本发明涉及图像信号产生装置、图像信号产生方法以及图像信号 产生程序。更具体地讲，本发明涉及一种用于在诸如电视接收机的图 像显示装置上显示多画面(multiscreen)的技术。
背景技术：
许多目前的电视接收机一般包括一种多画面显示功能，在这种多 画面显示功能中，对画面进行分割并且从左上到右下按照频道编号的 顺序显示当前在每个频道上接收到的视频。用户可以使这种多画面被 显示并且选择期望节目。曰本未审查专利申请>^报No. H10-229560 公开了一个典型多画面显示技术的例子。

发明内容
大多数现有技术的多画面显示器仅按顺序显示频道，并且几乎没 有根据用户偏爱对频道进行排序的技术。这意味着为了找到用户喜 欢的正在广播的节目的频道，用户必须用^L觉浏览显示在多画面上的 每个频道。要注意，尽管描述了在电视接收机上观看电视广播的例 子，但是即使在多画面被显示在除了电视接收机以外的图像显示装置 上的情况下，当显示形成多画面的多个画面时，用户仍然必须用视觉 浏览显示在多画面上的每个频道。 鉴于上述主题，构思了本发明，并且本发明旨在提供一种能够根 据用户的偏爱进行显示的多画面。
本发明的一个实施例被应用于产生用于将每个均包括视频信息的 多个内容显示为多画面的视频信号。处理内容如下。获取了多个内容 的视频信息，并且从多个视频信息获取各种特征信息。此后，基于获 取的多个特征信息，改变视频信息的顺序。然后，基于改变后的视频 信息的顺序，布置所述多个视频信息的显示位置，以产生要显示在显 示装置上的视频信号。
从视频信号获取特征信息。基于这个信息，对诸如频道的内容进 行排序并且确定多画面中的内容的布局。
根据本发明，能够根据用户的偏爱以多种顺序显示多画面。作为 一个例子，当本发明被应用于电视接收机时，可以将频道良好地布置 在用于显示许多频道的多画面中。


图1是根据本发明实施例的电视接收机和用于操作该电视接收机
的红外遥控器的示意图2是电视接收机的功能框图； 图3是特征量检测单元的功能框图4是根据本实施例的另一具体实施例的电视接收机的功能框
图5是字幕检测单元的功能框图6A是字幕识别单元的功能框图，图6B是用于解释字幕部分
过滤器的功能的示意图7是示出了在节目中出现字幕的一个例子； 图8是示出了字幕检测单元的操作的流程图； 图9是示出了字幕识别单元的操作的流程图； 图io是场景改变检测单元的功能框图； 图ii是示出了场景改变检测单元的操作的流程图12是主题检测单元的功能框图； 图13是示出了主题检测单元的操作的流程图； 图14是用于解释搜索单元和加法器的示意图； 图15是示出了特征量表的一个例子的图16A到16E是示意性示出从节目开始到结束的时间流程以及 检测到的各种特征在该流程中出现的定时的图表；以及 图17是示出了排序单元的处理的流程图。
具体实施例方式
现在，将参照图1到图17来描迷本发明的优选实施例。 图1是电视接收机(在下文中简称为"tv") 101和用于操作tv 101的红外(IR)遥控器(在下文中简称为"遥控器，，)103的示意 图。tv 101包括形成显示单元的LCD显示器102和接收由遥控器 103发出的IR信号的IR接收器单元104。作为根据本实施例的功能 的多画面被显示在LCD显示器102上。这里，"多画面"是一种显示 配置，在这种显示配置中，LCD显示器102被分割成预定数目的区 域，并且各个接收频道的内容被分别显示在这些区域中。
遥控器103设置有频道按钮105、音量按钮106以及频道列表显 示按钮107,其中，频道按钮105用于在接收频道之间进行切换，音 量按钮106用于调节音量，频道列表显示按钮107用于显示上述作为 根据本实施例的功能的多画面。多画面的显示顺序为从画面的左至右 从上至下。在遥控器103上，用于改变显示多画面的顺序的按钮排列 在频道列表显示按钮107的右侧。"类别顺序"按钮108用于按照在 EPG(电子节目指南)中给出的节目类别的顺序来显示频道。当按下 这个按钮时，频道被分类到包括在EPG中的节目类别中并且接收频 道从多画面的左上到右下按照类别的顺序进行排列。"字幕频率"按钮 109用于按照在节目中出现的字幕(即，同屏文本)的出现频率的顺 序来显示频道。当按下这个按钮时，在将显示在节目中的字幕的总数 转换成每单位时间的出现频率以后将频道进行排序，并且从左上到右
下按照字幕的出现频率的顺序在多画面中排列并显示接收频道。"场
景改变"按钮110用于按照在当前节目中发生的场景改变的频率的顺
序来显示频道。当按下这个按钮时，在将"场景改变，，(即，在节目中 发生了屏幕上的显示内容大幅改变的情况)的总数转换成每单位时间 的出现频率以后对频道进行排序，并且从左上到右下按照场景改变的 出现频率的顺序在多画面中排列并显示接收频道。"主题频率，，按钮 111用于按照在当前节目中出现的主题画面的出现频率的顺序来显示 频道。当按下这个按钮时，在将在节目中出现的主题的总数转换成每 单位时间的出现频率以后对频道进行排序，并且从左上到右下按照主 题的出现频率的顺序在多画面中排列并显示接收频道。
现在将针对新闻节目的例子，描述"主题"的概念。新闻节目被划
分为两种模式(1)具有通常固定的背景的场景，并且通常相同的 播音员播报新闻；以及(2)具有更加详细地描述当前新闻主题的现 场视频图像的场景。在这些场景中，播音员播报新闻的前一场景每次 都是相同的，并且即使在不同的日子，对于相同的新闻节目，这些场 景几乎没有差别。在这些场景中，紧跟在场景改变之后的场景被称作 "主题"。基于这个定义，每天广播或每周同一天广播的具有预定开始 时间等的节目可以被视为诸如新闻节目的具有这种主题画面的节目。
图2是tv的调谐器单元的功能框图。在从天线202接收的广播 电波被高频增压器(booster) 203放大以后，该电波由9个调谐器 (即，用于每个广播频道的"调谐器#l"204a 、"调谐器
#2，，204b........"调谐器W204i)解调以产生数字视频信号。各个
频道的数字视频信号被输入到为各个频道设置的特征量检测单元 205a、 205b、…、205i。特征量检观'J单元205a、 205b、…、205i (也 可被称作"特征信息获取单元，，)将检测到的特征量数据记录在特征量
表206a、 206b、 ......、 206i中。特征量表206a、 206b、 ....... 206i
是设置在非易失性存储器(未示出)中的文件，并且是表的形式。排
序单元207读取特征量表206a、 206b........ 206i，并且对其中的各
种特征量数据进行排序。选择单元208根据来自遥控器103的指令，
选择由排序单元207产生的频道顺序数据。该频道顺序数据包含显示 所选择的多个视频信息的顺序，所述顺序能够基于多个特征信息中的 每个被改变。根据来自遥控器103的指令而选择的频道顺序数据经由 选择单元208被输入到多画面产生单元209。多画面产生单元209 (它也可被称作"显示图像信号产生单元")同时接收每个频道的数字 视频信号，根据频道顺序数据产生用于多画面的数字视频信号，并且 将多画面数字视频信号发送到LCD显示器102。
图2中的调谐器单元201 (它也可被称作"视频信号产生装置") 接收电视广播并且实时地产生多画面。
图3是特征量检测单元205之一的功能框图。节目类别信息提取 单元302从EPG提取表示节目的类别的信息并且输出该信息。字幕 检测单元303检测在数字视频信号中是否存在任何字幕，并且当发现 字幕时，输出表示已经发现了字幕的信息。场景改变检测单元3(M检 测数字视频信号中的场景改变，并且输出表示这种场景改变的信息。 主题检测单元305检测数字视频信号中的主题的出现，并且输出表示 这种主题的信息。这些功能框对应于早前描迷的遥控器103的按钮。
图4是作为本实施例的另一具体实施例的记录装置的功能框图。 在来自天线202的广播电波已被高频增压器203放大以后，9个调谐 器(即，用于每个广播频道的"调谐器#l"204a 、"调谐器
#2，，204b........"调谐器存9，，204i对放大后的电波进行解调以产生数
字视频信号。基于从接收电波解调出的EPG信息，各个频道的数字 视频信号作为各个节目的视频文件403被存储在由公知的硬盘装置形 成的非易失性存储器402中。特征量检测单元205读取这些视频文件 并且产生特征量表206，特征量表206对于每个视频文件包括独立的 文件。也就是说，对于一个节目，产生一个视频文件403，并且基于 此，产生也是单个文件的特征量表206。排序单元207读取各个特征 量表206并且对其中的各个特征量数据进行排序。选择单元208根据 来自遥控器103的指令，选择由排序单元207产生的频道顺序数据。 根据来自遥控器103的指令选择的频道顺序数据经由选择单元208被
输入到多画面产生单元209。多画面产生单元209同时接收每个频道 的数字视频信号，根据频道顺序数据产生多画面数字视频信号，并且 将该多画面数字视频信号发送到LCD显示器102。
图4所示的记录装置401 (也被称作"视频信号产生装置，，)与图 2所示的调谐器单元201的不同之处在于图2所示的调谐器单元 201仅配备有接收功能，但图4所示的记录装置401配备有所谓的 "硬盘记录器，，记录功能。另外，在图2所示的调谐器单元201中为每 个频道分别设置的特征量检测单元205在记录装置401中却是单个特 单元。这是因为图2所示的调谐器单元201执行检测由调谐器单元 201实时接收的数字视频信号的特征量的操作，但在图4所示的记录 装置401中，已经记录了这些节目并且在广播以后通过读取已经存储 在非易失性存储器402中的视频文件403来产生特征量表206。也就 是说，尽管图4所示的记录装置401没有在接收广播的同时实时显示 多画面，但是可以超越时间地(overtime)对节目进行排序。
为了实现超越时间的节目排序功能，由遥控器103产生指定要进 行排序的节目的指令，并且选择单元208将接收到的指令发送到排序 单元207。排序单元207对选择的要进行排序的节目进行排序。作为 选择要进行排序的节目的方法，可以使用各种条件来缩小搜索，诸如 指定在预定日期之间的时间段内广播的节目的方法、选择由EPG给 出的节目类别的方法、以及指定预定频道的方法。要进行排序的节目 的数目超过多画面中的区域的数目也是常见的。在这种情况下，通过 显示多个多画面，可以显示全部排序结果。也就是说，为了实现多画 面的多重显示功能，需要将用于此目的的键设置在遥控器103上。作 为一个示例，可以设置左箭头键和右箭头键。
尽管图2和图4中的结构稍微不同，但是特征量提取单元的操作 以及多画面的基本显示状态是完全相同的。
字幕检测
现在，将参照图5到图9描述字幕检测功能。图5是形成特征量 检测单元205的一部分的字幕检测单元303的功能框图。该功能的大
部分是由微型计算机的程序有效实现的。由帧缩减(thinning)单元 502减少每个数字视频信号的数据量。由于高分辨率视频信号包括极 大量的数据，所以如果保持这些视频信号不变，则稍后描述的字幕检 测、场景改变检测以及主题检测将是十分耗时的。因此，可以通过预 先减少数据量来改进特征量检测处理的实时响应。作为减少数据量的 措施，可以例如通过将帧速率减小到每秒约10帧来跳帧，并且可以 降低分辨率以及减少每帧的数据量。帧缩减单元502进行这两种措 施。
日历时钟503是众所周知的IC，其输出时间/日期信息并且被设 置在大量微型计算机和几乎所有个人计算机中。包括计数器的时间设 置单元504提供从帧缩减单元502输出的数字视频信号中的每帧的以 毫秒为单位的时间/日期信息，并且输出该时间/日期信息。输出的时 间/日期信息经由开关505被记录在数字视频信号的特征量表206 中。数字视频信号中的每帧被临时记录在帧缓沖器506中，作为数字 视频数据(在下文中简称"视频数据，，)。帧緩冲器506具有两帧的容 量。也就是说，存储了直接前驱帧和当前帧。由加法器产生帧緩冲器 506内的视频数据的差数据。该差数据与阈值508 —起被输入比较器 509,并且该差数据与阈值508进行比较。比较器509的输出是视频 判断结果。这里，基于帧緩冲器506之间的差来判断这些图像是否是 运动图像。上述的帧緩冲器506、加法器507、阈值508以及比较器 509构成了视频判断单元510。
作为视频判断结果的比较器509的输出对开关511进行控制。当 判断出图像是运动图像时，开关511被接通。开关511连接到帧緩冲 器506的当前帧部分，从而其中的视频数据经由开关511被输出到字 幕识别单元512。字幕识别单元512对所提供的当前帧的视频数据进 行分析，并且输出是否存在字幕的指示、构成该字幕的边缘图像及其 坐标信息。
由字幕识别单元512输出的关于是否存在字幕的判断结果被提供 到标记变量阵列513的表示当前帧的区域513a。标记变量阵列513
包括通过程序设置在RAM内的变量，并且是包括与由帧缩减单元 502进行了缩减的一秒的数字视频信号中的帧数相对应的数目的元素 的阵列变量。作为一个例子，本实施例中包括10个元素。每当数字 视频信号中的帧发生改变时，标记变量阵列513的内容移位一个元 素。图5示出了视频数据如何被存储在帧緩冲器506中的每帧中并且 在帧緩沖器506旁绘出了标记变量阵列513的元素以显示它们之间的 对应关系。
标记变量阵列513的各个元素均存储有表示在对应帧中是否包括 字幕的标记。如果包括字幕，则存储指示"真，，的值"l",如果没有包 括字幕，则存储指示"假"的值"O"。与(AND)门514被连接到标记 变量阵列513的各个元素，并且当标记变量阵列513的所有元素都为 "真"时，即，当视频数据中的字幕持续出现一秒或更长时，与门514
输出"真"。
与门514的输出对开关515进行控制。开关515将从字幕识别单 元512输出的当前边缘图像及其坐标信息输出到比较器516。比较器 516将该输出的信息与存储在RAM中的"先前边缘信息和坐标"存储 单元517进行比较，并且输出表示它们是否都涉及相同字幕的判断结 果。当比较器516判断出字幕不同时，这个判断结果对开关518进行 控制并且从字幕识别单元512输出的当前边缘图像及其坐标信息被写 入"先前边缘信息和坐标，，存储单元517中。开关505也受到控制并且 当前帧的日期/时间信息被存储在特征量表206中。
图6A是字幕识别单元512的框图，图6B是用于解释字幕部分 过滤器的功能的示意图。边缘检测单元602从一帧的视频数据中检测 边缘。这里，"边缘，，是指图像数据中存在突变的部分。作为例子，当 明亮部分和黑暗部分相邻时或者当红和蓝相邻时，它们之间的边界线 就是边缘。也就是说，在大多数情况下，字符由这些边缘进行表达。 由于字幕主要由字符串组成，所以必须执行边缘检测。对于从边缘检 测单元602获取的边缘图像，字幕部分过滤器603将该图像中出现字 幕的可能性高的部分分割并输出。图6B中示出了在图像中出现字幕
的可能性高的部分。在新闻节目等中，在许多情况下，字幕几乎从不 出现在画面的中心，而通常出现在画面的右上、左上、右下、左下以
及底部中心。字幕部分过滤器603将边缘图像分割成上述的5个区 域，并且输出结果。
比特计数单元604对构成存在于由字幕部分过滤器603输出的各 个区域中的边缘图像的比特的数目进行计数。字幕判断单元605将由 比特计数单元604输出的比特的数目与预定阈值508进行比较以判断 在这5个区域中是否存在字幕，并且将判断结果与表示坐标数据的区 域信息一起输出。字幕图像产生单元606基于由字幕判断单元605产 生的坐标数据，即基于区域信息，从字幕部分过滤器603选择包括字 幕的区域，并且输出到外围。
图7是示出了在节目中出现字幕的一个例子的图。在时刻tl, 新闻节目开始。在时刻t2，播音员开始播报第一条新闻。此时，播 音员的上半身以特写形式显示在画面上，并且字符"4号台风正在通 过太平洋海岸"作为字幕A显示在画面的底部中心。该状态持续了大 约3到5秒。在时刻t3，场景改变。日本地图显示在画面的中心， 并且字符"台风信息，，作为字幕B显示在屏幕的左上。该状态持续了 大约10到15秒。在时刻t4，播音员开始播放下一条新闻。此时， 播音员的上半身再次以特写形式显示在画面上并且字符"中秋节"作为 字幕C显示在画面的底部中心。该状态持续了大约3到5秒。
如上述例子中所示，可以以几秒为单位在图^f象的外围显示字幕。 因此，为了检测字幕，需要检测认为是字幕的图像的特征是否持续了 一定时长或更长以及已经出现的图像的特征是否与先前图像的特征不 同。
现在，将参照图7来描述图5所示的字幕检测单元303的操作。 当在字幕A出现的时刻t2开始经过了一秒时，标记变量阵列513的 所有元素变成"真"，并且由于"先前边缘信息和坐标"存储单元517是 空的，所以比较器516的比较结果为"真"。接下来，在此时检测到字 幕的指示被写入特征量表206中，并且作为字幕A的边缘图像和坐
12标数据的"P4"被写入"先前边缘信息和坐标"存储单元517中。从此 刻开始一直到时刻t3，比较器"516"的比较结果为"假"。由于在大多 数情况下，当一条新闻完成时，字幕的显示结束，所以"假，，被包括在 标记变量阵列513的元素中并且该装置然后等待直到下一个字幕被显 示一秒或更长。当从字幕B出现的时刻t3开始经过一秒时，标记变 量阵列513的所有元素变成"真"。由于字幕A被存储在"先前边缘信 息和坐标，，存储单元517中，所以在此时检测到字幕的被写入特征量 表206中，并且作为字幕B的边缘图像和坐标数据的"P1"被写入"先 前边缘信息和坐标"存储单元517中。从此刻开始一直到时刻t4，比 较器516的比较结果为"假"。
如上所述，包括在视频中的字幕通过字幕检测单元303进行检测 然后被连续存储在特征量表206中。
图8是示出了字幕检测单元303的操作的流程图。每当输出由帧 缩减单元502进行了缩减的帧时，执行该处理。当帧缩减单元502输 出一帧视频数据时(S801)，视频判断单元510将当前帧与视频数据 的前一帧进行比较并且判断图像是否是运动图像(S802 )。当图像是 运动图像时，由字幕识别单元512执行字幕识别处理(S803 )。当字 幕识别单元512判断出存在字幕时(S804)，由于这种判断结果，所 以标记变量阵列513中指示当前帧的元素被设置为"真"(S805)。
接下来，与门514检测是否在前一秒时段内的所有帧中都检测到 字幕(S806)。当与门514输出"真"时，比较器516将当前帧的边缘 图像和坐标信息与存储在"先前边缘信息和坐标"存储单元517中的先 前边缘图像和坐标信息进行比较(S807)。如果比较结果为在当前帧 中的边缘图像和坐标信息与先前边缘图像和坐标信息之间存在差异， 则当前帧的边缘图像和坐标信息被存储在"先前边缘信息和坐标"存储 单元517中(S808 )。此外，当前帧的时间/日期信息被记录在特征 量表206中(S809)，从而该处理完成(S810)。要注意，当当在 步骤S802、 S804、 S806以及S807中的任一步骤中判断结果是"假，， 时，不执行进一步的处理。也就是说，没有执行步骤S808和步骤
S809中的操作。
图9是示出了字幕识别单元512的操作的流程图。该操作对应于 图8的步骤S803的内容。当该处理开始时(S901),边缘检测单元 602从已输入的当前帧的视频数据中检测边缘以产生边缘图像
(S902 )。然后，通过字幕部分过滤器603对所产生的边缘图像进行 过滤(S903)。接下来，字幕判断单元605接收从比特计数单元604 输出的对每个区域中的边缘图像的比特计数结果，并且判断在这5个 区域中的任一个中是否存在字幕(S卯4)。当判断存在字幕时，由字 幕判断单元605输出指示"存在字幕，，的"真"，并且由字幕图像产生单 元606输出字幕图像(S905)。当判断不存在字幕时，由字幕判断单 元605输出指示"不存在字幕，，的"假，，(S906)。此后，该处理完成
(S907)。
场景改变检-测
接下来，将使用图10和图11来描述场景改变检测功能。图10 是形成特征量检测单元205的一部分的场景改变检测单元304的功能 框图。该功能的大部分是由微型计算机的程序有效实现的。要注意， 对与图5中的部分相同的部分，省略了对其的描述。
帧緩冲器506具有两帧容量。也就是说，存储了先前帧和当前 帧。加法器507产生帧緩冲器506内的先前帧中的视频数据与当前帧 中的视频数据之间的差数据。该差数据与阈值1008 —起被输入到比 较器1009，并且将该差数据与阈值1008进行比较。比较器1009的 输出是场景改变判断结果。这里，通过查看帧緩冲器506之间的差来 判断图像中是否存在大的改变。当作为比较器1009的判断结果而识 别出场景改变时，比较器1009进行控制以接通开关505,并且当前 帧的时间信息等被写入特征量表206中。
图11是示出了场景改变检测单元304的操作的流程图。每当输 出由帧缩减单元502进行了缩减的帧时，执行该处理。当帧缩减单元 502输出一帧视频数据时(S1101)，加法器507输出当前帧与先前 帧中的视频数据的差。比较器1009将该差数据与阈值1008进行比较，并且判断该差是否等于或大于阈值1008，即是否在画面上发生 了大的改变(所谓的"场景改变，，)(S1102)。如果判断出发生了场 景改变，则当前帧的时间/日期信息被记录在特征量表206中 (S1103)，从而该处理完成(S1104)。 主题检测
现在，参照图12到图14来描述主题检测功能。图12是形成特 征量检测单元205的一部分的主题检测单元305的功能框图。该功能 的大部分是由微型计算机的程序有效实现的。要注意，对于与图5中 的部分相同的部分，省略了对其的描述。
从帧缩减单元502输出的视频数据被临时存储在帧緩冲器506 中，并且由场景改变检测单元304进行场景检测。该场景检测单元与 以上参照图10所述的场景检测单元相同。当前帧的视频数据被存储 在帧緩冲器506中。场景检测单元的场景检测结果对在后面连接到帧 緩冲器506的开关1202进行控制。当发生场景改变时，开关1202被 控制为接通，并且当前帧的视频数据被输入到在后面连接到开关 1202的加法器1203。
这里，由搜索单元1205从主题图像表1204中找到的主题图像数 据被输入到加法器1203的另一输入端。也就是说，加法器1203寻找 静止图像之间的差。搜索单元1205用频道信息作为搜索关键字，对 在包括在输入到帧缩减单元502中之前的数字视频信号中的EPG信 息中包括的主题图像表1204进行搜索。由加法器1203输出的关于静 止图像之间的差的信息被作为标量值连续记录在得分列表1206中。 得分列表1206是设置在非易失性存储器402中的小文件。主题判断 单元1207将记录在得分列表1206中的主题图像数据的得分进行比 较，对于差极小的图像，判断已经出现主题，执行控制以接通开关 1202，并且另外将新的时间/日期信息记录在特征量表206中。
图13是示出了主题检测单元305的操作的流程图。每当输出由 帧缩减单元502进行了缩减的帧时，执行该处理。当帧缩减单元502 输出一帧视频数据时(S1301)，场景改变检测单元304判断是否发
生了场景改变(S1302 )。当判断出已经发生场景改变并且判断结果 是"真"时，搜索单元1205用EPG的频道信息作为搜索关键字，对主 题图像表1204进行搜索，并且选择对应频道的主题图像。加法器 1203然后产生主题图像数据与当前帧的视频数据之间的差，并且将 该差输出到得分列表1206 (S1303 )。主题判断单元1207关于主题 图像数据组与当前帧中的视频数据之间的差(记录在得分列表120 中)对所有数据进行检查，并且检查是否存在预定阈值1008或更小 的主题图像数据(S1304 )。如果存在这种数据，则判断出已经产生 了主题，主题图像数据被输出到特征量表206中(S1305)，从而该 处理完成(S1306)。
要注意，当没有发生场景改变并且在步骤S1302或步骤S1304 中判断结果是"假"时，不执行进一步的处理。也就是说，没有执行步 骤S1305中的操作。
图14是用于解释搜索单元1205和加法器1203的操作的示意 图。在该图中，在频道#2上正在接收新闻节目。此时节目的静止图 像由图像1402表示。每个频道上的每个节目的主题图像文件被存储 在主题图像表1204中。搜索单元1205使用信息"频道#2"对主题图像 文件进行搜索，并且将这些图像文件与当前正在输入的帧的视频数据 进行比较。也就是说，在图14中，频道#1的主题图像文件1403以 及频道#3的主题图像文件1406的比较被搜索单元1205阻止。此 后，对频道#2的主题图像文件1404和1405进行比较。
图15示出了特征量表206的一个例子。在图2所示的tv 101 中，每当节目开始时针对每个频道产生一个特征量表206,并且当节 目结束时丟弃该特征量表206。在图4所示的记录装置401中，针对 节目的每个视频文件403产生特征量表206。表示构成图3所示的特 征量检测单元205的节目类别信息提取单元302、字幕检测单元 303、场景改变检测单元304以及主题检测单元305的检测结果的字 符串被记录在特征量表206的特征字段中。
"EPG NEWS，，是由节目类别信息提取单元302用来表示包括在
EPG中的节目类别的信息，并且表示当前节目属于"新闻节目类 别"。除了"EPG—NEWS，，以外，从节目类别信息提取单元302输出的 字符串包括根据节目类别的诸如"EPG_SPORTS，，、 "EPG—VARIETY" 、 "EPG_DRAMA，，以及"EPG—CARTOON"的字符 串。 一 一
"SUBTITLE"是表示由字幕检测单元303检测到字幕的字符串。 "SCENE一CHANGE，，是表示由场景改变检测单元304检测到场景改 变的字符串。"TOPICS"是表示由主题检测单元305检测到主题的字 符串。
排序
现在，将参照图16A到图17来描述排序单元207的操作。图 16A到16E是示出了从节目开始到节目结束的时间流程以及从节目 的开始到结束检测到的各种特征的出现定时。图16A是示出节目组 成(即从节目开始到结束的流程)的时间图。图16B是示出由节目 类别信息提取单元302产生的对节目类别的检测结果的定时的时间 图。图16C是示出由字幕检测单元303产生的对字幕的检测结果的 定时的时间图。图16D是示出由场景改变检测单元304产生的对场 景改变的检测结果的定时的时间图。图16E是示出由主题检测单元 305产生的主题检测结果的定时的时间图。
在时刻t6，节目开始。这里，假定该节目是新闻节目。节目类 别信息提取单元302在节目开始的同时检测节目类别的出现，并且将 "EPG一NEWS"记录在特征量表206中。同时，由场景改变检测单元 304和主题检测单元305分别检测新闻节目的开场图像的场景改变和 主题。在时刻t7，当到达显示第一条新闻的场景时，图像从开场画 面改变到以特写形式显示播音员的画面。作为响应，场景改变检测单 元304和主题检测单元305分别检测场景改变和主题。之后不久，当 到达时刻t8时，通过字幕检测单元303来检测包括在画面中的字 幕。在时刻t9,画面从显示播音员的状态改变到显示现场的状态， 同时字幕也改变。这通过字幕检测单元303和场景改变检测单元304
进行检测。
在时刻tio，当到达下一条新闻的场景时，画面从现场图像改变
到播音员的上半身以特写形式显示在画面上的状态。作为响应，场景
改变检测单元304和主题检测单元305分别检测场景改变和主题。之 后不久，当到达时刻tll时，通过字幕检测单元303来检测画面上的 任何字幕。在时刻t12，画面从显示播音员的状态改变到显示现场图 像的状态，同时字幕也改变。这是通过字幕检测单元303和场景改变 检测单元304进行检测的。在时刻t13，当到达向用户通知节目结束 的场景时，画面从现场图像改变到以特写形式显示播音员的状态。响 应于此，场景改变检测单元304和主题检测单元305分别检测场景改 变和主题。在时刻t14，当节目结束时，广播切换到广告(在下文中 称为CM)。作为响应，场景改变检测单元304检测场景改变。
从图16可以看出， 一旦节目结束，就可以以最高准确度获取在 节目中出现的各种特征量的平均出现频率，并且该数字在节目开始以 后将立即不正确。因此，需要排序单元207考虑这个情况来执行多画 面的频道显示顺序的排序处理。
图17是示出了排序单元207的处理的流程图。每当特征量检测 单元205又将特征量数据记录在特征量表206中时，执行排序单元 207的处理。要注意，为了防止处理被不必要地并行执行，可以使用 诸如将处理之间的间隔设置为一秒或更长的应对措施。当处理开始时 (S1701),要被处理的第一频道被设置为第一号(S1702)。
此后，执行一循环处理。首先，对于当前聚焦的频道上的节目， 确认当前时间是否从该节目开始以后经过了一分钟(S1703 )。由于 在从节目开始经过一分钟之前难以获得针对特征量出现频率的可靠排 序结果，所以执行该确认。当一分钟尚未经过时，不对当前节目进行 排序(S1704)。当经过了一分钟时，记录在特征量表206中的各个 特征量被转换成一分钟的均值(S1705)。
接下来，确认是否不再有要被处理的频道(S1706 )。如果有的 话，则再次重复从步骤S1703开始的处理。如果不再有要被处理的频
道，则针对各个特征量均值，对处理后的频道进行排序(S1707 ), 产生列表(S1708)，从而该处理完成(S1709)。
由于排序单元207以这种方式进行操作，所以在图2所示的调谐 器单元201中，每当对于"调谐器弁l"204a到"调谐器弁9，，204i中的任 何一个发现了上述的任何一个特征时，再次执行由排序单元207进行 的排序处理以产生总是最新的顺序。当操作遥控器103的按钮以调用 任意顺序的多画面时，多画面以按下按钮时的最新顺序进行显示。如 果用户希望再次观看多画面并且再次按下相同按钮时，频道被排序成 那一刻的最新顺序，并且再次执行多画面的显示。
要注意，在步骤S1703中，从节目开始等待一分钟的处理不一定 必须等待一分钟。由于这仅仅是设计决定，所以可以在不损失用户便 利性的范围内改变等待时长。另外，可以使用能够由用户任意改变等 待时长的结构。
对于本实施例，可以想到下面的应用。
(1) 可以使用主题检测单元305的CM检测功能来替代图12 中的场景改变检测单元304。
(2) 尽管在本实施例的调谐器单元201中在接收广播期间特征 量检测单元205 —直操作，但是还可以使用一种结构，在这种结构 中，特征量检测单元205在用户操作遥控器103的时间点开始操作， 并且排序单元207在一分钟或更久之后进行操作。
(3) 根据上述实施例的调谐器单元201和记录装置401还能够 由程序实现，该程序被输入到配备有电视调谐器的个人计算机并由其 执行。
(4) 根据本实施例的调谐器单元201和记录装置401可以与光 盘播放器集成在一起，可以针对记录在光盘上的视频检测特征量，并 且可以将该视频与电视广播的特征量一起进行排序。
(5 )尽管在图1中tv 101由单个LCD显示器102构成，但是 可以使用其中布置有多个LCD显示器的结构。也就是说，对于图1 中的例子，可以如图1所示水平和垂直地布置9个LCD显示器。在
这种情况下，多画面产生单元209配备有矩阵切换器功能，其中不同 的视频信号被发送到水平和垂直布置的9个LCD显示器。
在本实施例中，公开了一种电视接收机。根据本实施例的电视接 收机，可以实现能够根据用户的偏爱以多种顺序显示多画面的电视接 收机的视频信号产生装置。
尽管通过上述实施例描述了本发明，但是本发明不限于这些实施 例，并且应该清楚，在不脱离权利要求所公开的本发明的范围的情况 下，可以进行各种变型和应用。例如，尽管在以上实施例中描述了将 多个电视广播(即，多个频道)同时显示为多画面的例子，但是可以 将本发明应用到将多个其它图像内容同时显示为多画面的处理。显示 图像的图像显示装置可以被构造为通过分割单个显示屏幕来显示多画 面，或者可以被构造为在布置在一起的多个独立图像显示装置上显示 组成多画面的多个画面。
本领域技术人员应该明白，根据设计需求和其它因素可以想到各 种变型、组合、子組合以及变更，只要它们在权利要求或其等同物的 范围内即可。
权利要求
1.一种图像信号产生装置，包括视频信息获取单元，用于获取多个视频信息；特征信息获取单元，用于从由所述视频信息获取单元获取的所述多个视频信息中的每一个获取多个预定的特征信息；排序单元，用于基于从所述特征信息获取单元获取的所述多个特征信息中的每一个，改变显示所述多个视频信息的顺序；以及显示图像信号产生单元，用于基于来自所述排序单元的作为改变显示所述多个视频信息的顺序的结果而获取的信息，产生用以显示所述多个视频信息的视频信号。
2. 如权利要求l所述的图像信号产生装置，其中， 所述特征信息获取单元检测从所述视频信息获取的特征的改变，并且所述排序单元基于由所述特征信息获取单元检测到的特征的改变 的频率，对所述多个视频信息进行排序。
3. 如权利要求2所述的图像信号产生装置，其中， 所述特征信息获取单元检测所述视频信息中的字幕。
4. 如权利要求2所述的图像信号产生装置，其中， 所述特征信息获取单元检测所述视频信息中的场景改变。
5. 如权利要求2所述的图像信号产生装置，其中， 所述特征信息获取单元检测与预先存储的所述多个视频信息之一的相似度。
6. 如权利要求l所述的图像信号产生装置，其中，所述特征信息获取单元获取表示所述视频信息的内容的信息，并且所述排序单元基于从所述特征信息获取单元获取的表示所述视频 信息的内容的所述信息，改变显示所述多个视频信息的顺序。
7. 如权利要求1所述的图像信号产生装置，其中， 所述视频信号产生单元产生用以在单个显示画面上显示多个显示 区域的视频信号。
8. 如权利要求l所述的图像信号产生装置，其中， 所述视频信号产生单元分别将多个视频信号分配到一组多个显示画面以形成多画面。
9. 如权利要求l所述的图像信号产生装置，还包括显示装置。
10. —种图像信号产生方法，包括如下步骤 获取多个视频信息；从所述多个视频信息获取各种特征信息；基于多个所述特征信息中的每一个，改变显示所述多个视频信息 的顺序；以及基于作为改变显示所述多个视频信息的顺序的结果而获取的信 息，产生用以显示所述多个视频信息的视频信号。
11. 一种使计算机执行图像信号产生处理的计算机程序，所述处 理包括如下步骤获取多个视频信息；从所述多个视频信息获取各种特征信息；基于多个所述特征信息中的每一个，改变显示所述多个视频信息 的顺序；以及基于作为改变显示所述多个视频信息的顺序的结果而获取的信 息，产生用以显示所述多个视频信息的视频信号。
全文摘要
本发明涉及图像信号产生装置、图像信号产生方法及程序。公开了一种图像信号产生装置，所述装置包括视频信息获取单元，用于获取多个视频信息；特征信息获取单元，用于从由视频信号获取单元获取的所述多个视频信息中的每一个获取多个预定的特征信息；排序单元，用于基于从所述特征信息获取单元获取的所述多个特征信息中的每一个，改变显示所述多个视频信息的顺序。该图像信号产生装置还包括显示图像信号产生单元，该显示图像信号产生单元基于来自排序单元的作为改变显示所述多个视频信息的顺序的结果而获取的信息，产生用以显示所述多个视频信息的视频信号。
文档编号H04N7/173GK101360206SQ20081012945
公开日2009年2月4日 申请日期2008年7月31日 优先权日2007年8月2日
发明者江间拓郎, 渡边义教, 田中刚, 秋和祐介, 近藤哲二郎 申请人:索尼株式会社