电子装置、视频处理方法和程序的制作方法

专利名称：电子装置、视频处理方法和程序的制作方法
技术领域：
本发明涉及能够再现视频数据的电子装置以及该电子装置中的图像处理方法和程序。
背景技术：
自从过去，诸如记录/再现装置之类的电子装置能够执行用于以比正常再现速度更高的速度再现视频数据的处理(快进处理、搜索处理)。在如上所述的快进处理中，帧根据再现速度而被稀疏，并且仅再现一部分帧。然而，如果帧在快进处理中被稀疏，则并非所有的帧都变得能够得到再现，结果是可能忽略了用户要搜索的重要帧，这是有问题的。在这点上，在日本专利翻译公开否.99/45708 (下文称为专利文献1)中所公开的视频数据再现装置中，在视频数据作为η (η > 1)倍速视频数据输出到外部装置的时候，输出视频的一个帧在η为整数时被分割至η，而在η不为整数时被分割至m(m是η的整数部分)，并且通过将视频数据的η个帧或m个帧分配给被分割至η或m的输出视频的一个帧来生成再现视频。

发明内容
然而，在专利文献1所公开的技术中，在视频内容例如由于通过分割所获得的η或 m个帧当中的场景变化而在很大程度上变化的情况下，在再现视频中拼接了不相关的图像， 这使得对于用户而言极难看。此外，在这种再现视频中，用户变得难以掌握场景的内容。鉴于上述境况，需要能够在通过拼接提取自多个帧的图像以生成快进图像时防止拼接了不相关的图像的电子装置、图像处理方法和程序。根据本发明的实施例，提供了一种电子装置，其包括存储器、再现单元、操作接收单元和控制器。存储器配置为存储包括多个帧的视频数据和关于特征帧的特征帧信息，所述特征帧包括多个帧当中的预定视频特征。再现单元配置为再现所存储的视频数据。操作接收单元配置为接收指示以任意速度执行所再现的视频数据的快进和倒退之一的用户的搜索操作。控制器配置为在接收搜索操作时，从接收搜索操作的时间点的帧提取预定数目的候选帧，并从候选帧筛选其间未插入特征帧的多个帧。控制器还配置为从多个筛选出的帧的每一个不同部分提取局部图像，通过按时间顺序拼接局部图像以生成拼接帧，并且控制再现单元以再现该拼接帧。利用这种结构，电子装置可以执行控制，以使得在通过拼接多个帧的局部图像以生成要在进行搜索操作时再现的拼接帧的时候，不从其间插入了特征帧的多个帧提取局部图像。因此，电子装置可以防止具有不相关视频内容的局部图像例如由于场景变化被拼接而将对于用户而言不舒服并且其内容难以理解的拼接帧再现为快进图像。多个帧中的至少一个可包括指示任意对象的对象图像。在这种情况下，控制器可重新筛选多个筛选出的帧，以使得对象图像通过局部图像的提取未被切分。
利用这种结构，电子装置可以防止拼接帧的内容由于单个内容通过局部图像的提取被切分而变得难以理解。控制器可计算每个筛选出的帧内的多个区域中的每一个的重要度，并且重新筛选所述多个筛选出的帧，以使得不从每个帧内的各区域之中的、具有小于预定阈值的重要度的区域提取局部图像。利用这种结构，由于电子装置可以通过拼接具有高重要度的部分帧来生成拼接帧，因此变得可以防止重要信息被忽视，并且使得用户可以准确地了解作为搜索操作目标的视频的内容。可以通过基于与每个帧的中心的距离的多个范围分割每个帧，以获得各区域。在这种情况下，重要度可以随着从每个帧中的中心到每个区域的距离变得更小而被设置为变
得更高。利用这种结构，电子装置可以使用靠近于帧的中心的局部图像来生成拼接帧。这里，随着与每个帧的中心的距离变得更小而将重要度设置得更高的原因是由于对于用户而言重要的图像随着其变得更靠近于中心而可能被包括的概率变得更高，并且其在拼接帧的再现期间对于用户而言也是可注意到的。可以通过基于从每个帧检测到的对象分割每个帧以获得各区域。在这种情况下， 重要度可以随着从每个帧检测到的对象的大小变得更大而被设置为变得更高。利用这种结构，由于电子装置通过将帧中包括的更大的对象用作局部图像以生成拼接图像，因此，对象在再现拼接帧时对于用户而言变得可注意到。存储器可存储指示对象图像所代表的每个对象的重要度的重要度信息。在这种情况下，控制器可以从筛选出的帧识别对象图像所代表的对象。控制器也可以基于所存储的重要度信息来重新筛选多个筛选出的帧，以使得指示所识别对象之中的、具有等于或大于预定阈值的重要度的对象的对象图像包括在局部图像中。利用这种结构，通过在判断了每个对象的重要度之后重新筛选帧，电子装置可以将重要的对象并入在拼接帧中。这里，对象例如是指人的脸部和身体(不包括脸部)，并且人的脸部相比于身体设置有更高的重要度。在这种情况下，在当重新筛选多个筛选出的帧时，多个筛选出的帧之中的第一帧中所包括的第一对象图像不包括在拼接帧中而使得多个筛选出的帧之中的第二帧中所包括的第二对象图像通过局部图像的提取未被切分的情况下，所述控制器可以重新筛选所述多个筛选出的帧，以使得指示第一对象图像所代表的第一对象和第二对象图像所代表的第二对象之中的、具有高重要度的对象的对象图像包括在拼接帧中。利用这种结构，通过筛选帧以使得在允许切分具有低重要度的对象的同时将具有高重要度的对象进入在拼接帧中，电子装置可以防止对于用户而言重要的信息在再现拼接帧时被忽视。控制器可以执行预定图像处理，用于简化要根据从所述多个筛选出的帧提取的局部图像生成的拼接帧之中的局部图像内的图像，所述局部图像内的图像对应于将距拼接帧中心预定范围内的区域以及具有等于或高于预定阈值的重要度的区域排除在外的区域的图像。利用这种结构，通过为用户简化具有低重要度的部分图像，电子装置可以使得具有高重要度部分在再现拼接帧时突出。这里，用于简化的图像处理的示例包括喷墨处理、褪色处理和对于其它像素值(如，黑色)的替代处理。在这种情况下，随着快进和倒退之一的速度增大，控制器可以缩小预定范围内的区域。利用这种结构，通过放大要在快进速度高时简化的区域的范围，电子装置可以使得可注意到拼接图像的重要部分。此处理基于用户的观察点随着搜索速度增大而往往集中于拼接图像中心的设想。控制器可以使得要拼接的局部图像中的两个局部图像以预定量区域重叠，并且通过以预定比率从这两个局部图像中每一个的预定量区域提取像素以拼接局部图像。利用这种结构，通过平滑地拼接帧的局部图像并且使得其边界不明显，电子装置可以增强拼接帧的可见性。控制器可以基于从以正好在特征帧之后的帧开始的帧提取的预定数目的候选帧， 生成要在所再现的拼接帧之后再现的拼接帧。利用这种结构，由于电子装置可以使用对于生成之前再现的拼接帧、对于生成下一拼接帧而言尚未使用的候选帧，因此可以防止生成未用于生成拼接帧的帧，结果是其变得可以防止用户在搜索操作期间忽视特定的视频。根据本发明的另一示例，提供了一种图像处理方法，包含存储包括多个帧的视频数据和关于特征帧的特征帧信息，所述特征帧包括多个帧当中的预定视频特征。再现所存储的视频数据。接收指示以任意速度执行所再现的视频数据的快进和倒退之一的用户的搜索操作。当接收搜索操作时，从接收搜索操作的时间点的帧提取预定数目的候选帧。从候选帧筛选其间未插入特征帧的多个帧；从多个筛选出的帧的每一个不同部分提取局部图像。通过按时间顺序拼接局部图像以生成拼接帧，并且再现该拼接帧。根据本发明的另一示例，提供了一种程序，其使得电子装置执行以下步骤存储包括多个帧的视频数据和关于特征帧的特征帧信息，所述特征帧包括多个帧当中的预定视频特征；再现所存储的视频数据；接收指示以任意速度执行所再现的视频数据的快进和倒退之一的用户的搜索操作；在接收搜索操作时，从接收搜索操作的时间点的帧提取预定数目的候选帧；从候选帧筛选其间未插入特征帧的多个帧；从多个筛选出的帧的每一个不同部分提取局部图像；通过按时间顺序拼接局部图像以生成拼接帧；并且再现该拼接帧。如上所述，根据本发明的实施例，可以在通过拼接从多个帧中提取出的图像以生成快进图像时，防止拼接不相关的图像。鉴于如附图中所图示的本发明最佳方式的实施例的以下详细描述，本发明的这些和其它目标、特征和优点将变得更加明显。


图1是图示根据本发明实施例的PVR(Personal Video Recorder，个人视频记录器)的硬件结构的图；图2是示出根据本发明实施例的PVR的软件的功能块的图；图3是示出由根据本发明实施例的PVR执行的拼接图像显示处理的大致流程的流程图4是示出根据本发明实施例的条参数确定处理的流程的流程图；图5A和5B是示出根据本发明实施例的用于确定输入帧的起始位置的两种方法的简要概述的图；图6是示出在本发明实施例中确定的参数的示例的图；图7是示出本发明实施例中搜索速度是正常速度8倍的情况下的原始图像和输出图像(拼接图像)的示例的图；图8是示出本发明实施例中搜索速度是正常速度15倍的情况下的原始图像和输出图像(拼接图像)的示例的图；图9是示出本发明实施例中搜索速度是正常速度5倍的情况下的原始图像和输出图像(拼接图像)的示例的图；图10是示出本发明实施例中搜索速度是正常速度15倍的情况下的原始图像和输出图像(拼接图像)的示例的图；图11是示出根据本发明实施例的图像特征判断处理与图像区域处理的流程的流程图；图12是示出根据本发明实施例的图像区域处理的示例的图；图13是示出根据本发明实施例的图像区域处理的其它示例的图；图14是示出根据本发明实施例的条帧筛选单元的细节的框图；图15是示出根据本发明实施例的条帧筛选处理的流程的流程图；图16是示意性地示出根据本发明实施例的条帧筛选处理的总体流程的图；图17是示意性地示出根据本发明实施例的条帧筛选处理的筛选处理(1)的图；图18是示意性地示出根据本发明实施例的条帧筛选处理的筛选处理O)的图；图19是示意性地示出根据本发明实施例的条帧筛选处理的筛选处理(3)的图；图20是示出根据本发明实施例的条剪切(cutout)处理的流程的流程图；图21是示出根据本发明实施例的条图像处理的流程的流程图；图22A和22B是示意性地示出根据本发明实施例的条图像处理的图；图23是示出根据本发明实施例的条拼接处理的流程的流程图；图M是示意性地示出根据本发明实施例的条拼接处理的方法的示例的图；图25是示意性地示出根据本发明实施例的条拼接处理的方法的另一示例的图；图沈是示出根据本发明另一实施例的PVR的软件的功能块的图；图27是示出根据本发明另一实施例的立体视图处理的流程的流程图；图28A到28C是示出根据本发明另一实施例的立体视图处理中处理的对象的条件的图；以及图29A和29B是示意性地示出根据本发明另一实施例的立体视图处理的示例的图。
具体实施例方式下文参照附图描述本发明的实施例。(PVR的硬件结构)图1是图示根据本发明实施例的PVR(Personal Video Recorder，个人视频记录器)的硬件结构的图。如图中所示，PVR 100包括数字调谐器1、解调单元2、解复用器3、解码器4、记录/ 再现单元5、HDD (Hard Disk Drive，硬盘驱动器)8、光盘驱动器9和通信单元11。PVR 100 还包括CPU (Central Processing Unit,中央处理单元)12、闪速存储器13和RAM (Random Access Memory,随机存取存储器)14。PVR 100还包括操作输入单元15、图形控制器16、视频D/A (Digital/Analog，数字/模拟)转换器17、音频D/A (数字/模拟)转换器18和外部接口 19。数字调谐器1在CPU 12的控制下经由天线选择特定的数字广播频道，并且接收包括节目数据的广播信号。广播信号例如是用MPEG-2TS格式(TS=Transport Mream，传输流)编码的MPEG流的格式，但是不限于此格式。解调单元2对调制的广播信号进行解调。解复用器3将复用的广播信号分离为视频信号、音频信号、字幕信号、SI (Service Information,服务信息)信号等，并将它们供给解码器4。解码器4对解复用器3分离的视频信号、音频信号、字幕信号和SI信号进行解码。 解码后的信号供给记录/再现单元5。记录/再现单元5包括记录单元6和再现单元7。记录单元6对解码器4解码并输入的视频信号和音频信号进行临时存储，并且在控制时序和数据量的同时，将信号输出并记录至HDD 8和光盘驱动器9。记录单元6还能够读取HDD 8中所记录的内容，将它们输出至光盘驱动器9，并将它们记录光盘10上。再现单元7读出HDD 8和光盘10中记录的视频内容的视频信号和音频信号，并在控制时序和数据量的同时将该信号输出到解码器4，由此再现该信号。HDD 8将诸如经由数字调节器1接收到的节目的视频数据、通信单元11经由网络 50接收到的各种类型的视频数据以及用户得到的视频数据之类的内容存储在内置硬盘中。 当再现所存储的内容时，HDD 8从硬盘读出数据，并将数据输出到记录/再现单元5。HDD 8在某些情况下存储各种程序和其它数据。在执行程序和数据的时候以及将在RAM 14中引用和展开它们的时候，响应于来自CPU 12的命令从HDD 8读出程序和数据。与HDD 8类似地，光盘驱动器9能够将诸如节目内容之类的各种类型的数据记录至所安装的光盘10上，并能够读出所记录的数据。此外，各种程序可记录至诸如光盘10之类的便携式记录介质上，并通过光盘驱动器9安装在PVR 100中。光盘10的示例包括BD (蓝光盘)、DVD (数字多功能盘)和⑶(致密盘)。通信单元11是用于通过连接至网络50，基于诸如TCP/IP(传输控制协议/因特网协议)之类的协议与网络50上的其它装置交换数据的网络接口。当通信单元11接收到的数据被复用时，数据供给解复用器3。外部接口19 例如能够由 USB 接口、HDMI (High-Definition Multimedia hterface，高清多媒体接口)或存储卡接口构成，并且与拍摄装置(如，数字摄像机和数码相机)、用以读出用户拍摄的视频数据的存储卡等相连接。CPU 12按照需要访问RAM 14等，并统一控制PVR 100的块的处理。如稍后所述， 此实施例的PVR 100能够通过从内容(视频数据)的每个帧剪切条状局部图像(下文称为条图像)并拼接多个条图像来生成拼接图像，并且在用户进行高速搜索(快进/倒退)操作时再现该拼接图像。除了视频数据接收处理之外，CPU 12在拼接图像的生成处理中控制各个块。这里，高速搜索操作是正常速度的预定倍数或以上(如，正常速度的5倍)的操作，但是不限于此。当进行小于正常速度的预定倍数的搜索操作时，仅以对应于搜索操作的速度显示各帧。闪速存储器13例如是NAND (与非)型的非易失性存储器，其固定地存储由CPU 12 执行的诸如OS之类的固件、程序和各种参数。闪速存储器13还存储诸如视频再现应用程序(其具有上述拼接图像生成功能)之类的软件以及对于这种操作必不可少的各种类型的数据。RAM 14是这样的存储器，其用作CPU 12等的工作区，并且在视频数据再现处理、 拼接图像生成处理等期间对Os、程序、处理数据等进行临时存储。操作输入单元15例如从包括多个键的遥控器R接收各种设置值的输入以及对应于用户操作(如，搜索操作)的命令。操作输入单元15当然可以由不使用遥控器R的、连接至PVR 100的键盘和鼠标、安装至PVR 100的开关、触摸面板和触摸盘等构成。图形控制器16对解码器4输出的视频信号以及CPU 12输出的视频数据执行诸如 OSD (On Screen Display，屏上显示)处理之类的图形处理，并且生成用于在电视机(下文称为电视)等的显示器D上显示经处理的数据的视频信号。视频D/A转换器17将图形控制器16输入的数字视频信号转换为模拟视频信号， 并且经由视频输出端子等将其输出至电视的显示器D。音频D/A转换器18将解码器4输入的数字音频信号转换为模拟音频信号，并经由音频输出端子等将其输出至电视的扬声器S。(PVR的软件结构)图2是示出用于执行条拼接处理的PVR 100的软件的功能块的图。如图中所示，PVR 100包括视频信号记录单元21、特征帧提取单元22、特征帧记录单元23、再现处理单元24、帧存储器25、图像特征判断单元26、图像区域处理单元27、条参数确定单元观、条帧筛选单元四、条剪切单元30、条图像处理单元31、条拼接单元32、帧存储器33、显示处理单元34、系统控制器35和I/F单元36。视频信号记录单元21记录诸如数字调谐器1接收到的广播节目之类的内容的视频数据、通信单元11接收到的视频数据和外部接口 19输入的视频数据。特征帧提取单元22从视频信号记录单元21记录的内容或者输入到PVR100但尚未经视频信号记录单元21记录的内容中提取特征帧。特征帧是指示场景变化(如，渐变区的截点(cut point)和中间点)的帧。特征帧提取处理可以正好在视频信号记录单元21 记录了内容之后执行，或者可以在记录之后定期执行。特征帧记录单元23记录特征帧提取单元22所提取的特征帧。再现处理单元M从视频信号记录单元21读出内容，并且对其进行再现(解码)。帧存储器25对再现处理单元M再现的内容的帧进行临时缓存。图像特征判断单元沈判断帧存储器25中存储的帧是否包括可能在执行条拼接处理(稍后描述)时导致不利效果的对象的图像，并且将判断结果输出至图像区域处理单元 27。这里，对象除了包括诸如人的面部和身体、动物和建筑物之类有形实体之外，还包括诸如telop之类的可变字符区域。
图像区域处理单元27将据以剪切条图像(稍后描述)的所有输入帧分割至多个区域，基于重要度对分割所获得的各区域进行评级，并且将等级信息输出至条图像处理单元31。这里，分割获得的区域包括根据距帧中心的距离以条形式分割的区域以及基于帧中的对象的形状所分割的区域。条参数确定单元观基于用户进行的搜索操作的搜索速度，确定对于条帧筛选处理(稍后描述)和随后的处理所必不可少的参数，并且将该参数输出到条帧筛选单元四。 这里，该参数包括相同输出图像予以显示的次数、稀疏帧的数目和输入帧之中的目标画面的类型。进一步，条参数确定单元观输入条帧筛选单元四执行的条帧筛选处理(稍后描述)的结果，并且确定用于生成下一输出图像的输入帧位置。依据在接收条帧筛选单元四的处理结果时是否要将正好在特征帧之后的帧用作用于生成下一拼接图像的输入帧，输入帧位置确定处理分为两类处理。其细节将在稍后描述。条帧筛选单元四使用特征帧提取单元22提取出的特征帧、图像区域处理单元27 输出的等级信息、条参数确定单元观确定的参数和用户进行的搜索操作的搜索速度，以基于条参数确定单元观确定的参数来另外地优化基于条的帧并将最后的帧确定为基于条的。确定基于条的帧的结果输出至条参数确定单元观和条剪切单元30。尽管将在稍后给出细节，条帧筛选处理分为使用包括特征帧信息的时间(位置)信息的处理、使用帧内特征的处理和使用帧间特征的处理。根据条帧筛选单元四的筛选信息，条剪切单元30以条方式从多个帧剪切图像数据，并且将它们输出到条图像处理单元31。此时，考虑稍后描述的条拼接单元32中的拼接处理，条剪切单元30在保持某一裕量的同时剪切条图像(而不是沿着边界对它们进行剪切)。在基于图像区域处理单元27输出的每个区域的等级信息以及搜索操作的搜索速度而确定了图像处理的内容之后，条图像处理单元31对条剪切单元30剪切出的条图像进行图像处理，并且将它们输出到条拼接单元32。条拼接单元32对条图像处理单元31输出的条图像进行拼接以生成对应于一帧的拼接图像，并将其输出到帧存储器33。尽管将在稍后给出细节，此时，条拼接单元32进行图像处理以便对条图像的边界进行平滑。帧存储器33对条拼接单元32输出的拼接图像进行临时缓存。显示处理单元34基于参数将帧存储器33中存储的拼接图像输出到显示器D。系统控制器35与CPU 12协作，并统一地控制块21到34的处理。I/F单元36与操作输入单元15协作，以检测是否已进行了搜索操作的输入以及其速度，并且将检测结果输出到系统控制器35。(PVR 的操作)接下来，将在关注于拼接图像生成处理和显示处理的同时描述PVR 100的操作。 在以下描述中，描述PVR 100的CPU 12作为操作对象，但是也与图1所示的其它硬件以及参考图2所述的视频显示应用的单元协作地执行操作。(拼接图像显示处理的概述)图3是示出此实施例的PVR 100执行的拼接图像显示处理的大致流程的流程图。
如图中所示，CPU 12首先输入视频信号记录单元21中所记录的内容(步骤41)， 并且通过特征帧提取单元22从内容的各帧中提取出特征帧(步骤42)。CPU 12将关于提取出的特征帧的信息存储在特征帧记录单元23中(步骤43)。CPU 12还将据以已经提取出特征帧的内容的视频信号记录在视频信号记录单元21中(步骤44)。然后，CPU 12确定作为再现目标的内容是否已改变(步骤45)。当自从处理开始起尚未再现内容时，跳过步骤45。接下来，CPU 12例如基于对内容再现列表进行的用户操作来选择要再现的内容 (步骤46)，并开始再现内容(步骤47)。在再现开始之后，CPU 12确定是否进行了高速搜索操作(步骤48)。当进行了高速搜索操作(是，是)时，CPU 12确定搜索速度是否已改变(步骤49)。当自从处理开始起第一次再现内容时，步骤49被处理为是。当高速搜索速度已改变(是)时，CPU 12输入高速搜索操作的搜索速度(步骤50)。接下来，CPU 12基于高速搜索速度控制条参数确定单元观以确定对于随后的条帧筛选处理及随后的处理所必不可少的参数(步骤51)。然后，CPU 12确定是否仍然在输入对于创建拼接图像所必不可少的、已由条参数确定处理确定出的必要帧数(步骤52)，当输入尚未结束(是)时，重新输入帧(步骤53)。随后，CPU 12控制图像特征判断单元沈以判断可能在随后的条图像拼接处理中导致对于输入帧的不利效果的对象区域(的位置、形状和大小)。CPU12还基于与帧中心的距离来确定输入帧要被分割到的多个矩形区域。然后，CPU 12控制图像区域处理单元27以分割对于判断出的对象区域和矩形区域中的每一个的输入帧，并且对分割区域的重要度进行评级(步骤55)。CPU 12针对每个输入帧重复步骤52到55的处理，直到对于创建拼接图像所必不可少的必要帧数的输入结束为止。一旦结束处理，CPU 12控制条帧筛选单元四以使用特征帧信息、等级信息、条参数和高速搜索速度来筛选作为拼接图像的剪切基础的的条图像 (步骤56)。随后，CPU 12控制条剪切单元30以从筛选出的帧的不同位置剪切条图像(步骤 57)。然后，CPU 12控制条拼接单元32以通过拼接多个剪切出的条图像来生成拼接图像(步骤59)。接下来，CPU 12控制显示处理单元34以在显示器D上显示所生成的拼接图像(步骤 60)。每当再现目标内容改变时以及每当对再现内容执行高速搜索操作时，CPU 12重复以上处理(步骤61)。接下来详细描述上述处理。(条参数确定处理)首先，详细描述步骤51的条参数确定处理。图4是示出条参数确定处理的流程的流程图。如上所述，依据是否要将正好在特征帧之后的帧用作用于生成拼接图像的下一输入帧，输入帧位置确定处理分为两种类型的处理。
如图中所示，CPU 12首先确定用于每个拼接图像中输入帧的起始位置的确定方法 (步骤71)。如上所述，在此实施例中，作为输入帧位置确定处理，存在生成当前拼接图像时将条帧筛选单元四的最后一个处理结果反映在起始位置确定处理上的方法以及不反映该处理结果的方法。图5是示出用于确定输入帧的起始位置的两种方法的简要概述的图。如稍后所述，在条帧筛选处理中，筛选基于条的帧以使得不插入特征帧，即，不同场景剪辑的帧的条图像不一起混合在由多个条图像构成的拼接图像中。图5A示出在未反映帧筛选处理的结果的情况下或者反映了该结果但是未在构成拼接图像的条图像的各原始帧之间插入特征帧的情况(下文称为情况A)下，输入帧和输出帧(拼接图像)之间的关系。图5B示出在反映了帧筛选处理的结果并且在构成拼接图像的条图像的各原始帧之间插入特征帧的情况(下文称为情况B)下，输入帧和输出帧之间的关系。图5示出构成拼接图像的条图像的数目为6的示例。如图5A中所示，在情况A下，当构成拼接图像的条图像的每一个原始帧均包括特征帧时，该特征帧后面的各帧不用作条图像的剪切基础。在图5A的示例中，帧fl到f6之中的、特征帧后面的帧f5和f6不用于拼接图像cl，并且帧Π3到fl8之中的、特征帧后面的帧Π6到fl8不用于拼接图像c3。由于帧f7到fl2不包括特征帧，因此f7到fl2全部都用于拼接图像c2。在这种情况下，输入帧起始位置在存在尚未用于生成先前拼接图像(拼接图像C1 和c3)的帧时变为正好在未使用帧之后的帧(帧f7和f 19)，而在所有的帧都已用于生成先前拼接图像(拼接图像c2)时变为未使用帧之中的正好在最后一个帧之后的帧(帧13)。另一方面，如图5B中所示，在情况B下，正好在已用于先前拼接图像生成处理的帧之后的帧用作下一拼接图像生成处理中的第一帧(帧f5、fll、fl3和fl6)。在这种情况下， 作为用于生成拼接图像的基础的帧的数目对于每个拼接图像是不同的，结果是搜索速度变得不恒定。CPU 12例如基于用户选择或高速搜索速度，通过情况A的方法或情况B的方法来确定是否要确定输入帧开始位置。例如，尽管在情况A下存在搜索速度保持恒定的优点，但是也存在包括了最终未用作条图像的剪切基础的帧的缺点。由于在情况B下所有的帧除非被稀疏否则都用作条图像的剪切基础，因此存在用户几乎不会忽略图像的优点。然而，由于搜索速度未保持恒定，因此将搜索图像输出为条图像的拼接图像的效果可能变得较小。因此，当通过用户选择确定方法时，用户在考虑上述各情况的优点和缺点的同时按照需要进行选择。此外，当基于高速搜索速度确定方法时，由于假定用户在其输入的搜索速度低 (例如，正常速度的2到10倍)的时候彻底搜索场景，因此CPU 12选择上述情况B以防止用户忽略场景。另一方面，由于某一数量的场景在搜索速度高时被忽略(例如，正常速度的 10倍或以上)，因此CPU 12对于保持搜索速度恒定安置最高的优先权并且选择上述情况A。返回参考图4，当选择要反映条帧筛选处理的结果(步骤72中的是)并且过去一帧的基于条的帧正夹着特征帧(或者为特征帧)的时候(步骤73中的是)，即，在上述情况 B的情况下，CPU 12将输入帧起始位置确定为特征帧的下一帧(步骤74和75)。另一方面，当选择不反映条帧筛选处理的结果(步骤72中的否)或者选择要反映该结果(步骤72中的是)并且过去一帧的基于条的帧没有夹着特征帧(或者不是特征帧)的时候，即，在上述情况A的情况下，CPU 12确定输入帧起始位置以使得各位置处于规律的间隔(步骤75和76)。随后，CPU 12移至条参数确定处理。首先，CPU 12输入高速搜索速度(步骤77)， 并且确定同一拼接图像要显示的次数(重复数目)(步骤78)。然后，CPU 12确定要用于拼接图像的条图像的数目(步骤79)，确定对于条图像要剪切的画面类型(步骤80)，并且确定要稀疏的帧的数目(步骤81)。图6是示出通过上述处理确定的参数的示例的图。如图中所示，当搜索速度是正常速度的8倍时，同一拼接图像要输出的次数为1， 要拼接的条图像的数目为8，要稀疏的帧的数目为0，并且目标图面是所有类型的画面。图7 示出搜索速度是正常速度8倍的情况下的原始图像和输出图像(拼接图像)的示例。如图中所示，在现有技术中，当进行高速搜索操作时，对于8个连续帧输出恰好第一帧的图像。 然而，在此实施例中，通过分割8个连续帧之中水平方向上的每个帧所获得的8个条图像每一个均从要拼接的每个帧中剪切一个。依次剪切条图像，以使得按照帧的降序剪切对应于帧数的位置处的条图像，即，剪切第一帧的第一条图像，剪切第二帧的第二条图像，诸如此类。当搜索速度是正常速度的15倍时，同一拼接图像输出的次数为1，要拼接的条图像的数目为8，要稀疏的帧数为1，并且目标图面是所有类型的画面。图8示出搜索速度是正常速度15倍的情况下的原始图像和输出图像(拼接图像)的示例。当搜索速度是正常速度的5倍时，同一拼接图像输出的次数为3，要拼接的条图像的数目为8，要稀疏的帧数为1，并且目标图面是所有类型的画面。图9示出搜索速度是正常速度5倍的情况下的原始图像和输出图像(拼接图像)的示例。当搜索速度是正常速度的10倍时，同一拼接图像输出的次数为3，要拼接的条图像的数目为6，要稀疏的帧数为5，并且目标图面是I画面和P画面。图10示出搜索速度是正常速度10倍的情况下的原始图像和输出图像(拼接图像)的示例。仅仅I画面和P画面的位置为目标的原因是考虑安装的可行性的结果。进一步，由于I画面和P画面的位置在此情况下受到限制，因此要稀疏的一部分帧(帧Π3到fl5)的数目为2。(图像特征判断处理和图像区域处理)接下来，描述图3中所示步骤M和55的图像特征判断处理与图像区域处理的细节。图11是示出图像特征判断处理与图像区域处理的流程的流程图。如图中所示，CPU 12首先判断是否存在要经受图像特征判断处理的输入帧(步骤 101)，并且在存在时输入帧(步骤102)并判断帧中图像特征(对象区域)的存在/不存在以及矩形区域的范围(步骤10 。同样在此时，检测帧中对象区域的位置坐标。位置坐标信息被检测为与水平和垂直方向上对象的端部重叠的矩形的四个角的坐标，并用于判断对象是否在稍后描述的条帧筛选处理中被分割。随后，CPU 12移至图像区域处理。首先，CPU 12执行关于帧的矩形区域的图像区域处理(下文称为处理(A))(步骤104和105)，接着执行关于对象区域的图像区域处理(下文称为处理(B))。图12是示意性地示出处理(A)和(B)的示例的图，图13是示意性地示出处理(A)和(B)的其它示例的图。首先，在处理(A)中，CPU 12基于关于矩形区域的范围的判断结果将帧分割至矩形区域(步骤104)，并且计算每个分割区域的重要度(步骤105)。对于矩形区域分割，存在两个示例。一个示例是如图12所示那样将帧分割至中心的矩形区域和不同步骤的多个矩形帧区域。在此示例中，中心矩形区域的重要度最高，而该区域周围的矩形帧区域的重要度随着每个区域与中心矩形区域的距离增大而变得更低。另一个示例是如图13所示那样将水平方向上的帧分割至多个矩形区域。在此示例中，仅在帧的垂直方向上判断重要度。换言之，重要度随着各矩形区域与中心矩形区域的距离在纵向方向上增大而变得更低。返回参考图11，CPU 12接下来在处理⑶中输入关于对象区域的特征信息(步骤 106)，并且针对每个对象区域分割帧(步骤107)。接着，CPU 12计算每个分割对象区域的重要度(步骤108)。对于用于计算每个对象区域的重要度的处理，存在两个示例。一个示例是如图12所示那样，基于对于对象是什么(类型/名称)的识别来计算重要度。例如，在识别诸如人的面部、人的身体(除了脸以外)之类的对象的情况下，脸的重要度最高，身体的重要度次高，而其它对象的重要度最低。对象通过诸如图案匹配之类的一般技术而被识别。图像区域处理单元27存储每个对象的信息以用于识别对象。另一示例是如图13所示那样仅基于对象的大小(而不是对于对象是什么的识别) 来计算重要度。在此示例中，重要度随着对象大小增大而变得更高。返回参考图11，CPU 12如图12所示那样基于处理㈧和⑶的区域分割结果来进行对于区域范围的最后决断(步骤109)，并且基于在处理(A)和(B)中计算出的各区域的重要度来进行对于每个区域的重要度的最后决断(步骤110)。接着，CPU 12将每个区域的重要度信息(等级信息)连同区域信息一起输出至条帧筛选单元四(步骤111)，并且重复上述处理，直到没有剩下作为处理目标的帧为止(步骤101)。区域信息包括对象的位置坐标信息。(条帧筛选处理)接下来，描述图3中所示的步骤56的条帧筛选处理的细节。图14是确切地示出条帧筛选单元四的框图。如图中所示，条帧筛选单元四包括基于条的帧候选确定单元四1、第一条帧筛选单元四2、第二条帧筛选单元四3、第三条帧筛选单元294和等级阈值确定单元四5。基于条的帧候选确定单元291从条参数确定单元观接收各种类型参数信息的输入，并使用该参数信息以将帧候选确定为条基础。第一条帧筛选单元292从特征帧记录单元23接收特征帧信息的输入，并使用特征帧信息(时间信息)以重新筛选基于条的帧候选。该处理在下文称为筛选处理(1)。等级阈值确定单元295从图像区域处理单元27接收区域信息和等级信息的输入并从系统控制器接收高速搜索速度的输入，并且基于区域信息、等级信息和高速搜索速度信息来确定要成为判断是否要重新筛选基于条的帧的标准的区域的等级的阈值。第二条帧筛选单元293基于区域信息、等级信息和关于高速搜索速度和所确定出的阈值的信息(即，基于每个帧的特征信息)，另外地重新筛选在第一条帧筛选单元四2中重新筛选出的基于条的帧。该处理在下文称为筛选处理O)。第三条帧筛选单元四4使用帧间特征信息(对象的重叠度)，对上一次在第二条帧筛选单元293中重新筛选出的基于条的帧进行重新筛选。该处理在下文称为筛选处理(3)。图15是示出条帧筛选处理的流程的流程图。图16是示意性地示出条帧筛选处理的总体流程的图。图17是示意性地示出条帧筛选处理的筛选处理(1)的图，图18是示意性地示出条帧筛选处理的筛选处理( 的图，图19是示意性地示出条帧筛选处理的筛选处理(3)的图。如图15所示，CPU 12首先从基于条的帧候选确定单元接收条参数的输入(步骤121)，并确定基于条的帧候选(步骤122)。然后，CPU 12移至筛选处理(1)。在筛选处理(1)中，CPU 12首先从特征帧记录单元23接收特征帧信息的输入(步骤123)，并判断多个基于条的帧候选之间是否插入了特征帧，即，基于条的帧候选中是否包括场景变化点(步骤124)。当判断基于条的帧候选之间插入了特征帧(是)时，CPU 12校正基于条的帧候选以使得特征帧未插入在各候选之间(步骤125)。确切地，CPU 12从基于条的帧候选中删除基于条的帧候选之中位于特征帧之后的帧。例如，如图16和17中所示，在作为基于条的帧候选的帧打43、€547、€9和打1之中删除位于特征帧的帧f9之后的帧fll。当根据校正后的基于条的帧候选生成拼接图像时， 每一个均从帧Π、f3、f5、f7和f9使用条图像，并且从帧f9使用两个条图像。然后，CPU 12接收来自图像区域处理单元27的区域信息和等级信息的输入(步骤126)以及来自系统控制器35的高速搜索速度的输入(步骤127)。接着，CPU 12控制等级阈值确定单元四5以基于区域信息、等级信息和高速搜索速度来确定要成为判断是否要筛选基于条的帧的标准的区域的等级的阈值(步骤128)。接着，CPU 12移至筛选处理(2)。在筛选处理O)中，CPU 12首先判断存在未处理的基于条的帧候选(步骤129)，并且在存在(是)时输入关于要根据参数从作为处理目标的基于条的帧候选中作为条图像剪切的区域(条区域)的信息(步骤130)。接下来，CPU 12将条区域与区域信息和等级信息进行比较，并判断条区域(对象区域和矩形区域)中包括的各区域的重要度的最大值是否等于或小于所确定出的阈值(步骤 131)。当条区域中包括的各区域的重要度的最大值等于或小于阈值(是)时，CPU 12将条区域校正至位于相邻帧中同一位置的条区域(步骤132)。图16和18示出这样的情况在水平分割的帧中，在垂直方向上确定矩形区域的重要度，并且基于对象大小确定对象区域的重要度(如图13所示)。在此情况下，由于帧fl 的条1-1的重要度在阈值设为重要度1时等于或小于阈值，因此CPU 12将用于剪切第一条图像的基于条的帧候选从帧Π改变为帧f2，以使得位于相邻帧f2中相同位置的条2-1 (其具有等于或大于阈值的重要度)用在条1-1的位置中。这里，帧f5的条5-3不包括对象区域，但是由于垂直方向上的重要度高，因此不改变基于条的帧候选f5。CPU 12重复筛选处理O)，直到没有剩下未处理的基于条的帧候选为止(步骤 129)。然后，CPU 12移至筛选处理(3)。在筛选处理(3)中，CPU 12首先判断是否存在未处理的基于条的帧候选(步骤133)，并且在存在(是)时输入关于作为处理目标的基于条的帧候选的条区域的信息(步骤134)。接下来，在条区域用作条图像之后，CPU 12判断其它基于条的帧候选中包括的对象是否要由条图像分割(步骤135)。然后，一旦选择其它基于条的帧候选的条区域而使得对象未被分割，CPU12判断对象区域是否与拼接图像中的另一对象区域重叠(步骤136)。CPU 12比较对象和其它对象之间的重要度，移除包括具有更低重要度的对象的帧，并且将包括具有更高重要度的对象的帧设置为基于条的帧候选(步骤138)。当在步骤136中判断出对象区域与另一对象区域不重叠(否)时，CPU 12筛选作为基于条的帧候选的、包括包含整个对象的多个条区域的帧来代替要分割对象的条区域， 从而对象未被分割(步骤139)。这里，坐标判断用于判断分割的存在/不存在。确切地，CPU 12基于作为对象的位置坐标信息(其包括在区域信息中)的矩形坐标的范围是否与条区域的坐标范围重叠， 判断分割的存在/不存在。进一步，为了筛选包括条区域的帧以使得对象未被分割，CPU 12选择包括包含所有矩形坐标范围的条区域的基于条的帧候选。在图16和19所示的示例中，例如，如果要根据筛选处理(1)从基于条的帧剪切条图像，则在随后的拼接图像中帧f2的条2-1和帧f3的条3-2处被分割的同时来显示对象 01。就此，CPU 12将拼接图像中第二条图像的基于条的帧候选从帧f3改变为f2以使得使用帧f2的条2-2代替条3-2，从而对象01不被分割。此外，在拼接图像中，对象02仅在帧f7的条7-4处显示，并被分割。就此而言，通过使用来自帧f7中条7-3到7-6的四个条区域，对象02未被分割。然而，由于对象02和对象03的区域范围局部重叠，因此这使得03不能显示在拼接图像中。就此，CPU 12例如基于对象大小来比较对象02和03的重要度，并且选择帧f7作为拼接图像中第三到第六条图像的基于条的帧，以使得显示具有更高重要度的对象02，即，使用帧7的条7-3到7-6。CPU 12重复上述筛选处理(3)，直到没有剩下未处理的基于条的帧候选为止(步骤S133)。结果，最终将基于条的帧候选选择为基于条的帧。这里，“重要度”是关于用户的高速搜索的重要度，并且不是仅基于对象予以判断。 即使在帧不包括对象的时候，也存在用户“希望从包括蓝色天空的剪辑开始再现”或者“希望从包括没有人或东西在其之中的空屋子(例如，墙壁、地板和天花板)的剪辑开始再现” 的情况。在此实施例中，考虑到帧的中心的画面在筛选处理O)中往往成为搜索的关键的事实，在垂直方向或中心/周围区域中定义重要度。因此，当在所有基于条的帧的中心不存在对象时，按照原样使用中心的条区域。(条剪切处理)接下来，描述图3所示的步骤57的条剪切处理的细节。图20是示出条剪切处理的流程的流程图。如图中所示，CPU 12首先输入条帧筛选单元四执行的条帧筛选处理的结果(步骤 141)。接下来，CPU 12判断是否存在未处理的基于条的帧(步骤142)，并在存在(是) 时输入基于条的帧(步骤143)。
然后，CPU 12为输入的基于条的帧确定剪切裕量(步骤144)。如上所述，在此示例中，为了在条拼接单元32进行的条拼接处理中对条边界平滑地进行拼接处理，在保持某一裕量的同时(而不是正好在边界上剪切)来剪切条。例如基于构成拼接图像的条图像的数目(条图像的纵向长度)，按照需要选择该裕量。然后，CPU 12基于输入的条帧筛选结果，从基于条的帧中剪切条图像(步骤145)。CPU 12针对所有的基于条的帧重复以上处理(步骤142)，并且一旦针对所有的基于条的帧结束了剪切处理，则将剪切的条图像输出至条图像处理单元31 (步骤146)。(条图像处理)接下来，描述图3所示的步骤58的条图像处理的细节。图21是示出条图像处理的流程的流程图。进一步，图22是示意性地示出条图像处理的图。如图中所示，CPU 12首先输入区域信息和等级信息(步骤151)，然后输入高速搜索速度(步骤152)。接下来，基于区域信息、等级信息和高速搜索速度，CPU 12确定对于关于条图像的各区域的重要度的阈值(即，作为用于判断是否要执行用于稍后描述的图像简化的图像处理的标准的阈值)(步骤153)。然后，CPU 12判断是否存在未处理的条图像(步骤154)，并且在存在(是)时，输入从条剪切单元30输出的多个条图像中的一个(步骤155)。基于阈值，CPU 12使条图像经历用于简化具有低重要度的区域中的图像的图像处理(步骤156)。这里，用于图像简化的图像处理例如是指喷墨处理、褪色处理和对于其它像素值(如，黑色)的替代处理。CPU 12针对所有的条图像重复以上的处理(步骤151)。如图22A所示，例如，阈值随着搜索速度增大而设置得更高。确切地，如图 22A(A-I)中所示，阈值在搜索速度较低时设置得较低，并且条图像的任何区域中的图像都没有予以简化。然而，如图22A(A-2)和(A-3)中所示，对于条图像的每个区域的重要度的阈值随着搜索速度增大而变得更大，并且对重要度等于或小于阈值的区域进行图像处理。在图22A(A-2)中，由于最外侧的矩形帧区域的重要度如图12中那样是最低的，因此条图像中对应于该矩形帧区域的图像被简化。在图22A(A-3)中，由于另外地将阈值设置得高，因此相比于图22A(A-2)中所示的更加处于内侧的矩阵帧区域所对应的条图像中的图像得到简化。图22B示出在图22A(A_3)的情况下对于条图像Sl到S6的图像处理的状态。如图中所示，由于在帧筛选处理中将具有某一重要度或以上的帧筛选为基于条的帧，因此条图像的整个区域经历简化处理的概率几乎为0。在条图像Sl中，例如，作为条图像Sl的剪切基础的条区域根据与帧中心的距离而具有低的重要度，但是由于重要度在三角形对象0 的区域中变得像等于或大于阈值那么高，因此剩下对象0，而不经历简化处理。要简化的区域随着搜索速度增大而增大的原因基于用户的观察点随着搜索速度增大而往往集中于拼接图像中心的设想。(条帧拼接帧)接下来，描述图3中所示步骤59的条剪切处理的细节。图23是示出条剪切处理的流程的流程图。如图中所示，在剪切之后，CPU 12首选输入经历图像处理的条图像(步骤161)，并确定用于条拼接处理的方法(步骤162)。这里，在此实施例中，可以将两种类型的拼接方法用于条拼接处理。图对是示出第一拼接方法的图，图25是示出第二拼接方法的图。如图M所示，在第一拼接方法中，通过以预定比率添加两个条图像的裕度部分的像素来拼接两个条图像。通过每隔若干条线改变添加，可以平滑地拼接两个条图像。例如，当条A的像素比率是α/γ并且条B的像素比率是= 1.0)时，通过下列表达式计算拼接区域的输出像素的值。输出=(α*Α+β*Β)"[α，β，y ] = [1,31,32], [2，30，32]确切地，在拼接区域中，条图像A的像素比率随着其更靠近于上面的条图像A而变得更高，条图像B的像素比率随着其更靠近于下面的条图像B而变得更高。此外，在拼接区域的水平方向上，条图像A的像素布置在左手侧，而条图像B的像素布置在右手侧。进一步，在拼接区域的垂直方向上，灰度(gradation)例如为32(γ)，而线宽例如为4。线宽在本示例中与要在单个拼接图像中拼接的条图像的数目无关地固定，但是可基于要拼接的条图像的数目而改变。如图25中所示，在第二拼接方法中，在拼接区域中针对每个像素或者每隔若干像素来切换两个条图像中任一个的裕度部分的像素。在拼接区域的水平方向上，像素可以规律地或随机地切换。在图中所示的示例中， 示出了规律地切换像素并且使得相同条图像的像素尽可能不在纵向和横向方向上连接的情况。在拼接图像的垂直方向上，条图像A的像素的数目的比率在上面区域变得更高， 而条图像B的像素的数目的比率在下面区域变得更高。像素的数目的比率例如每隔若干条线而改变。返回参考图23，一旦确定用于拼接处理的方法，CPU 12确定每一种方法的拼接参数(步骤16 。例如，拼接参数在第一拼接方法中是阶调和线宽，而在第二拼接方法中是水平方向上的像素和其单元与用于垂直方向上的像素数的比率的改变单元的切换方法。然后，CPU 12判断在每个条图像的拼接处理中是否存在未处理的像素(步骤 164)，并且在存在(是)时设置要处理的像素(步骤165)并判断所设置的像素是否处于拼接区域(裕度区域)中(步骤166)。当作为处理目标的像素处于条区域中(是)的时候，CPU 12使用上述方法从两个条图像计算像素值(步骤167)。另一方面，当作为处理目标的像素在拼接区域外(否)的时候，CPU 12从单个条图像获得像素值(步骤168)。然后，CPU 12从位于处理目标位置的像素确定最后的输出像素(步骤169)。CPU 12针对构成单个拼接图像的所有条图像中的所有像素重复上面的处理(步骤164)，并且一旦结束对于所有像素的处理(步骤164中的否)，将作为拼接图像的一个帧输出至帧存储器33 (步骤170)。然后，输出至帧存储器33的拼接图像由显示处理单元34输出至显示器 D作为搜索图像。(总结)如上所述，根据此实施例，PVR 100能够执行控制，以使得通过拼接多个帧的条图
18像所获得的拼接图像在用户进行搜索操作时被输出为搜索图像，并且防止从拼接图像中的、其间插入了特征帧(如，场景变化)的多个帧中剪切条图像。因此，PVR 100可以防止由于场景变化等而具有不相关的视频内容的帧的条图像被拼接，以便将对于用户而言不舒服的并且其内容难以理解的拼接图像再现为搜索图像。此外，通过根据基于条的帧候选中每个区域的重要度(等级)重新筛选基于条的帧，PVR 100可以避免拼接图像的重要场景被用户忽略。(修改示例)本发明不限于以上实施例，而是可以在不脱离本发明要点的情况下进行各种变型。在以上实施例中，作为处理目标的视频数据是2D图像。然而，可以将3D图像用作处理目标。这里所使用的3D图像处于这样的格式其包括从用户两眼O个观察点)观看时的双目视差图像(双目图像)以及像素单元中的深度信息，但是不限于此。图沈是示出在3D图像用作处理目标的情况下PVR 100的软件的功能块的图。如图中所示，当处理3D图像时，深度信息记录单元37和立体视图处理单元38相比于图2中所示的框图时被添加至PVR 100。此外，在图中，输入至视频信号记录单元21的视频信号是表示双目图像的双目视频信号。在以下描述中，与以上实施例的那些块具有相同功能的块由相同的附图标记表示，并且其描述予以省略。深度信息记录单元37存储与双目视频信号同步输入的深度信息。基于关于条帧筛选单元四输入的基于条的帧、图像特征判断单元沈输入的图像帧信息、深度信息记录单元37输入的深度信息以及系统控制器35输入的高速搜索速度的信息，立体视图处理单元38将条拼接单元32输入的拼接图像转换为对于高速搜索而言在眼睛上非常友好的输出图像。图27是示出在3D图像是处理目标的情况下的拼接图像的显示处理的流程的流程图。在该图中，示出了如以上实施例中那样生成拼接图像之后的处理。此外在该图中，PVR 100的CPU 12是操作对象。处理包括用于在不适于3D显示的区域上进行2D显示的处理(立体视图处理(1)) 以及用于在拼接图像中的对象的“距离”不适于观看时而在调节该“距离”之后进行拼接图像的显示的处理(立体视图处理O))。这里所使用的“距离”是指当从用户观看时对象是否好像从显示屏幕突出或缩回。如图中所示，CPU 12首先判断是否存在未处理的拼接图像(步骤171)，并在存在 (是)时输入拼接图像(步骤I72)。接下来，CPU 12从条帧筛选单元四接收基于条的帧的筛选结果信息的输入(步骤 173)。然后，CPU 12判断对于作为处理目标的拼接图像而言是否存在未处理的像素(步骤174)，并且在存在(是)时移至立体视图处理(1)。在立体视图处理(1)中，CPU 12首先从图像特征判断单元沈接收图像帧信息的输入(步骤17 ，并且从系统控制器35接收高速搜索速度的输入(步骤176)。然后，CPU 12基于输入的图像特征信息和高速搜索速度来判断拼接图像的像素是否不适于3D显示(步骤177)。例如，当搜索速度较高(例如，正常速度的10倍)并且仅要
19暂时显示拼接图像时，将属于包括了穿戴详细图案的人或者信息节目的帧中所包括的大量字符的区域的像素判断为适于3D显示的像素。随后，CPU 12基于判断结果来判断是否要以2D显示的形式显示目标像素(步骤 178)。当判断以2D显示的形式显示像素(是)时，CPU 12将用于3D图像的像素转换为用于2D图像的像素(步骤179，立体视图处理(1))。确切地，CPU 12在不使用对应于双目图像的像素之中的、用于右眼图像的像素的情况下，将用于左眼图像的像素设置为输出像素。另一方面，当在步骤178中判断以3D显示的形式显示目标像素(否)时，CPU 12 移至立体视图处理( 。图28是示出在立体视图处理O)中处理的对象的条件的图，图四是示意性地示出立体视图处理O)的示例的图。在立体视图处理O)中，CPU 12首先从系统控制器35接收高速搜索速度的输入 (步骤180)。接下来，CPU 12从深度信息记录单元37接收深度信息的输入。这里，深度信息是指如图28A所示那样当从用户观看时拼接图像内的每个对象与显示器的距离。换言之，对于用户而言好像突出的对象(对象01)的距离较小，而好像缩回的对象(对象03)的距离较大。此外，对象02看上去仿佛其如2D图像的情况下那样处于与显示器相同的平面上。此外，如图2B中所示，各对象之中的突出侧的对象01在左手一侧具有右眼图像， 并在右手一侧具有左眼图像，而缩回侧的对象03在右手一侧具有右眼图像，并在左手一侧具有左眼图像。在显示器上的对象02中，左眼图像和右眼图像完全重叠。图28C示出在调节了左右图像的水平偏离之后完全以2D显示的形式显示对象的状态。返回参考图27，CPU 12基于高速搜索速度和深度信息来判断是否要在深度方向上限制作为处理目标的像素(步骤182)。当判断要加以限制(步骤183中的是)时，CPU 12对突出过多或缩回过多的像素执行深度位置调节处理(步骤184，立体视图处理(2))。 当判断不加以限制(否)时，CPU 12按照原样将像素显示为3D图像(步骤185)。确切地，当作为处理目标的像素突出过多或缩回过多时，CPU 12调节像素以将它们移向显示器。确切地，此调节通过调节左右图像在水平方向上的偏移量而加以执行。对于立体视图限制处理，存在两个示例。在第一示例中，当在步骤182的深度方向判断处理中高速搜索速度超过预定阈值时，将拼接图像中的所有像素判断为处理目标，并且在上述步骤184中将目标像素完全显示为2D图像。在此情况下，当高速搜索速度如图29A所示那样超过阈值时，所有的像素移向显示器。结果，如图28C中所示那样调节对象在水平方向上的位置偏离，以使得将对象显示为2D图像。据此，由于已经在正常再现期间以3D方式显示的帧在高速搜索期间也显示为2D图像，因此消除了对于用户而言的奇怪感觉。在第二示例中，在步骤182的深度方向判断处理中，将深度信息等于或大于预定阈值的区域(像素)(即，突出过多或缩回过多的区域)判断为处理目标，并且在步骤184 中，在这种区域中调节左右眼图像在水平方向上的偏离量。该预定阈值依据高速搜索速度而改变。结果，突出侧与缩回侧的各像素如图^B中所示那样随着高速搜索速度增大而移至更靠近于显示器，从而以接近2D显示的形式显示像素。因此，在拼接图像中，消除了突出或缩回过多的区域，结果是在不引起奇怪感觉的情况下显示搜索图像。替代条图像和拼接图像，可以针对单个正常帧执行图21和22所示的条图像处理与图沈到四所示的立体视图处理。确切地，可以对在如现有技术中那样进行搜索操作时已经输出的单个搜索图像执行对应于搜索速度的局部图像的简化处理，或者可以在搜索图像为3D图像时执行立体视图处理。尽管在以上实施例中作为条帧筛选处理已经执行了筛选处理(1)到(3)，但是筛选处理( 和C3)不是必不可少的，可以仅通过筛选处理(1)来筛选帧。尽管在以上实施例中作为对象已经例举了人脸和身体，但是当然可以对各种其它的对象(包括诸如telop之类的字符区域)执行相同的处理。以上实施例和修改示例中描述为由PVR 100执行的处理可以类似地由各种其它的装置(如，电视机、PC (Personal Computer，个人计算机)、数码相机、数码摄像机、蜂窝电话、智能电话、记录/再现装置、游戏机、PDA (Personal Digital Assistance，个人数字助理)、电子书终端、电子辞典和便携式AV装置)来执行。本申请包含于2010年5月18日向日本专利局提交的日本优先权专利申请JP 2010-114048中公开的主题有关的主题，其全部内容通过引用的方式合并在此。本领域的技术人员应当理解，依据设计要求和其它因素，可以出现各种修改、组合、部分组合和变更，只要其在所附权利要求书及其等同体的范围内即可。
权利要求
1.一种电子装置，包含存储器，其配置为存储包括多个帧的视频数据和关于特征帧的特征帧信息，所述特征帧包括多个帧当中的预定视频特征；再现单元，其配置为再现所存储的视频数据；操作接收单元，其配置为接收用户的搜索操作，所述用户的搜索操作指示以任意速度执行所再现的视频数据的快进和倒退之一；以及控制器，其配置为在接收搜索操作时，从接收搜索操作的时间点的帧提取预定数目的候选帧，从候选帧筛选其间未插入特征帧的多个帧，从多个筛选出的帧的每一个不同部分提取局部图像，通过按时间顺序拼接局部图像以生成拼接帧，并且控制再现单元以再现该拼接帧。
2.如权利要求1所述的电子装置，其中，所述多个帧中的至少一个包括指示任意对象的对象图像，以及其中，控制器重新筛选多个筛选出的帧，使得对象图像通过局部图像的提取未被分割。
3.如权利要求1所述的电子装置，其中，控制器计算每个筛选出的帧内的多个区域中的每一个的重要度，并且重新筛选所述多个筛选出的帧，使得不从每个帧内的各区域之中的、具有小于预定阈值的重要度的区域提取局部图像。
4.如权利要求3所述的电子装置，其中，通过基于与每个帧的中心的距离的多个范围分割每个帧，获得各区域，以及其中，重要度随着从每个帧中的中心到每个区域的距离变得更小而被设置为变得更高。
5.如权利要求3所述的电子装置，其中，通过基于从每个帧检测到的对象分割每个帧，以获得各区域，以及其中，重要度随着从每个帧检测到的对象的大小变得更大而被设置为变得更高。
6.如权利要求2所述的电子装置，其中，存储器存储指示对象图像所代表的每个对象的重要度的重要度信息，并且其中，控制器从筛选出的帧识别对象图像所代表的对象，并且基于所存储的重要度信息来重新筛选多个筛选出的帧，使得指示所识别对象之中的、具有等于或大于预定阈值的重要度的对象的对象图像包括在局部图像中。
7.如权利要求6所述的电子装置，其中，在当重新筛选多个筛选出的帧时，多个筛选出的帧之中的第一帧中所包括的第一对象图像不包括在拼接帧中，使得多个筛选出的帧之中的第二帧中所包括的第二对象图像通过局部图像的提取未被分割的情况下，所述控制器重新筛选所述多个筛选出的帧，使得指示第一对象图像所代表的第一对象和第二对象图像所代表的第二对象之中的、具有高重要度的对象的对象图像包括在拼接帧中。
8.如权利要求3所述的电子装置，其中，控制器执行预定图像处理，用于简化要根据从所述多个筛选出的帧提取的局部图像生成的拼接帧之中的局部图像内的图像，所述局部图像内的图像对应于将距拼接帧中心预定范围内的区域以及具有等于或高于预定阈值的重要度的区域排除在外的区域的图像。
9.如权利要求8所述的电子装置，其中，随着快进和倒退之一的速度增大，控制器缩小预定范围内的区域。
10.如权利要求1所述的电子装置，其中，控制器使得要拼接的局部图像中的两个局部图像以预定量的区域重叠，并且通过以预定比率从两个局部图像中每一个的预定量区域提取像素以拼接局部图像。
11.如权利要求1所述的电子装置，其中，控制器基于从以正好在特征帧之后的帧开始的帧提取的预定数目的候选帧，生成要在所再现的拼接帧之后再现的拼接帧。
12.—种图像处理方法，包含存储包括多个帧的视频数据和关于特征帧的特征帧信息，所述特征帧包括多个帧当中的预定视频特征；再现所存储的视频数据；接收指示以任意速度执行所再现的视频数据的快进和倒退之一的用户的搜索操作； 在接收搜索操作时，从接收搜索操作的时间点的帧提取预定数目的候选帧； 从候选帧筛选其间未插入特征帧的多个帧； 从多个筛选出的帧的每一个不同部分提取局部图像； 通过按时间顺序拼接局部图像生成拼接帧；以及再现该拼接帧。
13.一种程序，其使得电子装置执行以下步骤存储包括多个帧的视频数据和关于特征帧的特征帧信息，所述特征帧包括多个帧当中的预定视频特征；再现所存储的视频数据；接收指示以任意速度执行所再现的视频数据的快进和倒退之一的用户的搜索操作； 在接收搜索操作时，从接收搜索操作的时间点的帧提取预定数目的候选帧； 从候选帧筛选其间未插入特征帧的多个帧； 从多个筛选出的帧的每一个不同部分提取局部图像； 通过按时间顺序拼接局部图像生成拼接帧；以及再现该拼接帧。
全文摘要
在此公开了电子装置、视频处理方法和程序。所述电子装置包含存储器，其用以存储包括多个帧的视频数据和关于特征帧的特征帧信息，所述特征帧包括多个帧当中的预定视频特征；再现单元，其用以再现所存储的视频数据；操作接收单元，其用以接收指示以任意速度执行所再现的视频数据的快进或倒退的用户的搜索操作；以及控制器，其用以在接收搜索操作时，从接收搜索操作的时间点的帧提取预定数目的候选帧，从候选帧筛选其间未插入特征帧的多个帧，从多个筛选出的帧的每一个不同部分提取局部图像，通过按时间顺序拼接局部图像以生成拼接帧，并且进行控制以再现该拼接帧。
文档编号H04N5/937GK102256095SQ20111013481
公开日2011年11月23日 申请日期2011年5月18日 优先权日2010年5月18日
发明者冈本裕成, 太田正志, 尾花通雅 申请人:索尼公司