摄像设备和方法、图像再现设备和方法、程序和记录介质的制作方法
【专利摘要】本发明提供了一种设备。该设备包括硬件处理器和耦接至该处理器的存储介质。该存储介质存储指令，当指令由处理器执行时，使得设备：生成表示在生成图像数据期间图像记录装置随着时间的移动的运动信号；并且将图像数据和运动信号存储到存储介质中。
【专利说明】摄像设备和方法、图像再现设备和方法、程序和记录介质
【技术领域】
[0001]本技术涉及摄像设备以及方法、图像再现设备以及方法、程序以及记录介质，具体地涉及使得能够更加自由地执行是否再现已记录的图像的决定的摄像设备以及方法、图像再现设备以及方法、程序以及记录介质。
【背景技术】
[0002]传统上，使用用户手中的视频摄像按钮对使用摄录像机的视频记录进行控制。
[0003]可以使用摄录像机、个人计算机等执行已记录的视频的再现。在此，例如，当存在不必要再现的场景时，用户只是连续地观看视频或用户使用快进按钮或快进图标来主动地跳过该场景。
[0004]即使是在所期望的主题的摄像已经结束时，由于用户忘记关闭记录(REC)按钮，连续地记录的场景可以被认为是不必要的场景的示例。此外，包括意外的大的相机抖动的场景、相机的方向突然改变的场景、包括可归因于用户的行走或相机受到的撞击而造成的大的振动的场景等可以被认为是不必要的场景的示例。
[0005]作为一种防止不必要的场景被记录的方法，已经提出了一种用于检测用户的行走的加速度并且如果用户停止行走则使得能够开始记录的技术(例如，参照专利文献I)。
[0006]另外，已经提出了一种用于在受到抖动之后预定时间阻止执行记录的技术(例如，参照专利文献2)。
[0007]引用列表
[0008]专利文献
[0009]PTLl:日本未审查专利申请公布N0.2009-267792
[0010]PTL2:日本未审查专利申请公布N0.06-237463
【发明内容】
[0011]技术问题
[0012]然而，即使在使用专利文献I和专利文献2中所公开的技术时，也存在如下面所描述的问题。
[0013]换而言之，专利文献I和专利文献2中公开的技术可以被称为这样的配置:当执行摄像时，确定没有必要再现的场景，使得不执行记录本身。当使用这样的配置时，存在问题在于:存在用户想要摄像的场景可能被拒绝的可能性。
[0014]最近，已经进行了节省设备的电力以及增加记录介质的容量的尝试，并且记录数据的成本已经逐年地降低。在这样的情况下，成本负担几乎与之前在执行摄像时确定不必要的场景然后不记录该场景的情况以及在执行再现时首先记录不必要的场景然后剪切该场景的情况下二者的成本负担相同。
[0015]另外，当执行摄像时，根据条件或用户所准许的值，在指定没有必要再现的场景时所使用的参考(例如，用来判定是否跳过场景的振动量)不同。然而，非常难以在执行摄像之前确定参考。
[0016]此外，存在问题在于:除了行走以及受到撞击的情况之外，传统的方法不能响应于场景的自动排除。
[0017]本实施例提供了一种设备。该设备包括硬件处理器和耦接至该处理器的存储介质。该存储介质存储指令，当指令由处理器执行时，使得该设备生成表示在生成图像数据期间图像记录装置随着时间的移动的运动信号，并且将图像数据和运动信号存储到存储介质中。
[0018]本实施例提供了一种再现设备。该再现设备包括接收器，该接收器被配置成接收记录的图像数据和运动信号，该运动信号具有表示在记录图像信息期间图像记录装置在对应的时间处的移动。再现设备还包括硬件处理器和耦接至该处理器的存储介质。该存储介质存储指令，当指令由处理器执行时，使得该设备:分析运动信号值；基于运动信号值来指定图像数据中的不用于显示的至少一部分；以及生成由其中将图像数据中的不用于显示的至少一部分移除的记录的图像数据所构成的经修改的图像数据。
[0019]本实施例提供了一种由处理装置执行的方法。该方法包括由处理设备生成运动信号的步骤，该运动信号表示在生成图像数据期间图像记录装置随着时间的移动。该方法还包括将图像数据和运动信号存储在存储介质中的步骤。
[0020]本实施例还提供一种非暂态计算机可读介质。该非暂态计算机可读介质存储指令，当指令由计算机执行时，使得计算机:生成运动信号，该运动信号表示在生成图像数据期间图像记录设备随着时间的移动；并且将图像数据和运动信号存储到存储介质中。
[0021]本实施例还提供一种由再现装置再现图像的方法。该方法包括以下步骤:接收记录的图像数据；以及接收表示图像记录装置在记录图像数据期间的移动的运动信号。该方法还包括以下步骤:由再现装置分析运动信号；基于该运动信号指定图像数据中的不用于显示的至少一部分；以及生成由其中将图像数据中的不用于显示的至少一部分移除的记录的图像数据所构成的经修改的图像数据。
[0022]本实施例还提供了一种非暂态计算机可读介质。该非暂态计算机可读介质存储指令，当指令由计算机执行时，使得计算机:接收记录的图像数据；接收表示在记录图像数据期间图像记录装置的移动的运动信号；由计算机分析运动信号；基于该运动信号指定图像数据中的不用于显示的至少一部分；以及生成由其中将图像数据中的不用于显示的至少一部分移除的记录的图像数据所构成的经修改图像数据。
【专利附图】
【附图说明】
[0023]图1是示出了根据一个实施例应用本技术的摄像设备的配置的示例的框图。
[0024]图2是示出了根据一个实施例应用本技术的再现设备的配置的示例的框图。
[0025]图3是示出了从陀螺仪传感器中输出的感测信号的波形的示例的曲线图。
[0026]图4是示出了运动信号的示例的视图。
[0027]图5是示出了运动信号的另一示例的视图。
[0028]图6是示出了运动信号的又一示例的视图。
[0029]图7是示出了运动信号的再一示例的视图。
[0030]图8是示出了运动信号的再一示例的视图。[0031]图9是示出了运动信号的再一示例的视图。
[0032]图10是示出了运动信号的再一示例的视图。
[0033]图11是示出了运动信号的再一示例的视图。
[0034]图12是示出了记录图像数据和运动数据的方法的示例的视图。
[0035]图13是示出了记录图像数据和运动数据的方法的另一示例的视图。
[0036]图14是示出了记录图像数据和运动数据的方法的再一示例的视图。
[0037]图15是示出了记录处理的示例的流程图。
[0038]图16是示出了再现处理的示例的流程图。
[0039]图17是示出了场景跳过控制处理的示例的流程图。
[0040]图18是示出了摄像设备的外观的示例的视图。
[0041]图19是示出了个人计算机的配置的示例的框图。
【具体实施方式】
[0042]在下文中，将参照附图对在此公开的技术的实施例进行描述。
[0043]图1是示出了根据一个实施例的应用本技术的摄像设备的配置的示例的框图。摄像设备10被配置为例如摄录像机(camcorder)。
[0044]图中示出的摄像设备10包括输入单元21、透镜致动器22、陀螺仪传感器23、成像单元24、相机抖动校正操作单元25、运动量计算单元26、编码器27、记录单元28以及显示单元29。
[0045]输入单元21接收例如由用户操纵的输入。例如，由用户输入操纵如开始摄像、终止摄像、放大、缩小等。
[0046]当在视频的摄像期间施加振动如相机抖动时，透镜致动器22由此通过将透镜移动至所施加的振动量的程度来实现抵消可归因于振动的影响的功能(相机抖动校正功能)。透镜致动器22在摄像期间基于从陀螺仪传感器23输出的感测信号来检测振动如相机抖动，随后将对陀螺仪传感器23进行描述。
[0047]陀螺仪传感器23检测并且输出两个轴或三个轴的角速度。也就是说，陀螺仪传感器23感测例如俯仰方向、偏航方向、滚转方向(roll direction)上的旋转,并且检测摄像设备10的振动。从陀螺仪传感器输出的感测信号被输出至透镜致动器22和运动量计算单元26。
[0048]成像单元24包括传感器等，该传感器包括光电转换元件,例如，电荷稱合器件(CXD)传感器、互补金属氧化物半导体(CMOS)传感器等，并且将与经由摄像设备10的透镜的入射光相对应的信号作为图像信号输出。
[0049]相机抖动校正操作单元25基于由陀螺仪传感器23提供的感测信号生成用于表示相机抖动的尺寸和方向的信号，并且将所生成的信号输出至透镜致动器22。
[0050]运动量计算单元26基于由陀螺仪传感器23提供的感测信号来生成运动信号，该运动信号是表示在生成图像数据期间摄像设备10随着时间的运动量的信号。同时，随后将详细地对运动信号进行描述。由运动量计算单元26生成的运动信号与随后将要描述的编码器27的输出一起被输出至记录单元28。在此，运动信号以与从编码器27中输出的图像数据被再现的再生时间相关联的方式输出。[0051 ] 编码器27使用预定编码方法如动态图像专家组(MPEG)方法等对由成像单元24提供的图像信号进行编码。从编码器27中输出的编码后的图像数据与由运动量计算单元26生成的运动信号一起被输出至记录单元28。
[0052]记录单元28将图像数据和运动信号记录在记录介质如硬盘驱动器(HDD)、半导体存储卡等中。在此，如上面所描述的，运动信号以与图像数据被再现的再生时间相关联的方式被记录。同时，使用如下任意方法将运动信号转换成数字数据，在这些方法中，例如，运动信号在其被记录时进行编码，并且被记录为运动数据。
[0053]显示单元29包括显示器，例如液晶显示器(IXD)等，并且基于从成像单元24中输出的图像信号显示图像。
[0054]图2是示出了根据一个实施例的、与图1中的摄像设备10相对应并且应用本技术的再现设备的配置的示例的框图。再现设备50包括，例如HDD记录器、个人计算机等。
[0055]图中示出的再现设备50包括输入单元61、驱动器62、操作解码器63、显示单元64和高速缓冲存储器65。
[0056]输入单元61接收例如由用户操纵的输入。例如，由用户输入操纵如与再现的开始、再现的结束、或场景跳过相关的指令。
[0057]驱动器62配备有记录介质，使用摄像设备10的记录单元28将图像数据和运动数据记录在该记录介质中。驱动器62基于例如经由输入单元61所输入的用户的操纵从记录介质中读取图像数据和运动数据。将从记录介质中读取的图像数据和运动数据提供至操作解码器63。
[0058]操作解码器63在接收了来自驱动器62的图像数据和运动数据之后，对例如从记录介质中读取的图像数据和运动数据进行解码，并且将通过使用高速缓冲存储器65执行预定操作处理而获得的图像信号输出至显示单元64。
[0059]操作解码器63基于例如通过对运动数据进行解码而获得的运动信号来获取和分析表示摄录像机的运动(相机抖动、振动、透镜方向上的大的变化等)的信息，并且基于该信息控制场景跳过。
[0060]例如，操作解码器63将通过对编码后的图像数据进行解码而获得的图像数据存储在高速缓冲存储器65中。同时，操作解码器63参照表示摄录像机的运动的视频的信息来指定待跳过的画面，然后对排除了所指定的画面的视频的一系列图像数据进行重新配置。之后，操作解码器63生成与重新配置后的图像数据相对应的图像信号并且将该图像信号输出至显示单元64。在此，操作解码器63基于例如经由输入单元61输入的用户的操纵确定待跳过的画面的运动范围或运动时段。
[0061]显示单元64包括显示器，例如IXD等，并且显示与由操作解码器63提供的图像信号相对应的图像。
[0062]接下来，将对上面所描述的运动信号进行描述。图3是曲线图，在曲线图中其横轴表示时间以及其纵轴表示信号电平，并且示出了从陀螺仪传感器23中输出的感测信号的波形的示例。同时，这个示例示出了在偏航方向上陀螺仪传感器23的旋转感测信号的波形的示例。
[0063]如图3所示的从陀螺仪传感器23中输出的感测信号可以在没有变化的情况下被用作运动信号。[0064]图4是示出了由运动量计算单元26生成的运动信号的另一示例的视图。该图是一个曲线图，在该曲线图中其横轴表示时间以及其纵轴表示信号电平，并且示出了通过执行阈值判定对图3所示的信号进行二值化而获得的信号的波形的示例。在该示例中，图3中的信号被二值化，使得，例如，当电平超出距DC中心值土 100数字时，判定超过阈值，当输出大于阈值的感测信号时，输出I，否则输出O。
[0065]如上面所描述的，可以通过对从陀螺仪传感器23中输出的感测信号进行二值化来简单地识别，例如摄录像机的运动较大的视频部分和运动较小的视频部分。
[0066]如图4所示，通过使用阈值判定对从陀螺仪传感器23中输出的感测信号进行二值化所获得的信号可以被用作运动信号。
[0067]图5是示出了由运动量计算单元26生成的运动信号的又一示例的视图。该图是曲线图，在该曲线图中其横轴表示时间以及其纵轴表示信号电平，并且示出了通过对图4所示的信号执行延迟效应处理所获得的信号的波形的示例。在此，该延迟效应处理是例如如下处理:执行该处理，使得将图3所示的信号转化为O或I之后在预定的时间内不允许进行后续的转化。
[0068]例如，当基于图4所示的信号执行场景跳过控制时，必要的是，只要阈值被超过，则通过精细循环(fine cycle)重复地判定是否执行再现，使得当执行再现时工作量较大。当如图5所示执行延迟效应处理时，则没有必要通过上面所描述的精细循环来重复判定是否执行再现。
[0069]如图5所示，通过使用阈值判定对从陀螺仪传感器23中输出的感测信号进行二值化并且进一步执行延迟效应处理所获得的信号可以被用作运动信号。
[0070]图6是示出了由运动量计算单元26生成的运动信号的再一示例的视图。该图是曲线图，在该曲线图中其横轴表示时间以及其纵轴表示信号电平，并且示出了通过使用具有两个阈值的阶梯式判定对图3所示的信号进行三值化并且进一步通过执行延迟效应处理所获得的信号的波形的示例。
[0071]例如，当基于图6所示的信号执行场景跳过控制时，则在执行再现时判定没有必要再现的运动的尺寸可以通过提供多个阈值从多个尺寸中选出。
[0072]如图6所示，通过使用具有多个阈值的阶梯式判定对从陀螺仪传感器23输出的感测信号进行多值化并且进一步通过执行延迟效应处理所获得的信号可以被用作运动信号。
[0073]图7是示出了由运动量计算单元26生成的运动信号的再一示例的视图。该图是曲线图，在该曲线图中其横轴表示时间以及其纵轴表示信号电平，并且示出了通过对使用具有两个阈值的阶梯式判定对图3所示的信号进行三值化所获得的信号执行低通滤波处理而获得的信号的波形的示例。也就是说，替代如图6所示的情况的执行延迟效应处理，对信号执行低通滤波处理。
[0074]如图7所示，通过使用具有多个阈值的阶梯式判定对从陀螺仪传感器23输出的感测信号进行多值化并且进一步通过执行低通滤波处理而获得的信号可以被用作运动信号。
[0075]图8是示出了由运动量计算单元26生成的运动信号的再一示例的视图。在该示例的情况下，示出了通过关于从陀螺仪传感器23输出的感测信号计算每个预定时间的预定频率范围内的功率谱的面积值并且将该功率谱的面积值投影到时间轴上而获得的波形的示例。也就是说，图8的横轴表示时间，其纵轴表示功率谱的面积。[0076]对于图8所示的运动信号，可以排除例如周期运动、突发剧烈运动等的影响。也就是说，由于在视频中不能确定是否发生相机抖动的部分处的信号电平不高，因此仅可以识别清晰的相机抖动或撞击。该信号可以被用作运动信号。
[0077]图9是示出了由运动量计算单元26生成的运动信号的再一示例的视图。在该示例的情况下，示出了如下曲线图，在该曲线图中其横轴表示时间以及其纵轴表示信号的电平，并且示出了通过使用阈值判定对图8所示的信号进行二值化而获得的信号的波形的示例。该信号可以被用作运动信号。
[0078]图10是示出了由运动量计算单元26生成的运动信号的再一示例的视图。在该示例的情况下，示出了如下曲线图，在该曲线图中其横轴表示时间以及其纵轴表示信号的电平，并且示出了通过对图9所示的信号执行延迟效应处理所获得的信号的波形的示例。该信号可以被用作运动信号。
[0079]图11是示出了由运动量计算单元26生成的运动信号的再一示例的视图。在该示例的情况下，示出了一个曲线图，在该曲线图中其横轴表示时间以及其纵轴表示信号的电平，并且示出了对通过使用具有两个阈值的阶梯式判定对图8所示的信号进行三值化所获得的信号执行低通滤波处理而获得的信号的波形的示例。该信号可以被用作运动信号。
[0080]接下来，将对记录图像数据和运动数据的方法进行描述。
[0081]图12是示出了将运动信号的波形与图像数据的时间线同步并且记录运动信号的波形的方法的视图。例如，与参照图3和图8所描述的情况一样，同步的波形111显示了运动信号的波形。
[0082]记录单元28通过例如对波形111进行采样和量化将运动信号的波形与图像数据的时间线同步，并且记录该波形。同时，通过量化所获得的每个值与表示时间线上的时间的数据一起被提交(filed)，然后被记录，使得运动数据和图像数据一起被记录。
[0083]因此，例如，由再现设备50的操作解码器63再现运动数据，使得如参照图3和图8所描述的情况一样，运动信号的波形可以被再现。在该情况下，例如，在再现图像之前，用户可以查看波形111并且执行编辑例如在时间线上指定待跳过的场景。
[0084]图13是示出了记录图像数据和运动数据的方法的另一示例的视图。该图示出了其中基于例如如图4至图7以及图9至图11所示的被多值化(包括二值化)的运动信号来提取运动尺寸作为状态，并且记录关于视频数据的每个画面的状态的情况的示例。在这种情况下，例如假定运动信号被三值化，以及运动尺寸被表示为相机抖动、撞击等的“强度”，并且设置第一强度的状态至第三强度的状态。
[0085]如图13所示，使用写在时间线上的值O至值3来显示每个画面的状态。可以通过例如将状态存储到包含在视频数据中的数据包的报头中来记录该状态。
[0086]另外，如图所示，如果在时间线上显示基于画面的状态的颜色编码(在此，阴影线)的条，则可以在一个视图中识别视频的较大的相机抖动(较大的运动)间隔或较小的相机抖动间隔。
[0087]图14是示出了记录图像数据和运动数据的方法的另一示例的视图。图14示出了如下这样的情况的示例:基于例如如图4至图7以及图9至图11所示的被多值化(包括二值化)的运动信号来提取运动尺寸的变化，并且运动尺寸的变化被记录为与视频数据的时间线相关联的标记。在这种情况下，例如在提交了如图14的右下方所示的记录数据121之后，通过记录数据121来将运动数据和图像数据一起存储，在记录数据121中时间戳与表示运动尺寸的变化的信息的“状态”相关联。
[0088]根据图14中的数据121，示出了如下事实:在时间戳“00:00”处运动尺寸为“0”，以及在时间戳“01:05”处运动尺寸从“O”变成“I”(“0—1”)。同样地示出了如下事实:在时间戳“02:40”处运动尺寸从“I”变成“2”，在时间戳“03:00”处运动尺寸从“2”变成“ 3 ”，以及在时间戳“04:12 ”处运动尺寸从“ 3 ”变成“ 2 ”……。
[0089]例如，可以通过使用基于运动尺寸的变化的标志来指定场景跳过起始点和场景跳过结束点来控制待要跳过的场景。当如上面所描述的记录标记后的数据时，例如，可以容易地识别当执行再现时运动的变化点并且可以简单地识别出场景跳过起始点和场景跳过结束点。另外，与例如记录关于每个画面的状态的情况相比，记录的工作量可以被限制到较低。 [0090]以这种方式，记录了图像数据和运动数据。
[0091]接下来，将参照图15的流程图对由图1中的摄像设备10执行的记录处理的示例进行描述。
[0092]在步骤S21中，使用摄像设备10开始摄像。
[0093]在步骤S22中，运动量计算单元26获得由陀螺仪传感器23提供的感测信号。
[0094]在步骤S23中，运动量计算单元26生成运动信号。此时,例如,如上面参照图3至图11所描述的生成运动信号。
[0095]在步骤S24中，编码器27使用预定编码方法如MPEG等对由成像单元24提供的图像信号进行编码。
[0096]同时，如上面所描述的，在步骤S23的处理中生成的运动信号与在再现步骤S24的处理中编码的图像数据的情况下的再生时间(也就是说，时间线)相关联。
[0097]在步骤S25中，记录单元28通过对在步骤S23的处理中生成的与时间线相关联的运动信号进行数字化来生成运动数据。
[0098]在步骤S26中，记录单元28将在步骤S24中编码的图像数据以及在步骤S25中生成的运动数据记录到记录介质中。例如，生成包括图像数据和运动数据的数据文件。
[0099]在步骤S27中，判定是否指示了终止摄像。例如，当使用输入单元21执行预定的摄像终止操纵时，则判定指示了终止摄像。
[0100]在步骤S27中，当判定没有指示终止摄像时，则处理返回至步骤S22。
[0101]同时，在步骤S27中，当确定指示了终止摄像时，则终止记录处理。
[0102]以这种方式，执行了记录处理。
[0103]接下来，将参照图16中的流程图对由图2中的再现设备50所执行的再现处理的示例进行描述。同时，当指示再现视频时，由再现设备50执行该处理，并且在执行该处理之前，将包括作为上面参照图15所描述的记录处理的结果的已记录的数据的记录介质安装在再现设备50的驱动器62上。
[0104]在步骤S41中，从安装在驱动器42上的记录介质中读取图像数据和运动数据。
[0105]在步骤S42中，操作解码器63对在步骤S41的处理中所读取的图像数据和运动数据进行解码。
[0106]在步骤S43中，高速缓冲存储器65存储在步骤S42的处理中被解码然后获得的图像数据。
[0107]在步骤S44中，操作解码器63执行场景跳过控制处理，随后将参照图17中的流程图对场景跳过控制处理进行描述。因此，例如，指定待跳过的场景的画面，然后对图像数据进行重新配置。
[0108]在步骤S45中，操作解码器63生成与根据步骤S44中的处理被重新配置的图像数据相对应的图像信号。
[0109]在步骤S46中，显示单元64显示与在步骤S45的处理中所生成的图像信号相对应的图像。
[0110]以这种方式，执行了再现处理。
[0111]接下来，将参照图17中的流程图对图16中的步骤S44中的场景跳过控制处理的示例进行详细地描述。
[0112]在步骤S61中，操作解码器63对基于运动数据所获得的运动信号进行分析。因此，例如，获得了表示摄录像机的运动的视频的信息(相机抖动、撞击、透镜方向上的大的变化等)。
[0113]在步骤S62中，操作解码器63基于步骤S61中的分析结果指定待跳过的画面。
[0114]在此，用户通过在显示单元64上显示如图12所示的时间线和运动信号来指定待跳过的场景，使得对场景进行配置的画面被指定为待跳过的画面。
[0115]另外，例如当如图13所示对每个画面的状态进行记录时，预设状态的画面被指定为待跳过的画面。例如，当做出设置使得待跳过的画面的判定参考等于或大于第一状态时，第一状态至第三状态的画面被确定为待跳过的画面。另外，例如当做出设置使得待跳过的画面的判定参考等于或大于第二状态时，第二状态至第三状态的画面被确定为待跳过的画面。此外，例如，当做出设置使得待跳过的画面的判定参考等于或大于第三状态时，则第三状态的画面被确定为待跳过的画面。
[0116]另外，例如当如图14所示记录标记后的运动数据时，由用户指定的间隔内的画面基于标志被指定为待跳过的画面。
[0117]在步骤S63中，操作解码器63对排除了步骤S62的处理中所指定的画面的、视频的一系列图像数据进行重新配置。因此，跳过了包括如相机抖动、撞击、透镜方向上的大的变化等的场景并且再现视频。
[0118]以这种方式，执行了场景跳过控制处理。
[0119]如上面所描述的，根据本技术，当执行摄像(记录)时，与时间线相关联地记录运动数据，以及当执行再现时，基于运动数据跳过预定场景。
[0120]常规地，例如已经提出了如下技术:一种技术用于检测用户的行走加速度并且如果用户停止行走使得能够开始记录，以及一种技术用于当受到撞击时，在此之后的预定时间内阻止执行记录。
[0121]然而，换而言之，这些技术可以被称为如下配置:当执行拍摄时，确定不必要再现的场景，使得不执行记录本身。当使用这样的配置时，存在的问题在于:存在用户想要摄像的场景可能被拒绝的可能性。
[0122]另外，最近，已经进行了节省设备的电力以及增加记录介质的容量的尝试，并且记录数据的成本已经逐年地降低。在这样的情况下，成本负担几乎与之前在执行摄像时确定不必要的场景然后不记录该场景的情况以及在执行再现时首先记录不必要的场景然后剪切该场景的情况下二者的成本负担相同。
[0123]另外，当执行摄像时，根据条件或用户所准许的值，在指定没有必要再现的场景时所使用的参考(例如，用来判定是否跳过场景的振动量)不同。然而，非常难以在执行摄像之前确定参考。
[0124]另一方面，根据本技术，在执行摄像时记录所有的场景并且在执行再现时指定不必要的场景，使得例如用户想要摄像的场景没有被拒绝。
[0125]另外，可以基于例如与时间线相关联的状态指定待跳过的场景，使得可以灵活地响应于根据执行拍摄时的条件和用户所允许的值而不同的参考。
[0126]另外，即使在由于较大的相机抖动而通常被认为是不必要再现的场景的情况下，然而例如在该场景是由小孩子摄像时，该场景可能对于用户来说是珍贵的回忆，使得这样的场景不被完全地剪切并且可以保留。因此，根据本技术，可以记录用户的所有回忆。
[0127]另外，如果设置了用于判定不必要再现的场景的参考，则可以自动地跳过场景。
[0128]因此，根据本技术，可以更加自由地决定是否再现所记录的图像。
[0129]在上文中，已经描述了基于陀螺仪传感器23的感测信号生成运动信号的示例。然而，可以基于例如从加速度传感器中输出的感测信号来生成运动信号。
[0130]以这种方式，可以使用例如作为倾斜传感器的加速度传感器来指定相机面朝下时所摄像的画面，倾斜传感器指代除了运动如相机抖动、撞击等之外的重力的矢量方向。例如，当在终止摄像后用户忘记按下终止按钮时，存在如下情况:当相机面朝下时，连续地拍摄地面的图像。如果基于从加速度传感器中输出的感测信号生成运动信号并且与时间线相关联地记录运动数据，则可以跳过在相机面朝下时所摄像的场景。
[0131]另外，图像传感器可以安装在摄像设备10上，并且基于从图像传感器输出的感测信号所获得的传感器数据可以与时间线相关联地记录。
[0132]图18是示出了摄像设备10的外观的示例的视图。该图示出了从观察者侧所查看到的摄像设备10的外观的示例，并且在这种情况下，目标存在于空间的深度方向上的稍微左侧。如图所示，图像传感器31被设置在例如朝向摄像者的显示图像的显示单元29的显示器的下部。
[0133]图像传感器31包括例如紧凑型CXD相机，并且识别所摄像的图像的面部图像。也就是说，例如，由图像传感器31输出用于表示用户的面部是否被识别的感测信号。因此，例如，可以指定当用户在观看目标的方向的同时执行摄像时所获得的画面。
[0134]通常，当对图像进行摄像时，用户朝着目标的方向执行摄像。同时，例如，当终止摄像后用户忘记按下终止按钮时，可想象的是，用户没有看着目标的方向。也就是说，可想象的是，在图像传感器31识别到用户的面部时所摄像的画面的图像是非常值得再现的。然而，可想象的是，当图像传感器31没有识别到用户的面部时所摄像的画面的图像是不值得再现的。
[0135]如上面所描述的，如果基于从图像传感器31输出的感测信号而获得的传感器数据与时间线相关联地被记录，则最终可以简单地确定不必要再现的场景。另外，如果在使用传感器数据确定不必要再现的场景的同时基于上面所描述的运动数据确定待跳过的场景，则可以更加有效且自动地跳过该场景。[0136]也就是说，不必要的是，在本技术中与时间线相关联地被记录的信息不一定是表示运动的信息，也可以是各种类型的附带信息如由预定传感器所感测的数据。
[0137]同时，可以使用硬件并且可以使用软件来执行上面所描述的一系列处理。当使用软件来执行上面所描述的一系列处理时，配置该软件的程序被安装在设置有专用硬件的计算机上，或者例如，如图19所示的通用个人计算机700，该通用个人计算机700能够通过安装来自网络或存储软件程序的记录介质(即，非暂态记录介质)的各种类型的程序来执行各种类型的功能。
[0138]在图19中，中央处理单元(CPU) 701根据存储在只读存储器(ROM) 702中的程序或从存储单元708下载到随机存取存储器(RAM)703中的程序执行各种类型的处理。另外，RAM703适当地存储当CPU701执行各种类型的处理时必要的数据等。
[0139]CPU701、R0M702和RAM703经由总线704彼此连接。另外，输入/输出接口 705连接至总线704。
[0140]输入/输出接口 705连接至包括键盘、鼠标等的输入单元706、包括显示器如液晶显示器(IXD)、扬声器等的输出单元707、包括硬盘等的存储单元708以及包括网络接口如调制解调器、局域网(LAN)卡等的通信单元709。通信单元709经由包括互联网的网络处理通信过程。
[0141]驱动器710根据需要连接至输入/输出接口 705，并且在驱动器710上适当地安装可移除介质711如磁盘、光盘、磁光盘、半导体存储器等。从驱动器710和可移除介质711中读取的计算机程序安装在存储单元708中。
[0142]当通过软件执行上面所描述的一系列处理时，从网络如互联网等或包括可移除介质711等的记录介质中安装配置该软件的程序。
[0143]同时，除了图19示出的设备的主体之外，记录介质不仅包括可移除介质711，而且还包括硬盘，可移除介质711包括磁盘(包括软盘(注册商标))、光盘(包括紧凑盘只读存储器(⑶-ROM)和数字通用盘(DVD))、磁光盘(包括迷你盘(MD，注册商标))、半导体存储器等，这些可移除介质被分配用于将程序传递给用户并且在这些可移除介质中记录有程序，硬盘包括在R0M702或存储单元708中，在设备的主体中建立硬盘时预先将硬盘传递给用户，并且将程序记录在硬盘中。
[0144]同时，在本说明书中的上面所描述的一系列处理包括根据写入顺序以时间顺序执行的处理，以及并行地或单独地执行的处理，即使这些处理不总是以时间顺序来处理。
[0145]另外，本技术的实施例并不限于上面所描述的实施例，并且在不偏离本技术的主旨的范围内可以进行各种修改。
[0146]此外，本技术还可以如下被配置。
[0147](I) 一种设备，包括:
[0148]硬件处理器；以及
[0149]存储介质，所述存储介质耦接至所述处理器并且存储指令，所述指令当由所述处理器执行时，使得所述设备:
[0150]生成表示在生成图像数据期间图像记录装置随着时间的移动的运动信号；以及
[0151]将所述图像数据和所述运动数据存储到所述存储器介质中。
[0152]( 2 )根据(I)所述的设备，还包括陀螺仪传感器。[0153](3 )根据(I)或(2 )所述的设备，还包括加速度传感器。
[0154](4)根据(I)至(3)中任一项所述的设备，还包括图像检测单元，所述图像检测单元被配置成检测所述图像数据中的面部图像。
[0155](5)根据(I)至(4)中任一项所述的设备，其中，所述处理器被配置成根据所述运动信号生成第一经处理信号，所述第一经处理信号具有多个在时间点处的第一经处理信号值，所述第一经处理信号值对应于预定数量的阈值中的一个阈值。
[0156](6)根据(5)所述的设备，其中，所述处理器被设置成生成具有第二经处理信号值的第二经处理信号，所述第二经处理信号值:
[0157]在第一条件发生的情况下，对应于对应时间点处的所述第一经处理信号值；以及
[0158]在第二条件发生的情况下，对应于较早时间点处的所述第一经处理信号值。
[0159]( 7 )根据(5 )或(6 )所述的设备，其中，所述处理器被配置成通过对所述运动信号应用低通滤波器来生成所述第一经处理信号。
[0160](8)根据(5)至(7)中任一项所述的设备，其中，所述处理器被配置成基于所述阈值对所述第一经处理信号指定标志。
[0161](9)根据(I)至(7)中任一项所述的设备，还包括:
[0162]显示单元，所述显示单元被配置成显示图像。
[0163](10) 一种再现装置，包括:
[0164]接收器，所述接收器被配置成接收:
[0165]记录的图像数据；以及
[0166]运动信号，所述运动信号具有表示在记录图像数据期间图像记录装置在对应的时间处的移动的运动信号值；以及
[0167]硬件处理器；以及
[0168]存储介质，所述存储介质耦接至所述处理器并且存储指令，所述指令当由所述处理器执行时，使得所述设备:
[0169]分析所述运动信号值；
[0170]基于所述运动信号值指定所述图像数据中的不用于显示的至少一部分；以及
[0171]生成由其中将所述图像数据中的所述不用于显示的至少一部分移除的所述记录的图像数据所构成的经修改的图像数据。
[0172](11)根据(10)所述的设备，其中:
[0173]所述运动信号值包括对应于所述图像记录装置在第一时间点处的运动的第一值，以及对应于所述图像记录装置在第二时间点处的运动的第二值，所述第一值不同于所述第
二值；
[0174]所述处理器被配置成根据所述运动信号值指定所述图像数据中的所述不用于显示的至少一部分。
[0175](12)根据(10)或(11)所述的设备，其中；
[0176]通过标志将所述运动信号划分成多个片段，所述标志具有表示所述运动信号在所述运动信号值之间的转换的标志值；以及
[0177]所述处理器被配置成根据所述标志值指定所述图像数据中的所述不用于显示的至少一部分。[0178](13)根据(10)至(12)中任一项所述的设备，还包括:
[0179]显示单元，所述显示单元被配置成显示所述经修改的图像数据。
[0180]附图标记列表
[0181]同时，本技术可以包括下面的配置中的一个或多个。
[0182]10摄像设备
[0183]21输入单元
[0184]22透镜致动器
[0185]23陀螺仪传感器
[0186]24成像单元
[0187]25相机抖动校正操作单元
[0188]26运动量计算单元
[0189]27编码器
[0190]28记录单元
[0191]29 显示单元
[0192]50再现设备
[0193]61输入单元
[0194]62驱动器
[0195]63操作解码器
[0196]64 显示单元
[0197]65高速缓冲存储器
【权利要求】
1.一种设备，包括: 硬件处理器；以及 存储介质，所述存储介质耦接至所述处理器并且存储指令，当所述指令由所述处理器执行时，使得所述设备: 生成表示在生成图像数据期间图像记录装置随着时间的移动的运动信号；以及 将所述图像数据和所述运动信号存储到所述存储介质中。
2.根据权利要求1所述的设备，还包括陀螺仪传感器。
3.根据权利要求1所述的设备，还包括加速度传感器。
4.根据权利要求1所述的设备，还包括图像检测单元，所述图像检测单元被配置成检测所述图像数据中的面部图像。
5.根据权利要求1所述的设备，其中，所述处理器被配置成根据所述运动信号生成第一经处理信号，所述第一经处理信号具有多个在时间点处的第一经处理信号值，所述第一经处理信号值对应于预定数量的阈值中的一个阈值。
6.根据权利要求5所述的设备，其中，所述处理器被配置成生成具有第二经处理信号值的第二经处理信号，所述第二经处理信号值: 在发生第一条件的情况下，对应于对应时间点处的所述第一经处理信号值；以及 在发生第二条件的情况下，对应于较早时间点处的所述第一经处理信号值。
7.根据权利要求5所述的设备，其中，所述处理器被配置成通过对所述运动信号应用低通滤波器来生成所述第一经处理信号。
8.根据权利要求5所述的设备，其中，所述处理器被配置成基于所述阈值对所述第一经处理信号指定标志。
9.根据权利要求1所述的设备，还包括: 显示单元，所述显示单元被配置成显示所述图像。
10.一种再现设备，包括: 接收器，所述接收器被配置成接收: 记录的图像数据；和 运动信号，所述运动信号具有表示在记录所述图像数据期间图像记录装置在对应的时间处的移动的运动信号值；以及硬件处理器；以及 存储介质，所述存储介质耦接至所述处理器并且存储指令，当所述指令由所述处理器执行时，使得所述设备: 分析所述运动信号值； 基于所述运动信号值指定所述图像数据中的不用于显示的至少一部分；以及生成由其中将所述图像数据中的所述不用于显示的至少一部分移除的所述记录的图像数据所构成的经修改的图像数据。
11.根据权利要求10所述的设备，其中: 所述运动信号值包括对应于所述图像记录装置在第一时间点处的运动的第一值，以及对应于所述图像记录装置在第二时间点处的运动的第二值，所述第一值不同于所述第二值；所述处理器被配置成根据所述运动信号值指定所述图像数据中的所述不用于显示的至少一部分。
12.根据权利要求10所述的设备，其中: 通过标志将所述运动信号划分成多个片段，所述标志具有表示所述运动信号在所述运动信号值之间的转换的标志值；以及 所述处理器被配置成根据所述标志值指定所述图像数据中的所述不用于显示的至少一部分。
13.根据权利要求10所述的设备，还包括: 显示单元，所述显示单元被配置成显示所述经修改的图像数据。
14.一种由处理装置执行的方法，包括: 由所述处理装置生成表示在生成图像数据期间图像记录装置随着时间的移动的运动信号；以及 将所述图像数据和所述运动信号存储到存储介质中。
15.一种存储指令的非暂态计算机可读介质，当所述指令由计算机执行时，使得所述计算机: 由所述计算机生成表示在生成图像数据期间图像记录装置随着时间的移动的运动信号；以及 将所述图像数据和所述运动信号存储到存储介质中。
16.一种由再现装置再现图像的方法，包括: 接收记录的图像数据； 接收表示图像记录装置在记录所述图像数据期间的移动的运动信号； 由所述再现装置分析所述运动信号； 基于所述运动信号指定所述图像数据中的不用于显示的至少一部分；以及 生成由其中将所述图像数据中的所述不用于显示的至少一部分移除的所述记录的图像数据所构成的经修改的图像数据。
17.一种存储指令的非暂态计算机可读介质，所述指令当由计算机执行时，使得所述计算机: 接收记录的图像数据； 接收表示图像记录装置在记录所述图像数据期间的移动的运动信号； 由所述计算机分析所述运动信号； 基于所述运动信号指定所述图像数据中的不用于显示的至少一部分；以及 生成由其中将所述图像数据中的所述不用于显示的至少一部分移除的所述记录的图像数据所构成的经修改的图像数据。
【文档编号】H04N5/225GK103548338SQ201280024951
【公开日】2014年1月29日 申请日期:2012年5月22日 优先权日:2011年5月30日
【发明者】山本一幸 申请人:索尼公司