信息处理装置、信息处理方法和程序的制作方法

专利名称：信息处理装置、信息处理方法和程序的制作方法
技术领域：
本发明涉及信息处理装置、信息处理方法和程序。
背景技术：
当编辑运动图像时，用户必须搜索并指定要再现或剪辑的感兴趣的捕获场景(或 捕获镜头)。用户观看快速再现的运动图像并指定与运动图像中感兴趣的捕获场景对应的 记录区域。然而，难以指定要被编辑的、长期运动图像的记录区域。日本未审查专利申请公开No. 2007-13479公开了用于自动地指定与特定捕获操 作(诸如，对记录装置实施的镜头摇动(panning)、倾斜和变焦)的开始和结束点对应的记 录区域的技术。利用所公开的方法，由于可以容易地指定运动图像的记录区域，因此编辑效 率得到改善。

发明内容
根据捕获操作的开始点和结束点指定的运动图像的记录区域不必然对应于与感 兴趣捕获场景对应的运动图像的记录区域。因此，存在不能改善编辑效率的问题。因此，期望提供一种新颖且改进的信息处理装置、新颖和改进的信息处理方法以 及新颖和改进的程序，其可以容易地指定与感兴趣捕获场景对应的运动图像的记录区域。本发明第一实施例是信息处理装置，其包括数据保存部分，用于保存通过预定捕 获操作而变化的操作参数的第一时间序列数据；数据比较部分，用于将操作参数的第二时 间序列数据与第一时间序列数据进行比较，所述第二时间序列数据与通过实际捕获操作而 记录的运动图像关联，并且通过所述实际捕获操作而变化；以及数据区域指定部分，用于基 于所述第一和第二时间序列数据的比较，在所述第二时间序列数据中指定与所述第一时间 序列数据对应的数据区域。根据该配置，表示预定捕获操作的操作参数的第一时间序列数据与表示实际捕获 操作的操作参数第二时间序列数据进行比较，并且指定与第一时间序列数据对应的第二时 间序列数据的数据区域。利用该配置，将与所指定数据区域的第二时间序列数据关联的运 动图像的记录区域指定为通过预定捕获操作所记录的运动图像的记录区域。因此，用户可 以通过使信息处理设备保存第一时间序列数据(其表示用于记录感兴趣捕获场景所执行 的预定捕获操作)来容易地指定与感兴趣捕获场景对应的运动图像的记录区域。数据区域指定部分可以基于第一时间序列数据和第二时间序列数据的比较，在第 二时间序列数据中指定包含在第一时间序列数据的容限内的数据区域。第一时间序列数据的容限可以任意地确定。在记录要通过实际捕获操作而记录的运动图像期间，或者在通过实际捕获操作记 录运动图像之后，数据比较部分可以将第二时间序列数据与第一时间序列数据进行比较。数据保存部分可以保存包括多个操作参数的第一时间序列数据；数据比较部分可 以将包括多个操作参数的第二时间序列数据与包括多个操作参数的第一时间序列数据进行比较；并且数据区域指定部分可以在包括多个操作参数的第二时间序列数据中指定与包 括多个操作参数的第一时间序列数据对应的数据区域。信息处理装置可以进一步包括数据产生部分，所述数据产生部分基于与通过实际 捕获操作所记录的运动图像关联的、且通过实际捕获操作而变化的操作参数的第二时间序 列数据，产生通过预定捕获操作而变化的操作参数的第一时间序列数据。信息处理装置可以进一步包括记录部分，所述记录部分与通过实际捕获操作所记 录的运动图像关联地存储通过实际捕获操作而变化的操作参数的第二时间序列数据。可以根据镜头摇动、倾斜、移动摄像(dollying)和变焦中之一来改变操作参数。本发明第二实施例是可以应用于根据第一实施例的信息处理装置的信息处理方 法。本发明第三实施例是允许计算机执行根据第二实施例的信息处理方法的程序。根据本发明，可以提供可容易地指定与感兴趣捕获场景对应的运动图像的记录区 域的信息处理装置、信息处理方法和程序。


图1是根据本发明实施例的摄像机的配置的方框图；图2描述用于产生操作信息的检测值；图3是图解根据本发明实施例的修改实施例的摄像机的配置的方框图；
图4图解摄像机和对象的位置关系。图5图解包括镜头摇动角和倾斜角的操作信息；图6图解包括镜头摇动角和倾斜角的比较操作信息；图7图解图5所示的操作信息和图6所示的比较操作信息之间的比较结果；图8图解包括镜头摇动角的比较操作信息的修改实施例；图9图解比较操作信息的数据结构；图10示意性图解操作信息和比较操作信息的结构；图IlA是图解在记录运动图像期间产生比较操作信息的处理的流程图；图IlB是图解在记录运动图像期间产生比较操作信息的处理的流程图；图12图解在记录运动图像期间产生比较操作信息的处理；图13图解在记录运动图像期间产生比较操作信息的处理；图14是在图解在记录运动图像期间指定运动图像的记录部分的处理的流程图； 以及图15是图解在记录运动图像之后指定运动图像的记录部分的处理的流程图。
具体实施例方式将参照附图详细描述本发明的优选实施例。在说明书和附图中，由相同的附图标记表示基本上具有相同功能配置的组件，并且将省略其描述。1.信息处理装置的配置首先，将参照图1描述根据本发明实施例的信息处理装置的配置。信息处理装置 可以是aO装置，该装置可以记录和/或再现运动图像，诸如摄像机、数码相机或移动电话。在下面的描述中，可以记录和再现运动图像的摄像机10被例示为信息处理装置。如图1所示，摄像机10包括控制部分12、图像捕获部分14、视频编解码器16、显 示部分18、音频输入部分20、音频编解码器22、音频输出部分24、显示图像产生部分26、操 作I/F 28、格式处理部分30、再现/记录部分32、传感器34、操作信息处理部分36和比较 操作信息保存部分38。控制部分12包括CPU、ROM和RAM。控制部分12执行摄像机10的操作所需的处 理，并且控制经由总线40连接的每个组件。CPU从ROM读取程序，且从RAM展开(develop) 并执行程序。图像捕获部分14包括图像捕获镜头、图像传感器和镜头驱动机构。图像捕获部分 14将来自对象的光转换为电信号，并且将该信号输出到视频编解码器16作为视频信息。图 像捕获部分14还通过使用操作I/F 28驱动图像捕获镜头以允许使用图像捕获镜头执行变
焦ο视频编解码器16将从图像捕获部分14输入的视频信息编码为视频数据(诸如 MPEG和高级视频编码(AVC))，并且将所编码的数据输出到格式处理部分30。视频编解码器 16将从格式处理部分30输入的视频数据解码为视频信号，并且将该信号输出到显示部分 18。视频编解码器16向操作信息处理部分36输出通过编码所获得的视频数据中的运动矢 量。显示部分18可以是液晶面板。显示部分18根据从视频编解码器16输入的视频信号 以及从显示图像产生部分26输入的要显示的图像而输出视频。在比较操作信息的产生期间，显示图像产生部分26产生关于要显示的图像(诸如 暂停的运动图像)的数据以及操作参数的时间序列数据，并且将所产生的数据输出到显示 部分18。操作I/F 28包括操作按钮和操作按键，并且通过用户操作将操作信号输出到控制 部分12和其它部分。操作I/F 28包括用于变焦的变焦杆，并且将通过变焦杆的操作而改 变的检测变焦值输出到操作信息处理部分36。音频输入部分20可以是麦克风，其将输入自对象的音频转换为音频信号，并且将 该信号作为音频信息输出到音频编解码器22。音频编解码器22将输入自音频输入部分20 的音频信息转换为音频数据(诸如高级音频编码(AAC))，并且将数据输出到格式处理部分 30。音频编解码器22将输入自格式处理部分30的音频数据解码为音频信号，并且将该信 号输出到音频输出部分24。音频输出部分24可以是输出与从音频编解码器22输入的音频 信号对应的音频的扬声器。在运动图像的记录期间，将视频数据从视频编解码器16输入到格式处理部分30， 将音频数据从音频编解码器22输入到格式处理部分30，并且将操作信息(稍后描述)从 操作信息处理部分36输入到格式处理部分30。格式处理部分30产生来自于视频数据的 预定运动图像数据、音频数据和操作信息，并且将所产生的数据输出到再现/记录部分32。 与视频数据和音频数据同步地产生运动图像数据，以使得操作信息与视频数据和音频数据 关联。格式处理部分30从操作信息处理部分36接收记录区域信息(稍后描述)，并且将所 接收到的数据输出到再现/记录部分32。在运动图像的记录区域的指定期间，格式处理部分30从输入自再现/记录部分 32的运动图像数据中提取操作信息，并且将操作数据输出到操作信息处理部分36。在比较 操作信息的产生期间，格式处理部分30产生包括作为与运动图像的记录或与记录区域的指定相关的信息的比较操作信息的运动图像数据，并且从运动图像数据中提取比较操作信息。再现/记录部分32将输出自格式处理部分30的运动图像数据写在记录介质中，并且 将从记录介质读取的运动图像数据输出到格式处理部分30。格式处理部分30和再现/记 录部分32 —起用作数据记录部分。传感器34可以是加速度传感器、角速度传感器、重力传感器或方向传感器。传感 器34检测通过对摄像机10实施的捕获操作而变化的加速度值、角速度值、重力值、方向或 其它信息，并且将检测到的信息输出到操作信息处理部分36。现在参照图2，将描述传感器34所检测的值。如图2所示，假设镜头的光轴方向是 Y轴，与Y轴垂直且与摄像机10的水平方向对应的方向是X轴，并且与X轴和Y轴均垂直 且与摄像机10的垂直方向对应的方向是Z轴。加速度传感器例如检测摄像机10在X轴、Y 轴和Z轴方向上运动的捕获操作。角速度传感器例如检测摄像机10关于X轴、Y轴和Z轴 中每一个旋转的捕获操作。在运动图像的记录期间，操作信息处理部分36获得并分析用于产生操作信息的 数据，并且产生操作信息。然后，操作信息处理部分36基于操作信息和比较操作信息的比 较，指定与预定的捕获场景对应的运动图像的记录区域，并且产生用于表示所指定记录区 域的记录区域信息。操作信息处理部分36向格式处理部分30输出操作信息和记录区域信 肩、ο操作信息包括通过对摄像机10实施的捕获操作(诸如镜头摇动、倾斜、移动摄像 和变焦)而变化的操作参数(诸如镜头摇动角、倾斜角、移动摄像速度和变焦因数)的时间 序列数据。在根据本实施例的摄像机10中，操作信息处理部分36分析从传感器34输入的 加速度、角速度、重力和方向的检测值以及从操作I/F 28输入的变焦的检测值。然后，操作 信息处理部分36基于检测值的分析结果来产生操作信息。比较操作信息包括通过对摄像 机10实施的预定捕获操作而变化的操作参数的时间序列数据。在操作信息的产生期间，根据X-Y平面上的旋转速度的检测值产生关于镜头摇动 角的操作信息，根据Y-Z平面上的旋转速度的检测值产生关于倾斜角的操作信息。根据Y 轴方向的加速度的检测值产生关于移动摄像速度的操作信息。根据变焦的检测值产生关于 变焦因数的操作信息。注意，除了镜头摇动、倾斜、移动摄像和变焦之外，操作信息还可以是 用于表示如下操作的操作参数，所述操作包括关于X轴、Y轴和Z轴的位置、速度、加速度、 方向、角速度和角加速度的任意组合。在运动图像的记录区域的指定期间，操作信息处理部分36将操作信息与从格式 处理部分30输入的比较操作信息进行比较，并且基于比较将表示所指定的记录区域的记 录区域信息输出到格式处理部分30。在比较操作信息的产生期间，操作信息处理部分36获 得并分析用于产生比较操作信息的数据，产生比较操作信息，并且将比较操作信息和产生 部分信息输出到格式处理部分30。在这里，产生部分信息用于指定比较操作信息的产生部 分(将在后面详细描述)。操作信息处理部分36用作数据比较部分、数据区域指定部分和 数据产生部分。比较操作信息保存部分38可以是存储由用户或摄像机10所产生的比较操作信息 的存储器。与比较操作信息一起，比较操作信息保存部分38还保存关于比较操作信息的容 限的信息。比较操作信息保存部分38用作数据保存部分。
接下来，将参照图3描述根据本发明实施例的修改实施例的摄像机60的配置。如图3所示，除了省略了传感器34之外，摄像机60具有与上述摄像机10的配置相同的配置。 在运动图像的记录期间，操作信息处理部分36分析从操作I/F 28输入的检测变焦值。操 作信息处理部分36分析从视频编解码器16输入的视频数据(即，视频流数据，诸如MPEG) 中的运动矢量，并且基于检测值和视频数据的分析结果来产生操作信息。2.指定记录区域的方法现在参照图4到图9，描述用于指定与捕获场景对应的运动图像的记录区域的方 法。在下面描述的示例中，将降落在跑道2上的飞机1捕获为对象的运动图像。图4图解 摄像机10和该对象之间的位置关系。图5图解包括与镜头摇动角和倾斜角(其通过捕获 操作而变化)有关的时间序列数据的操作信息。如图4所示，飞机1 ( S卩，对象)从摄像机10的右侧从天空下降，降落在基本上处于 摄像机10前方的跑道2上，并且在跑道2上滑行到摄像机10的左侧。摄像机10被摇动并 倾斜，使得跟随对象的运动。图4中图解了位置关系，其中纸张的上侧为北。图5中图解了 关于镜头摇动角(即，方向)和倾斜角(即，仰角)的时间序列数据，其中北被指定为0°， 水平仰角被指定为0°。根据图5所示的操作信息，镜头摇动角首先从+60°逐渐改变为+40°，从+40°快 速改变为-40°，然后从-40°逐渐改变为-60°。在镜头摇动角从+60°改变为0°的时间 段内，倾斜角从+30°逐渐改变为0°，而在镜头摇动角从0°改变为-60°的时间段内，倾 斜角基本上保持在0°的恒定值。由于图像捕获人物的手部移动，因此引起镜头摇动角和倾 斜角的较短变化。图6图解包括镜头摇动角和倾斜角的时间序列数据的比较操作信息。图7图解图5所示的操作信息和图6所示的比较操作信息之间的比较结果。在图6所示的比较操作信息中，镜头摇动角(即，方向)和倾斜角(即，仰角)在确 定部分的开始点处为0°。如图6所示，在比较操作信息中，镜头摇动角首先从0°逐渐改 变为-20°，从-20°快速改变为-100°，然后从-100°逐渐改变为-120°。在镜头摇动角 从0°改变为-60°的时间段内，倾斜角从0°逐渐改变为-30°，而在镜头摇动角从-60° 改变为-120°的时间段内，倾斜角基本上保持在-30°的恒定值。考虑到图像捕获人物的手部移动的影响，针对比较操作信息中的镜头摇动角和倾 斜角设置预定的容限(如，士 10° )。这里，由用户或摄像机10控制并设置容限。如果容 限较小，则运动图像的记录区域的指定精度提高。如果将容限提高到某种程度，则即使存在 图像捕获人物的手部移动的某种影响，也可以指定运动图像的记录区域。图解了图7中的比较操作信息，其中在确定部分的开始点处，镜头摇动角(即，方 向)从0°改变为+60°，而倾斜角(即，仰角)从0°改变为+30°。具体地，关于自从确定 部分的基准开始点起的相对角变化而将操作信息与比较操作信息进行比较。如图7所示， 在操作信息中，镜头摇动角和倾斜角均包含在比较操作信息的容限中。在这种情况下，摄像 机10确定操作信息与比较操作信息对应。如果镜头摇动角和倾斜角中的至少一个与比较 操作信息的容限即使部分地分离，那么确定摄像机10的操作信息不与比较操作信息对应。根据图6所示的比较操作信息，与确定部分开始点处的操作参数值无关，可以与 捕获场景对应地指定运动图像的记录区域，其中捕获场景具有确定部分开始点的值作为基准值的操作参数的相对变化的特性。图8图解包括镜头摇动角的比较操作信息的修改实施例。在图8所示的比较操作 信息中，将确定部分开始点处的镜头摇动角(即，方向)设置为0°。在不根据操作信息转 换确定部分开始点处的镜头摇动角(即，方向)的情况下，将图8所示的比较操作信息与操 作信息进行比较。也就是，以绝对角度的变化将操作信息和比较操作信息进行比较。于是， 即使镜头摇动角在确定部分的开始点作为基准点的情况下的相对变化对应于比较操作信 息，根据确定部分开始点处的镜头摇动角也确定了操作信息和比较操作信息的对应关系。在图8所示的示例中，由于确定部分开始点处的镜头摇动角是+60°，因此确定 出上方的操作信息不对应于比较操作信息，而由于确定部分开始点处的镜头摇动角大约是 0°，因此确定出下方的操作信息对应于比较操作信息。根据图8所示的比较操作信息，与确定部分开始点处的操作参数值一起，可以与 捕获场景对应地指定运动图像的记录区域，其中捕获场景具有以确定部分开始点的值作为 基准值的操作参数的相对变化的特性。图9图解比较操作信息的数据结构。比较操作信息1包括镜头摇动角和倾斜角的 时间序列数据。比较操作信息2仅包括镜头摇动角的时间序列数据。当采用比较操作信息 1时，仅当操作信息与关于镜头摇动角和倾斜角二者的比较操作信息对应时，才确定出操作 信息对应于比较操作信息。关于比较操作信息1，未考虑移动摄影速度和变焦因数。如果采 用比较操作信息2，仅当操作信息与关于镜头摇动角的比较操作信息对应，才确定出操作信 息对应于比较操作信息。关于比较操作信息2，未考虑倾斜角、移动摄影速度和变焦因数。3.信息处理装置的操作现在参照图10到15，将描述根据本发明实施例的信息处理方法。首先，将参照图 10到13描述产生比较操作信息的方法。接下来，将参照图14描述在运动图像的记录期间 指定运动图像的记录区域的方法。然后，将参照图15描述在运动图像的记录之后指定运动 图像的记录区域的方法。图10示意性图解操作信息和比较操作信息的配置。基于以预定采样周期T(如， T = O. 1秒)在运动图像的记录时间段期间检测到的值，产生操作信息作为时间序列数据。 为了易于说明，将比较操作信息设置为具有与采样周期T对应的周期的时间序列数据。如图10所示，操作信息包括记录开始(ta = 0)处的数据daO、记录时间段(ta = i)处的数据dai以及记录结束(ta = η)处的数据dan。比较操作信息包括确定开始(tc =0)处的数据dcO、确定时间段(tc = j)处的数据dcj以及确定结束(tc = m)处的数据 dcm(m彡η)。这里，数据dai和dcj表示在记录时间段ta = i或确定时间段tc = j期间 的每个操作参数(诸如镜头摇动角、倾斜角、移动摄影速度和变焦因数)的值。然后，根据操作信息的数据daO到dan产生矢量val到van，根据比较操作信息的 数据dcO到dcm产生比较矢量vcl到vcm。根据数据dai_l和dai产生矢量vai，类似地根 据数据dcj-Ι和dcj产生比较矢量vcj。也就是，矢量va和比较矢量vc表示对于每个采 样周期T，每个操作参数(即，镜头摇动角、倾斜角、移动摄像速度和变焦因数)的变化量。通过用户或摄像机10将容限(如，角度误差、速度误差和放大率误差)包含在比 较操作信息中。可以将容限统一地设置到每个操作参数，或者可以将其设置到比较矢量vcl 到vcm的至少一些部分。以这种方式，可以根据感兴趣的捕获场景的情形来控制与捕获场景对应的运动图像的记录区域的指定精度。3-1.比较操作信息的产生 图IlA和IlB是在运动图像记录期间产生比较操作信息的方法的流程图。当在运 动图像的记录期间或之前，经由操作I/F 28指令比较操作信息开始或停止时，控制部分12 向每个组件指令产生的开始或停止。当指令产生开始时(步骤S10)，视频编解码器16向格式处理部分30输出根据视 频信息所编码的视频数据，而音频编解码器22向格式处理部分30输出根据音频信息所编 码的音频数据。操作信息处理部分36基于来自传感器34和来自操作I/F 28的检测值(其 通过实际捕获操作而改变)，产生关于预定操作参数的比较操作信息(S12)。这里，通过用 户或摄像机10从镜头摇动角、倾斜角、移动摄像速度和变焦因数中预先设置预定的操作参 数。操作信息处理部分36将所产生的比较操作信息输出到格式处理部分30。格式处 理部分30基于视频数据、音频数据和比较操作信息产生预定的运动图像数据。这里，将比 较操作信息与视频数据和音频数据关联，以便与视频数据和音频数据同步。格式处理部分 30将运动图像数据输出到再现/记录部分32，再现/记录部分32将运动图像数据写入到 记录介质中(S14)。连续地产生并记录比较操作信息，直到指令了产生停止为止(S16)。操作信息处理部分36将用于指定比较操作信息的产生部分的产生部分信息输出 到格式处理部分30 (S18)。格式处理部分30将产生部分信息与运动图像数据一起输出到再 现/记录部分32，并且再现/记录部分32将输出信息写入记录介质中。当完成了比较操作信息的产生，并且经由操作I/F 28指令了比较操作信息的确 认的开始时，控制部分12向再现/记录部分32、格式处理部分30、视频编解码器16、音频编 解码器22和操作信息处理部分36指令确认的开始(S20)。当指令了确认的开始时，再现/记录部分32基于产生部分信息，从对应于产生开 始点的运动图像数据起依次将运动图像数据输出到格式处理部分30。格式处理部分30将 从运动图像数据提取出的视频数据输出到视频编解码器16，并且将从运动图像数据提取出 的音频数据输出到音频编解码器22。视频编解码器16将根据视频数据所解码的视频信号 输出到显示部分18。音频编解码器22将根据音频数据所解码的音频信号输出到音频输出 部分24。以这种方式，再现了比较操作信息的产生部分所对应的运动图像(S22)。格式处理部分30与运动图像的再现同步地将从运动图像数据提取出的比较操作 信息输出到操作信息处理部分36。操作信息处理部分36基于比较操作信息产生预定操作 参数的时间序列数据，并且将数据输出到显示图像产生部分26。显示图像产生部分26产生 要显示的对应图像，并且将所产生的图像输出到显示部分18。显示部分18与运动图像的再 现同步地显示要显示的图像(S24)。以这种方式，用户可以在再现运动图像的同时确认操作 参数的时间序列变化。可以由用户经由操作I/F 28适当地控制运动图像的再现速度。在确认操作期间，用户通过操作I/F 28暂停运动图像的再现(S26)，并且在显示 部分18上显示暂停的运动图像的时间序列数据和操作参数。用户可以经由操作I/F 28来 控制暂停的运动图像(在下文中，称为要操作的图像)的时间序列数据和操作参数。用户可以通过控制要操作的图像来控制比较操作信息。例如，如图12所示，当在 显示区域上以水平方向移动要操作的图像时(S28)，显示图像产生部分26产生要于用以在移动后的位置上显示要操作的图像的控制之后显示的图像，并且将该图像输出到显示部 分18(S30)。然后，如在后面说明的那样，操作信息处理部分36根据要操作的图像的位移 (displacement) δ M，将关于镜头摇动角的比较操作信息控制到δ P的变化量。将相同的描 述应用到关于倾斜角的比较操作信息的控制。在这种情况下，通过暂停之前或之后预定记录区域中视频数据的图像分析，检测 摄像机10的水平方向上的视点(S卩，与镜头的光轴方向对应的位置)的移动量。例如，通过 图像分析指定图像中的静态对象，并且基于预定记录区域中静态对象的位置变化来检测视 点移动的变化量。从比较操作信息中提取出关于与记录区域对应的镜头摇动角的时间序列 数据，并且将其与视点移动的变化量进行比较。然后，基于视点移动的变化量和镜头摇动角 的变化量来估算与每单位的视点移动的变化量对应的镜头摇动角的变化量(S32)。于是，操 作信息处理部分36可以基于每单位视点移动的变化量来估算与要操作的图像的位移δ M 对应的镜头摇动角的变化量S P，并且可以基于变化量的估算值来控制与镜头摇动角有关 的比较操作信息(S34)。当在显示区域上放大或缩小要操作的图像时(S28)，显示图像产生部分26产生 要显示的受控图像以便显示被放大或缩小的图像，并且将所产生的图像输出到显示部分 18(S30)。然后，操作信息处理部分36根据要操作的图像的放大或缩小量来控制与移动摄 像速度有关的比较操作信息。将相同的描述应用到与变焦因数有关的比较操作信息的控 制。在这种情况下，通过视频数据的图像分析来检测场角(即，摄像机10的捕获区域) 的变化量。例如，通过图像分析指定图像中的静态对象，并且基于静态对象所占据的图像区 域的尺寸变化来检测场角的变化量。从比较操作信息中提取出关于移动摄像速度的时间序 列数据，并且将其与场角的变化量进行比较。然后，基于场角的变化量和移动摄影速度的变 化量来估算与每单位场角的变化量对应的移动摄像速度的变化量(S32)。于是，操作信息处 理部分36可以基于每单位场角的的变化量来估算与要操作的图像的放大或缩小的量对应 的移动摄像速度的变化量，并且可以基于变化量的估算值来控制与移动摄像速度有关的比 较操作信息(S34)。用户可以通过操作参数的时间序列数据的控制来控制比较操作信息。例如，如图 13所示，当对用于关于镜头摇动角的显示的数据修改所指定时间的数据时(S36)，与操作 参数的时间序列数据的控制对应地控制比较操作信息(S38)。然后，操作信息处理部分36 利用与通过要操作的图像的控制的控制方法类似的方法，估算要操作的图像的、与关于镜 头摇动角的数据的变化量SP对应的位移SM(S40)。显示图像产生部分26产生要于用以 在所估算位移SM移动的位置上显示要操作的图像的控制之后所显示的图像，并且将该图 像输出到显示部分18(S42)。如上所述，当通过用户的控制来控制比较操作信息时，操作信息处理部分36将受 控的比较操作信息输出到格式处理部分30，而显示图像产生部分26将与受控的显示图像 对应的视频数据输出到格式处理部分30。使用受控的比较操作信息和受控的视频数据，格 式处理部分30产生受控的运动图像数据，并且将该数据输出到再现/记录部分32。当产生了受控的图像数据时，恢复使用受控运动图像数据的确认(S44)。用户可以 通过重复运动图像数据的控制来优化比较操作信息。当完成比较操作信息的优化时(S46)，用户经由操作I/F 28登记比较操作信息，并且设置用于比较操作信息的容限。当指令比较 操作信息的登记时，格式处理部分30从运动图像数据中提取比较操作信息，并且将提取出 的信息连同容限一起输出到比较操作信息保存部分38，并且比较操作信息保存部分38连 同容限一起存储比较操作信息(S48)。以这种方式，用户可以在运动图像的记录期间基于实际操作信息来产生比较操作 信息。于是，可以通过使摄像机10保存在运动图像的记录期间所产生的比较操作信息，容 易地指定与感兴趣的捕获场景对应的运动图像的记录区域。在上述描述中，描述了在运动图像的记录期间产生比较操作信息的情况。然而，可 替代地，可以通过编辑操作参数的时间序列数据直接产生比较操作信息，而与运动图像的 记录无关。3-2.在运动图像的记录期间指定记录区域图14是在运动图像的记录期间指定运动图像的记录区域的方法的流程图。当经 由操作I/F 28指令运动图像的记录开始或停止时，控制部分12向每个组件指令记录的开 始或停止。当指令了记录开始时，视频编解码器16将根据视频信息所编码的视频数据输出 到格式处理部分30，并且音频编解码器22将根据音频信息所编码的音频数据输出到格式 处理部分30。操作信息处理部分36基于传感器34和操作I/F 28的检测值产生操作信息， 并且将该信息输出到格式处理部分30。格式处理部分30产生来自于视频数据的预定运动 图像数据、音频数据和操作信息，并且将该数据输出到再现/记录部分32。再现/记录部分 32将运动图像数据写入到记录介质。在下文中，将详细描述操作信息处理部分36的操作。当指令了记录开始时，操作信息处理部分36将计数器i设置到初始值0 (S 50)。 操作信息处理部分36产生操作信息(S卩，如果刚开始记录，则为记录开始处(ta = 0)的数 据daO)(S52)。操作信息处理部分36确定计数器i是否超过0(S54)。如果确定计数器i 超过0，则操作信息处理部分36前进到步骤S56。如果确定计数器i未超过0，则操作信息 处理部分36前进到步骤S74，其中计数器i递增。关于计数器i的递增，假设自从计数器i 的初始化起已经经过了对应于采样周期T的时间。如果在步骤S54确定计数器i超过0，则操作信息处理部分36基于在时间ta = i 和i_l处的数据dai和dai-Ι产生矢量vai (S56)。然后，操作信息处理部分36将矢量vai 与比较操作信息的比较矢量vcl进行比较(S58)。如果矢量vai在比较矢量vcl的容限内， 则确定矢量vai对应于比较矢量vcl。这里，操作信息处理部分36确定是否存在操作信息 的数据串(1￡0-1、(1￡0...(1￡111(其中在时间切=i_l处的数据dai-Ι为引导(leading)数 据)对应于比较操作信息的数据串del和dc2的可能性。如果采用图8图解的比较操作信息，则与矢量vai和比较矢量vcl之间的对应关 系一起，还确认操作信息的数据dai和比较操作信息的数据dcO之间的对应关系。针对包 含在比较操作信息中的每个操作参数(如，镜头摇动角和倾斜角)相互比较矢量vai和比 较矢量vcl。只有当在所有操作参数(除了未考虑的那些)中，矢量vai和比较矢量vcl相 互对应，才确定存在矢量vai和比较矢量vcl相互对应的可能性。如果确定存在对应的可能性，则操作信息处理部分36前进到后续步骤S60。如果 确定不存在对应的可能性，则操作信息处理部分36前进到步骤S62。如果矢量vai和比较矢量vcl相互对应，则操作信息处理部分36登记操作信息的数据串dai-l、dai. . . dan作为候选数据串(S60)。例如，将与候选数据串的导向数据dai-Ι对应的时间ta = i_l之间的 对应关系以及矢量vai与比较矢量vcl之间的对应关系的确认作为关于候选数据串的信息 存储在存储器中。操作信息处理部分36确定是否已经登记了具有作为在时间ta = i_l之前的导向 数据的数据dai-2、dai-3...da0的候选数据串(S62)。如果已经登记了候选数据串，则操 作信息处理部分36确定矢量vai是否对应于比较矢量串vcl到vcm中的、与每个候选数据 串对应的比较矢量vex (S64)。如果矢量vai在比较矢量vex的容限内，则确定矢量vai对 应于比较矢量vex。例如，如果计数器i = 5，并且如果已经登记了具有数据da2作为导向 数据的候选数据串da2、da 3、. . . dan，则确定比较矢量Vc3是否对应于比较矢量vcx，矢量 Va5是否对应于比较矢量Vc3。也就是，每当计数器i递增时，以比较矢量VC1、VC2. . . vcm的顺序比较每个候选数 据串。在上述的示例中，在计数器i = 3时登记候选数据串da2、da3、. . . dan，在计数器i =4时将矢量va4与比较矢量vc2进行比较，在计数器i = 5时将矢量va5与比较矢量vc3 进行比较。这里，针对包含在比较操作信息中的每个操作参数比较矢量vai和vex。只有当 确定所有的操作参数相互对应时，才确定矢量vai和vex相互对应。如果矢量vai和VCX相互对应，则操作信息处理部分36更新关于候选数据串的信 息(S66)。于是，在与候选数据串对应的矢量va中、已经确认了与比较矢量串vcl到vcm之 间的对应关系的范围被更新。例如，在上述实施例中，在候选数据串da2、da3、. . . dan中的 矢量串va3到va5以及比较矢量串vcl到vc3中确定的对应关系被更新，作为关于候选数 据串da2、da3和...的信息。如果未确认对应关系，则操作信息处理部分36前进到步骤 S68，其中丢弃关于矢量vai和比较矢量vex相互不对应的候选数据串的信息。操作信息处理部分36确定关于每个候选数据串，比较矢量串VCl到vcm是否包含 在矢量串vai到vai中(S70)。基于关于候选数据串的信息，确定是否在与候选数据串对 应的矢量va的比较矢量vcl到vcm中确认了对应关系。在上述示例中，如果在计数器i = m+2，在矢量vai和比较矢量vcm之间确认了对应关系，则确定比较矢量串vcl到vcm包含 在矢量串vaO到vai中。然后，如果包含了比较矢量串vcl到vcm，则操作信息处理部分36通过使与候选数 据串对应的开始点和结束点作为记录区域信息，基于与感兴趣的候选数据串有关的信息来 向格式处理部分30输出信息(S72)。在上述示例中，输出包含开始时间ta = 2和结束时间 ta = m+2的记录区域信息。在步骤S74，如果自上一次递增起，与采样周期T对应的时间已经过去，则操作信 息处理部分36将计数器i递增。然后，操作信息处理部分36返回到步骤S52的处理，产生 数据dai并前进到后续的步骤S54到S74。操作信息处理部分36继续步骤S52到S74的处 理，直到其从控制部分12接收到用于停止或暂停过程的记录的指令为止。在上述描述中，仅设置了一种比较操作信息。可以采用两种或更多种比较操作信 息(如，比较操作信息1和2)。在此情况下，针对每种比较操作信息执行步骤S58到S72的 处理。在上述描述中，操作信息的采样周期T和比较操作信息的所设置周期相互一致。然 而，如果这两个周期相互不同，则例如使用计时器来控制处理的进度，使得这两个周期相互对应。利用该配置，用户通过观看记录区域信息，可以在运动图像的记录期间来指定与 感兴趣的捕获场景对应的运动图像的记录区域。于是，即使在运动图像的记录之后未指定 记录区域，也可以指定与感兴趣的捕获场景对应的运动图像的记录区域。3-3.在运动图像记录之后指定记录区域图15是在运动图像记录之后指定运动图像的记录区域的方法的流程图。此外，在 运动图像记录之后指定运动图像的记录区域的方法中，采用具有图10所示配置的操作信 息和比较操作信息。可以由具有再现功能(其具有或不具有记录运动图像的功能)的信息 处理设备实现本方法。当经由操作I/F 28指令运动图像的记录区域的指定处理的开始时，控制部分12 向再现/记录部分32、格式处理部分30和操作信息处理部分36指令处理操作的开始。当 向控制部分12通知由格式处理部分30读取了运动图像数据的拖尾(trailing end)时，控 制部分12向再现/记录部分32、格式处理部分30和操作信息处理部分36指令处理操作的 停止。当指令了指定处理开始时，再现/记录部分32将从记录介质读取的运动图像数据 输出到格式处理部分30，并且格式处理部分30将从运动图像数据提取出的操作信息输出 到操作信息处理部分36。操作信息处理部分36基于操作信息和比较操作信息的比较来指 定捕获场景，并且将表示所指定运动图像的记录区域的记录区域信息输出到格式处理部分 30。格式处理部分30将记录区域信息输出到再现/记录部分32，并且再现/记录部分32 在记录介质中写入记录区域信息。由于除了从格式处理部分30获得(而不是在步骤S152 中产生)操作信息之外，与图14所示的相同，因此省略了操作信息处理部分36的操作的描 述。于是，用户可以在运动图像记录之后指定与感兴趣的捕获场景对应的运动图像的 记录区域。于是，还可以使用在运动图像记录时尚未保存的比较操作信息以及自从运动图 像记录起所保存的比较操作信息来指定与感兴趣的捕获场景对应的运动图像的记录区域。4.结论如上所述，根据基于本实施例的信息处理方法，将表示预定捕获操作的比较操作 信息与表示实际捕获操作的操作信息进行比较，并且指定操作信息中对应于比较操作信息 的记录区域。因此，与所指定记录区域的操作信息关联的运动图像的记录区域被指定为通 过预定捕获操作所记录的运动图像的记录区域。于是，用户可以通过使摄像机10保存用于 表示预定捕获操作(执行该操作以便记录感兴趣的捕获场景)的比较操作信息来容易地指 定与感兴趣的捕获场景对应的运动图像的记录区域。虽然已经参照附图描述了本发明的优选实施例，但是本发明不限于此。本领域技 术人员显然可设想到，可以在不脱离权利要求中所陈述的本发明的范围和精神的情况下进 行各种变化和修改。因此，意图是那些变化和修改都在本发明技术界限的范围内。例如，在上述描述中，仅通过操作信息的数据vaO到vai与比较操作信息的数据 dcO到dcm的对应关系来指定运动图像的记录区域。然而，可替代地，可以通过比较操作信 息的数据dcO到dcm中的导向数据的部分对应关系(如数据dcO到dcm/2)来指定运动图 像的记录开始位置。利用该配置，可以迅速地检索与很可能是感兴趣捕获场景的捕获场景对应的运动图像。本申请包含与2009年1月14日向日本专利局提交的日本优先权专利申请JP 2009-006082中公开的主题有关的主题，其全部内容通过引用的方式而合并在此。
本领域的技术人员应该理解，可以根据设计需要和其它因素而出现各种修改、组 合、部分组合和变更，只要其在所附权利要求或其等效物的范围内即可。
权利要求
一种信息处理装置，包括数据保存部分，用于保存通过预定的捕获操作而变化的操作参数的第一时间序列数据；数据比较部分，用于将操作参数的第二时间序列数据与第一时间序列数据进行比较，所述第二时间序列数据与通过实际捕获操作而记录的运动图像关联，并且通过所述实际捕获操作而变化；和数据区域指定部分，用于基于所述第一和第二时间序列数据的比较，在所述第二时间序列数据中指定与所述第一时间序列数据对应的数据区域。
2.如权利要求1所述的信息处理装置，其中，所述数据区域指定部分基于所述第一时 间序列数据和所述第二时间序列数据的比较，在所述第二时间序列数据中指定包含在所述 第一时间序列数据的容限内的数据区域。
3.如权利要求2所述的信息处理装置，其中，任意地确定所述第一时间序列数据的容限。
4.如权利要求1所述的信息处理装置，其中，在记录通过所述实际捕获操作所记录的 运动图像期间，所述数据比较部分将所述第二时间序列数据与所述第一时间序列数据进行 比较。
5.如权利要求1所述的信息处理装置，其中，在记录了通过实际捕获操作所记录的运 动图像之后，所述数据比较部分将所述第二时间序列数据与所述第一时间序列数据进行比较。
6.如权利要求1所述的信息处理装置，其中所述数据保存部分保存包括多个操作参数的第一时间序列数据； 所述数据比较部分将包括多个操作参数的所述第二时间序列数据与包括多个操作参 数的所述第一时间序列数据进行比较；和所述数据区域指定部分在包括多个操作参数的所述第二时间序列数据中指定与包括 多个操作参数的所述第一时间序列数据对应的数据区域。
7.如权利要求1所述的信息处理装置，进一步包括数据产生部分，所述数据产生部分 基于与通过实际捕获操作所记录的运动图像关联的、且通过实际捕获操作而变化的操作参 数的所述第二时间序列数据，产生通过预定的捕获操作而变化的操作参数的所述第一时间 序列数据。
8.如权利要求1所述的信息处理装置，进一步包括记录部分，所述记录部分与通过实 际捕获操作所记录的运动图像关联地存储通过实际捕获操作而变化的操作参数的第二时 间序列数据。
9.如权利要求1所述的信息处理装置，其中，根据镜头摇动、倾斜、移动摄像和变焦中 之一而改变操作参数。
10.一种信息处理方法，包括以下步骤将操作参数的第一时间序列数据与操作参数的第二时间序列数据进行比较，所述第一 时间序列数据根据预定的捕获操作而变化，所述第二时间序列数据与通过实际捕获操作所 记录的运动图像关联并且通过所述实际捕获操作而变化；和基于所述第一和第二时间序列数据之间的比较，在所述第二时间序列数据中指定一数据区域，该数据区域用于指定与所述第一时间序列数据对应的数据区域。
11. 一种允许计算机执行信息处理方法的程序，所述信息处理方法包括以下步骤 将操作参数的第一时间序列数据与操作参数的第二时间序列数据进行比较，所述第一 时间序列数据根据预定的捕获操作而变化，所述第二时间序列数据与通过实际捕获操作所 记录的运动图像关联并且通过所述实际捕获操作而变化；和基于所述第一和第二时间序列数据之间的比较，在所述第二时间序列数据中指定一数 据区域，该数据区域用于指定与所述第一时间序列数据对应的数据区域。
全文摘要
公开了信息处理装置和信息处理方法。所述信息处理装置包括数据保存部分，用于保存通过预定的捕获操作而变化的操作参数的第一时间序列数据；数据比较部分，用于将操作参数的第二时间序列数据与第一时间序列数据进行比较，所述第二时间序列数据与通过实际捕获操作而记录的运动图像关联，并且通过所述实际捕获操作而变化；和数据区域指定部分，用于基于所述第一和第二时间序列数据的比较，在所述第二时间序列数据中指定与所述第一时间序列数据对应的数据区域。
文档编号H04N5/76GK101820521SQ20101000367
公开日2010年9月1日 申请日期2010年1月14日 优先权日2009年1月14日
发明者椎名裕树, 水上贤一, 石坂敏弥, 阵野比吕志 申请人:索尼公司