专利名称：运动图像处理设备和运动图像处理方法
技术领域：
本发明涉及一种运动图像处理设备和运动图像处理方法。
背景技术：
随着使用数字照相机等的图像捕获技术的发展以及当前社会的趋势，已经广泛使用所谓的监视照相机来捕获运动图像以进行监视和状况确认，并作为数字数据记录该运动图像。采用相同技术的通信照相机也获得了广泛应用。根据用途将这种照相机固定在某个位置，这种照相机通常设置有按照转动轴进行转动或者使用变焦功能进行放大、缩小的功能。通常将这种照相机的图像捕获位置(方向)的变化称为平转、俯仰、变焦等。通过经由网络等对该平转/俯仰/变焦功能进行远程指示操作，用户可以沿期望的方向捕获、记录并参考图像。另一方面，随着常见的硬盘和存储卡等存储装置容量的增大以及价格的降低，已能够充分记录一定时间长度的运动图像。MPEG(运动图像专家组，Moving Picture Expert Group)和各个制造商也已推出了运动图像的各种记录格式。近来广泛使用的记录格式的一个特征是不是简单地按顺序记录在特定瞬间按时间序列(time-series)捕获的图像数据(下文中称为“图像帧”)。即，除了记录图像帧之外，还可以作为元数据来记录对这些图像帧进行分组的信息和各个帧的再现时间(时间戳)信息，或者整个运动图像的图像捕获时间、图像捕获参数等。典型的记录格式的例子包括QuickTime(注册商标)格式和通常称为MP4的格式等格式。这些记录格式具有比较灵活的可扩展性。例如，使用这些记录格式还可以存储沿着运动图像的时间轴按时间序列变化的版权信息、关于整个运动图像的图像捕获设备的信息等。
例如，在监视应用等中，尤其需要从已捕获的运动图像中按时间或者空间提取或者选择特定区域的技术。这是因为经常存在需要有选择地感知具有例如当图像从平常状态发生变化等各种条件的目标部分的情况。基于这种背景，传统上使用当在图像帧中检测到监视对象的运动时对所捕获并记录的运动图像附加标记的方案。具体地，使用如下功能在指定每个图像帧或者由多个图像帧构成的组的格式中设立表示异常的标志，当进行再现时参考该标志，仅强调具有该标志的帧。
可选地，使用如下方案通过在参考所捕获并记录的图像的同时操作鼠标等指示器输入设备，在完成记录的图像帧或者包含在先和后续图像帧的多个图像帧上清楚地覆盖并记录矩形等图像信息。
此外，已知采用从捕获图像中提取特定区域的技术通过提取人或者运动汽车来从运动图像中提取特定区域的技术。此外，已知采用上述技术基于已提取的特定区域的捕获范围内的位置和大小运用平转/俯仰/变焦功能的技术(例如，参见日本特开2002-262138号公报)。
在现有技术中，当从已记录的运动图像或者尝试捕获并记录的运动图像中选择空间上的特定区域，与整个运动图像上的运动图像数据相关联地存储所选择的区域时，存在下面描述的问题。
在日本特开2002-262138号公报的情况下，基于已记录或者正在记录的图像的特定区域可以操作照相机，而与该图像无关。然而，从运动图像中追溯地选择空间上的特定区域并将其与过去已记录的图像相关联地进行记录是一个问题。
考虑到现有技术中的上述问题提出了本发明，本发明的一个目的是提供一种允许基于运动图像的各个图像帧以及捕获这些图像帧时的方向和视角等位置信息使空间上的特定区域相关联的技术。
发明内容
提供本发明的实施例以克服相关技术的上述缺点。
根据本发明的一个方面，实施例针对一种运动图像处理设备，包括获取单元，用于获取使用图像捕获单元捕获的运动图像数据和与构成运动图像数据的每个图像帧相关的图像捕获单元的图像捕获信息；以及附加单元，用于与从运动图像数据中指定的图像帧相关联地将用于对标记显示进行显示控制的标记信息附加到运动图像数据。
根据本发明的另一个方面，实施例针对一种运动图像处理方法，包括获取步骤，用于获取使用图像捕获单元捕获的运动图像数据和与构成运动图像数据的每个图像帧相关的图像捕获单元的图像捕获信息；以及附加步骤，用于与从运动图像数据中指定的图像帧相关联地将用于对标记显示进行显示控制的标记信息附加到运动图像数据。
根据本发明，可以基于运动图像的各个图像帧和捕获这些图像帧时的方向和视角等位置信息使空间上的特定区域相关联。
从以下参考附图对示例性实施例的说明，本发明的其它特征将变得明显。
图1是示出根据本发明实施例的运动图像处理设备的功能配置的框图；图2是示出具有图1所示的配置的运动图像处理设备的详细配置的框图；图3示意性地示出图像捕获单元101的位置和最终输出的运动图像数据的文件格式之间的关系；图4示出MP4文件401的结构的概要；图5是示出在使作为所捕获的运动图像数据的特定瞬间的图像的帧和叠加在该图像的帧上的标记信息可视化的状态下帧和标记的示意图；图6示出图像帧(M)502与标记信息的关系；图7示出从使用图像捕获单元捕获被摄体的图像到输出运动图像数据的处理的流程；图8示出对记录有标记信息的运动图像数据进行再现的处理的流程；图9A～9H示出基于运动图像数据进行显示的显示例子；图10A示出在显示单元105中显示的所选择的帧的例子；图10B示出使用输入单元将鼠标光标1002移动到屏幕上所希望的位置的状态；图11是示出根据本发明第二实施例的运动图像处理设备的配置的功能框图；图12是示出根据本发明第三实施例的运动图像处理设备的功能配置的框图。
具体实施例方式
以下是参考附图对本发明优选实施例的说明。
第一实施例。
图1是示出根据本发明实施例的运动图像处理设备的功能配置的框图。根据本实施例的运动图像处理设备设置有图像捕获单元101、代码压缩电路102、致动器单元103、运动图像数据获取电路104和显示单元105。运动图像处理设备还设置有用户输入单元106、信息附加电路107、运动图像数据输出电路108、存储装置109和运动图像再现电路110。
每个功能配置与在CPU 252的控制下运行的软件程序合作来实现根据本发明实施例的图像处理。
通常由光学镜头或者例如CCD等光学传感器构成图像捕获单元101。图像捕获单元101将每个捕获帧的图像作为图像信号输出到代码压缩电路102。代码压缩电路102对从图像捕获单元101输入的图像信号进行A/D转换，作为图像数据获取该图像信号。然后对该图像数据进行压缩编码处理。已知MPEG-4等格式用作作为连续视频的运动图像的压缩编码格式。
代码压缩电路102不是绝对必需的，但是运动图像数据的数据量一般很大，通常在运动图像处理设备中进行例如压缩编码。
致动器单元103通过例如转动图像捕获单元101来控制图像捕获方向。这种机制例如可以用作在固定安装位置使用的用来进行监视、远程确认等的配置。例如，还可以应用具有在将照相机固定到三角架等的同时转动照相机的功能的配置。转动机制最典型的例子例如是在水平方向上转动的平转机制、在垂直方向上转动的俯仰机制等。
运动图像数据获取电路104获取由代码压缩电路102编码的编码数据和伴随编码的编码参数。这时，运动图像数据获取电路104获取与如下附加信息相关的数据例如图像捕获单元101进行图像捕获时的焦距、运动图像的图像数据的各个帧的时间信息(时间戳)、以及图像捕获单元101的转动角、视角等信息。
显示单元105显示由运动图像数据获取电路104获取的运动图像。图1示出还从代码压缩电路102获取数据从而在代码压缩电路102进行编码之前显示图像以减少处理量的配置。此外，因为这种数据流程取决于如何实施，所以可以在解码之后显示编码数据。
例如，将用户输入单元106配置为在参考显示单元105的同时进行操作的用户发出实际操作指令。一般使用鼠标、键盘等发出指令。
信息附加电路107可以对从用户输入单元106输入的信息进行变换，例如转换为元数据，将变换结果附加到运动图像数据。从用户输入单元106输入的信息是用来对附加到运动图像数据的附加显示的位置、大小、形状等进行显示控制的信息(下面，将该信息称为“标记信息”)。
运动图像数据输出电路108基于与运动图像数据相关的捕获图像信息和信息附加电路107附加的标记信息，将最终的运动图像数据输出到预定输出目的地。关于记录和维护运动图像数据，作为运动图像处理设备的记录介质，可以在能够用作存储装置的存储卡、固定盘等上记录并保持运动图像数据。这里，将存储装置109作为能够记录并保持运动图像数据的介质。可以将存储装置109内置到运动图像处理设备中。此外，可以将存储装置109配置为通过希望的接口(例如USB、IEEE 1394等)或者网络(例如有线以太网(Ethernet)LAN或者例如IEEE802.11x等无线LAN)连接到运动图像处理设备。
运动图像再现电路110可以读取记录到存储装置109中的运动图像数据，对该运动图像数据进行解码处理和再现处理。这时，当已在运动图像数据中记录了标记信息(例如，图4中的404)时，当再现包含标记信息404的帧时，可以显示该标记。
图2是示出具有图1所示的配置的运动图像处理设备的详细配置的框图。通过构成光学系统的图像捕获镜头单元211和光圈单元212在光学传感器213上形成图像捕获目标的图像。图像捕获镜头单元211设置有例如马达等作为用于进行对焦或者改变变焦功能的焦距的驱动源，图像捕获镜头单元211具有透镜组是可移动的配置。光圈单元212具有光圈是可控制的配置。驱动电路216进行图像捕获镜头单元211和光圈单元212的操作控制。因此，通过驱动电路216适当地控制图像捕获镜头单元211和光圈单元212，来适当地调节到达光学传感器213的光量(在光学传感器213上形成图像)。光学传感器213配置有固态图像传感装置(例如，CCD或者CMOS传感器等)，从而可以将入射光转换为电荷并且根据光量进行积累。光学传感器213读取积累的电荷，将积累的电荷作为图像信号传送到A/D转换器214。
这里，由驱动电路217输出的脉冲信号等适当地控制光学传感器213的操作。即，连续进行在指定的定时读取在指定的时间间隔内积累的电荷的操作序列。因此，获得连续的图像。以这种方式获得的连续图像是运动图像。
接下来，A/D转换器214对从光学传感器213接收到的图像信号进行A/D转换，将转换后的图像信号作为数字数据(图像数据)传送到图像信号处理电路215。图像信号处理电路215使用从A/D转换器214接收到的图像数据进行图像校正，即白平衡校正和伽马校正。然后，将以这种方式处理并以适当格式放置的图像数据传送到代码压缩电路102。
关于图像数据在处理间的交换，例如，通过使用采用DMA(直接存储器存取，Direct Memory Access)电路的高速存储器251进行存取，可以实时处理大量数据。
代码压缩电路102对从图像信号处理电路215输入的图像数据进行压缩编码。通过对每个帧的图像进行压缩编码处理，对运动图像执行压缩编码处理。可以使用各种压缩编码方法。例如，在连续JPEG(ISO/IEC 10918)编码(所谓的运动JPEG)图像中，将从图像信号处理电路215输入的RGB图像数据转换为由亮度信号Y和色度(chroma)信号CbCr构成的YC信号。在划分为8×8的像素块之后，进行离散余弦变换、量子化和Huffman编码处理，输出最终的压缩图像。可选地，压缩编码方法可以使用进行帧间预测的MPEG-2(ISO/IEC 13818)或者MPEG-4(ISO/IEC 14496)等格式。在这种情况下，参考在先和后续帧对要压缩的一个特定图像(帧)进行运动补偿预测(motion-compensated prediction)、宏模块(macroblock)处理等，输出在先和后续图像帧彼此依赖的压缩图像(比特流)。
接下来是致动器单元103的说明。致动器单元103例如包括使用伺服马达使图像捕获单元101转动运动的致动器221、以及超声波马达等。此外，致动器单元103包括致动器221的驱动电路223和用于检测致动器221的运动量的运动检测电路222。使用这种配置，例如，当从在网络上的装置或者运动图像处理设备本身中安装的按钮等输入了转动图像捕获单元101的请求时，CPU 252检测到该输入请求，将指令发送到驱动电路223进行所指示的转动。因为驱动电路223基于该指令控制致动器221，致动器221使连接到致动器221自身的图像捕获单元101转动所请求的转动角量。此外，运动检测电路222检测致动器221的转动量，在每个预定定时记录转动时间的检测量。通过致动器单元103的这种操作，可以在每个预定定时将图像捕获单元101的运动量记录到存储器251，从而可以适当地参考所记录的运动量。此外，如上所述，采用驱动电路216控制图像捕获镜头单元211的配置，与在改变焦距的所谓的变焦操作中相同，可以参考焦距信息。即，可以采用CPU 252对驱动电路216发出指令、将该驱动状态记录到存储器251的配置。
在本实施例中，运动图像数据获取电路104可以通过使用记录到存储器251的运动量来与运动图像一起获取图像捕获位置信息。
稍后将与程序操作的流程一起详细说明运动图像数据获取电路104、信息附加电路107、运动图像数据输出电路108、运动图像再现电路110等，因此这里省略其说明。
由CPU 252对上述各部分的操作控制进行管理。此外，在ROM 253中存储包含CPU 252的操作规则的程序。因此，CPU252使用存储在ROM 253中的程序或者数据执行处理，因此可以与对整个运动图像处理设备进行控制一起执行由用于构成运动图像处理设备的每个部分所进行的上述处理。
接下来，说明从输入编码数据和编码参数、捕获图像时的焦距、转动角等信息、运动图像的图像数据的各个帧的时间信息开始直到通过信息附加电路107将运动图像数据输出到存储装置109的处理。
为了便于说明处理的流程，首先说明最终输出的运动图像数据的格式。图3示意性地示出图像捕获单元101的位置和最终输出的运动图像数据的文件格式之间的关系。首先，通过运动图像数据获取电路104获取图像捕获单元101的焦距和时间信息(时间戳)等图像捕获信息。例如，在本实施例中，图像捕获信息是视角θ和转动角φ。在图像捕获单元101的中心，由以图3中垂直向下的方向作为参考(φ(0)＝0°)的φ表示转动角，将以在图像捕获单元101的镜头部分上为中心的规定范围用作假想的图像感应平面301。
此外，当将垂直于图像感应平面301、从图像捕获单元101的中心延伸的线作为中心线(图3中的M或者N)时，当图像感应平面的中心线是N时，图像捕获单元101的转动角是φ(N)。当图像感应平面的中心线为M时，图像捕获单元101的转动角是φ(M)。
首先，当使用设置在图3的中心的图像捕获单元101进行图像捕获时，图像捕获单元101生成运动图像数据文件302。从致动器单元103输出基于与包含在运动图像数据文件302中的每个图像帧303相关的平转/俯仰/变焦操作所获取的捕获图像时的图像捕获信息304。运动图像数据获取电路104记录图像捕获信息304作为帧303的元数据。
另一方面，在信息附加电路107中，将与用户通过用户输入单元106指定的区域(将指定区域也称为“标记”)相关的标记信息记录到运动图像数据文件(运动图像数据)中。关于确定哪个帧包含该指定区域，可以设想如下方法将具有包含该指定区域的中心线的帧、或者在假想图像感应平面301中包含指定区域的面积大的帧，确定为包含指定区域的帧。
上述方法不限于确实能够指定一个帧；还能够以时间戳指定指定区域的图像捕获定时。在这种情况下，作为一个例子还可以给出在时间戳中记录视角θ和转动角φ的方法。
关于所获取的标记信息的说明，例如在图3的情况下，在帧310中指定标记305。在这种情况下，在运动图像数据文件302的头306中，记录了如下信息在进行图像捕获时的转动角是φ(M)的位置指定标记。在本实施例中，说明在运动图像数据文件302的头306中记录标记信息的例子，但是作为与每个帧相关的元数据，可以在每个帧中记录表示已指定了标记的识别信息。
接下来是对图3所示的标记信息和运动图像数据的文件格式之间的关系的说明。作为具体的例子，使用MPEG-4(下文中，称为MP4)文件格式作为例子对文件结构和标记信息记录进行详细的说明。MP4文件格式是用于记录MP4编码的运动图像/音频数据的标准文件格式。
图4示出MP4文件401的结构的概要。MP4文件401由电影元数据402和媒体数据406构成。在电影元数据402中，存储有表示媒体数据406的存储位置和属性的信息。当在MP4文件401中记录有视频和音频数据二者时，存储作为与视频轨迹相关的头的视频轨迹元数据405和音频轨迹元数据411。
在媒体数据406中存储视频数据、音频数据等媒体流的编码数据。例如，当在文件的头中记录标记信息404时，通过信息附加电路107中的处理，将标记信息404存储在作为存储位置的电影元数据402中。可以从标记信息404中基于记录在其中的时间戳来参考视频轨迹元数据405中具有相同时间戳的元数据(408)。然后，将每个帧的时间戳记录在视频轨迹元数据405中，可以基于从视频轨迹元数据405中记录的时间戳来参考视频数据407中的帧(409)。即，还可以通过将包含指定区域的帧的时间戳记录在标记信息404中来参考媒体数据406。
图4中的描述410示出标记信息404的示例描述。在本实施例中，在MP4文件401中作为所希望的BOX(存储箱)来附加标记信息404。在可以记录所希望的数据的用户空间(“udta”)中生成新的BOX(“stms”)，在该B0X中记录标记信息。
标记信息404的示例描述410包括下面所示的变量。
entry_count(421)标记的总数entry_num(422)标记编号frame_num(423)指定了标记的帧编号timestamp(424)指定了标记的帧的时间戳rotation_angle(425)对指定了标记的帧进行图像捕获时的转动角field_angle(426)对指定了标记的帧进行图像捕获时的视角例如，在标记信息404的示例描述410中包含作为变量的timestamp(424)。通过记录该时间信息作为标记信息，当在指定时间指定特定区域时，可以基于输入的指定时间和时间戳值来参考相应的帧。
上述标记信息404的变量(421～426)仅仅是一个例子，不需要变量包含全部信息，变量可以仅包含一部分信息。此外，标记信息404的变量不限于上述变量；还可以描述上述变量之外的变量作为标记信息404的变量。
信息附加电路107将由用户输入单元106指定的标记信息404附加到运动图像数据中。运动图像数据输出电路108将如图3所示的通过组合运动图像数据、图像捕获信息和标记(标记信息)而获得的运动图像数据文件302输出到存储装置109中。
接下来是通过用户输入单元106对记录标记信息404进行指示的方法的说明。为了输入标记信息404，例如可以使用如下方法在参考在显示单元105中显示的图像的同时，用户使用由鼠标指示器等构成的用户输入单元106对图像进行指示。在本实施例中，作为输入指令的简单方法说明如下情况用户输入单元106具有使用按钮构成的接口，在参考显示单元105的显示的同时，按下按钮给出指令。
图5是示出在使作为所捕获的运动图像数据的特定瞬间的图像的帧和叠加在该图像的帧上的标记信息可视化的状态下帧和标记的示意图。
在图5中，示出了三个帧(501，502和503)。帧501示出不是指定瞬间的图像帧。帧502示出图像捕获单元101的转动角是作为致动器单元103将图像捕获单元101从帧501的状态进行转动的结果的φ(M)的瞬间的图像帧(M)。
此外，帧503示出由于从帧502的状态开始进一步轻微地转动后转动角是φ(M+1)并且还进行放大(变焦)后的图像帧(M+1)。为了理解所捕获的图像的转动，在图5中清楚地示出了每个帧的中心线。用虚线绘制的圆(504和505)表示使得可视的标记。
当在参考显示单元105的显示的同时按下在用户输入单元106中设置的按钮(未示出)时，将标记信息设置到在按下的定时正在显示的图像帧中。以图像帧(M)502为例，将标记信息设置为在图像帧(M)502中显示预先设置的标记大小标记505。
这里，图像帧(M)502中相对于图像帧501的视角和焦距分别是θ(M)和f(M)。此外，图像帧(M+1)503中相对于图像帧501的视角和焦距分别是θ(M+1)和f(M+1)。这时，与每个图像帧相关的图像捕获单元101的位置信息如下。
在图像帧(M)502中的位置信息中，转动角是φ(M)，视角是θ(M)，焦距是f(M)。在图像帧(M+1)503中的位置信息中，转动角是φ(M+1)，视角是θ(M+1)，焦距是f(M+1)。
此外，在标记信息中，转动角是φ(M)，视角是θ(M)，焦距为f(M)，此外，标记大小是S。这里，标记大小S是表示标记的大小的值，例如，可以将通过转换为视角而获得的值作为标记大小S。
通过将图像捕获信息和标记信息附加到运动图像数据，使作为标记信息的转动角和视角与每个图像帧的转动角和视角相关联，从而可以一致地存储每个图像帧之间的关系。
此外，为了给出更具体的说明，除了参考图5之外还参考图6对使得可视的标记和图像帧之间的关系进行附加说明。在图5中的图像帧(M+1)503中，将使得可视的标记504的显示为比图像帧(M)502的标记505大。这是因为对图像帧(M+1)503的图像捕获相对于图像帧(M)502进行了放大。应当注意，用户输入单元106进行标记设置指示的瞬间与图像帧(M)502的瞬间相同。可以不依赖于特定图像帧地设置标记信息。因此，例如，图像帧(M)502中的视角θ(M)和标记信息的视角θ(M)是相同的，但是，图像帧(M+1)503中的视角θ(M)不必相同。即，在图像帧(M)502中设置的标记信息的视角θ(M)将会转换为图像帧(M+1)503的视角θ(M+1)。
图6示出图像帧(M)502和标记信息之间的关系。从图6明显可知，在图像帧(M)502中的假想图像感应平面601中，使得可视的标记在水平方向(横向方向)上的宽度d(M)与假想图像感应平面601在水平方向(横向分析)上的宽度L的关系如下。
d(M)/L＝(sin(S/2))/(sin(θ(M)/2)) (1)这里，S是按照例子中对上述标记大小进行视角转换而获得的值。比率d(M)/L是标记大小对图像帧的比率。如果如图5所示在显示单元105上叠加地显示使得可视的标记，则例如可以使用显示单元105的像素比率显示标记。
另一方面，在图像帧(M+1)503中，由于进行了放大而视角是视角θ(M+1)，所以标记在水平方向(横向方向)上的宽度d(M)如下。
d(M+1)/L＝(sin(S/2))/(sin(θ(M+1)/2)) (2)
例如，假设如下情况S是5度，θ(M)是20度，θ(M+1)是10度，捕获图像帧中的水平像素是640。通过计算可以得出，图像帧(M)502中使得可视的标记中的水平像素是大约161，图像帧(M+1)503中使得可视的标记的水平像素是大约320。由于从图像帧(M)502变化到了图像帧(M+1)503，视角近似变为原来的一半，使得可视的标记的大小大约变为原来的两倍。
当视角非常小时，通过Maclaurin展开，可以将上述使得可视的标记在水平方向(横向方向)上的宽度与假想图像感应平面601在水平方向(横向方向)上的宽度的关系表达式近似为d/L＝S/θ。
此外，在从图像帧(M)502变化到图像帧(M+1)503时，例如，可以将转动角φ(M)到转动角φ(M+1)的变化看作是图像帧从中心线(M)到中心线(M+1)的变化。
这里，为了避免作为图像帧(M)502中的标记信息而设置的转动角φ(M)与图像帧(M)502的转动角相混淆，将φ(m)用作作为标记信息的转动角φ(M)。此外，将ψ用作特定图像帧的转动角φ(x)与φ(m)之间的转动角的差，即ψ＝|φ(x)-φ(m)|。
例如，在作为图像帧(M)502和图像帧(M+1)503中的标记信息而设置的φ(m)＝转动角φ(M)之间的关系中，ψ＝φ(m)-φ(M+1)。
此外，将θ(x)用作该特定图像帧的视角。类似地，在图像帧(M+1)503的情况下的视角θ(x)＝θ(M+1)。
距假想图像感应平面601的中心线距离为r的假想图像感应平面601在水平方向(横向)上的宽度为L的使得可视的标记的中心位置用下式(3)来表示。
r/L＝(tan(ψ)/tan(θ/2))/2 (3)此外，作为通过将标记大小S转换为视角而获得的值，从假想图像感应平面601的中心线到标记远端的距离r1用下式(4)来表示。
r1/L＝(tan(ψ-(s/2))/tan(θ/2))/2 (4)类似地，从假想图像感应平面601的中心线到标记近端的距离r2用下式(5)来表示。
r2/L＝(tan(ψ+(s/2))/tan(θ/2))/2 (5)这些表达式总是受将包含在标记信息中的标记大小S转换为视角的影响。
以这种方式，通过适当地存储标记信息，可以总是使用假想图像感应平面601上可视化了的、由标记信息表示的标记的位置。
将图像捕获单元101对应于每个图像帧的位置信息、以及与由用户输入单元106指示的图像捕获单元101的位置信息相对应的标记信息记录在运动图像数据中。使用记录有位置信息和标记信息的运动图像数据，可以获取包含标记的帧中的标记显示位置，且这不限于记录标记信息的瞬间的运动图像帧。基于该显示位置，可以在更早的时间点记录的帧中显示在特定瞬间指定的标记。因此，根据运动图像的各个图像帧以及捕获图像时的方向和视角等位置信息，可以使全部运动图像中的特定区域在空间上相关联。
在本实施例中，说明了获取与水平方向上的图像捕获单元的操作相关的图像捕获信息并将所获取的信息记录在运动图像数据中的技术，但是对垂直方向上的操作也可以使用相同的技术。即，通过获取并记录与垂直方向上的运动相关的图像捕获信息，使用上述技术以相同的方式可以指定标记的位置。
接下来是对当基于使用上述技术输出的运动图像数据、将图像捕获信息和标记信息记录在运动图像数据中、并对该运动图像数据进行再现时所进行的处理的说明。
基于记录在MP4文件401中的标记信息404，运动图像数据输出电路108生成记录有与在再现运动图像时由用户指定的特定区域相关的标记信息404的运动图像数据。使用记录有图4所示的描述410等的标记信息的情况作为例子说明该处理。
在读取媒体数据406之前，运动图像数据输出电路108获取记录在运动图像数据的头中的标记信息404。例如，运动图像数据输出电路108从记录在标记信息404中的entry_count(421)中获取记录在运动图像数据中的标记的总数。在图5所示的例子中，在帧中仅显示一个标记，但是本发明的要旨不限于这种情况；可以在单个帧中指定多个标记。
运动图像数据输出电路108获取每一个标记信息424的时间戳，获取包含在时间戳中的帧编号。基于获取的帧编号，从运动图像数据中指定帧。然后，基于作为标记信息404所记录的与特定区域相关的转动角和视角指定由用户指定的区域。运动图像数据输出电路108基于记录在MP4文件401中的标记信息404生成运动图像数据。
一致地记录与运动图像数据中的运动图像帧相对应的图像捕获单元101的位置信息以及与由用户输入单元106指示的图像捕获单元101的位置信息相对应的标记信息，作为可以再现的数据进行输出。
运动图像再现电路110读取记录在存储装置109中的运动图像数据，进行解码处理，然后对运动图像数据进行再现处理。这时，当将标记信息(图4中的404)记录在运动图像数据中时，当再现包括标记信息的帧时，可以显示该标记。
接下来是参考流程图对上述处理的流程的说明。首先是参考图7对从使用图像捕获单元101捕获被摄体的图像到输出运动图像数据的处理的流程的说明。
通过在CPU 252的控制下运行的软件程序与运动图像数据获取电路104、信息附加电路107、运动图像数据输出电路108等的合作来实现该处理。
在步骤S701中，获取使用致动器单元103获取的平转/俯仰/变焦等图像捕获单元101的图像捕获信息，来获得从图像捕获单元101输出的运动图像数据。将从图像捕获单元101输出的运动图像数据输出到代码压缩电路102。代码压缩电路102基于从图像捕获单元101输出的运动图像数据执行编码处理，将编码后的运动图像数据输出到运动图像数据获取电路104。此外，致动器单元103将与图像捕获单元101的图像捕获信息相关的信息(例如，焦距、时间信息(时间戳)以及捕获图像时的图像捕获单元101的转动角和视角等)输出到运动图像数据获取电路104。
在步骤S702中，运动图像数据获取电路104记录在前一步骤S701中由运动图像数据目的地获取的运动图像数据的图像捕获信息。作为与构成该运动图像数据的每个图像帧相关的信息来记录图像捕获信息。
这里，当存在来自用户输入单元106的附加标记显示的指令时，信息附加电路107获取信息(标记信息)，以对附加在构成运动图像数据的图像帧中的标记显示进行显示控制。这里，标记信息例如包含当指定标记显示的位置时的图像捕获单元101的转动角和视角信息中的任意一个的信息。然后，信息附加电路107将该标记信息记录(附加)到从运动图像数据获取电路104输出的运动图像数据中(S702)。这里，作为格式和与运动图像数据相关的图像捕获信息相同的信息来附加所记录(附加)的信息，并且可以对其进行转换。
在步骤S703中，运动图像数据输出电路108产生记录有在运动图像数据再现时与用户指定的区域相关的标记信息的运动图像数据，输出所产生的运动图像数据。
接下来是参考图8中的流程图对记录有标记信息的运动图像数据进行再现的处理的流程。通过在CPU 252的控制下运行的软件程序与运动图像再现电路110等的合作来实现该处理。
在步骤S801中，运动图像再现电路110针对由运动图像数据输出电路108产生并记录在输出运动图像数据中的每个帧，从存储装置109中获取图像捕获单元101的图像捕获信息。
接下来，在步骤S802中，运动图像再现电路110获取记录(附加)在运动图像数据中的标记信息404。
在步骤S803中，运动图像再现电路110基于在前一步骤S802中获取的标记信息404和每个帧的图像捕获信息来计算标记显示位置和大小(S803)。
然后，在步骤S804中，当再现包含标记信息404的图像帧时，运动图像再现电路110基于在前一步骤S803中算出的标记显示位置和大小显示标记，该处理结束。
接下来是对当再现包含标记信息的帧时所进行的基于记录在MP4文件401中的标记位置信息的标记显示的说明。
关于标记在水平方向(横向方向)上的宽度d(M)，对以下情况进行说明L是图6所示的假想图像感应平面601在水平方向(横向方向)上的宽度，从式(1)中的关系可以得出关系d(M)/L＝(sin(S/2))/(sin(θ(M)/2))。用式(1)中的关系经过变形后来表示标记在水平方向上的宽度d(M)得出如式(6)的表达式。
d(M)＝L×((sin(S/2))/(sin(θ(M)/2)) (6)当以SVG(Scalable Vector Graphics，可缩放矢量图)用来通过设置使用SVG绘制标记的部分的大小来使标记信息可视化的情况为例时，可以在指定部分中显示合适大小的标记。例如，参考下面公开的绘制设置的例子来说明作为圆示出标记的情况。在下面公开的绘制设置中，“circle”表示圆形，(cx，cy)表示该圆的中心位置(中心坐标)。用“r”表示圆的半径的大小。这里，将半径的大小设为“d(M)/2”，设置转换为直径，绘制并显示直径为d(M)的圆。此外，stroke＝“red”表示将所绘制的圆的颜色设置为红色。
示例绘制设置<svg smlspace＝”default”width＝”220”height＝”200”>
<circle cx＝″25″cy＝″25″r＝″d(M)/2″stroke＝″red″stroke-width＝″1″/>
</svg>
在上述绘制设置的例子中，示出用圆来绘制标记的例子，但是可以不作为圆而作为矩形来显示标记。在这种情况下，通过将指定绘制圆的“circle”设置为表示绘制矩形的“rect”，可以用长度d(M)作为一个边来绘制矩形标记。此外，在上述绘制设置的例子中，通过将stroke＝”red”设置为例如stroke＝”blue”，可以绘制颜色为蓝色的矩形标记。通过改变标记显示的设置，还可以对显示位置、显示大小、显示形状和显示颜色进行各种修改。
当对帧进行变焦显示时，运动图像再现电路110基于视角获得变焦比率(或者缩小比率)，可以基于该值调整(设置)标记的大小。运动图像再现电路110可以调整(设置)标记的大小，在变焦显示(或者缩小显示)的图像帧中显示大小调整(设置)后的标记。通过以使用SVG等向量图的形式描述标记，可以在需要通过变焦等操作改变要显示的标记的大小的情况下获得灵活的兼容性。
还可以在被设计为可以作为物理平转/俯仰/变焦操作来进行相同的操作的照相机中采用本发明，在该照相机中电子地进行平转/俯仰/变焦操作。
如上所述，根据本发明，从运动图像的各个图像帧和进行图像捕获时的方向和视角等位置信息，可以使整个运动图像中的特定区域在空间上相关联。
第二实施例接下来是参考图9A～9H、10A和10B以及11对本发明第二实施例的说明。使用相同的附图标记描述与第一实施例共用的构成元素，省略重复的描述。在本实施例中，使用图1所示的结构，产生附加有图像捕获信息和标记信息的运动图像数据，并将其存储在存储装置109中。
图像捕获单元101捕获被摄体的运动图像，将每个捕获帧的图像作为图像信号输出到代码压缩电路102。代码压缩电路102对从图像捕获单元101输入的图像信号进行A/D转换，获取该图像信号作为图像数据。运动图像数据获取电路104获取由代码压缩电路102进行编码的编码数据和伴随编码的编码参数。这时，运动图像数据获取电路104获取与图像捕获单元101进行图像捕获时的焦距、图像数据的各个帧的时间信息(时间戳)、图像捕获单元101的转动角、视角等信息相关的数据。信息附加电路107对信息进行变换，以对由用户输入单元106输入的附加显示(标记)进行显示控制，例如转换为元数据，并将变换结果附加到运动图像数据中。运动图像数据输出电路108将由信息附加电路107变换后的最终运动图像数据输出到存储装置109。
图11是示出根据本发明第二实施例的运动图像处理设备的配置的功能框图。
用户通过从用户输入单元1101进行选择经由系统控制单元1102，可以从存储在存储装置109中的运动图像数据(内容)中选择要在显示单元105中进行显示的运动图像数据(内容)。作为选择方法，例如，可以在显示单元105中显示存储在存储装置109中的标题和内容的缩略图二者或者任意之一，并且可以操作用户输入单元1101从该显示内选择任意内容。
通过系统控制单元1102的控制从存储装置109中读取与所选内容相对应的编码数据，将其输入到解码电路1104中。解码电路1104是与图1中的代码压缩电路102形成一对的电路，能够对由代码压缩电路102进行压缩编码后的编码数据进行解码。将解码电路1104解码后的运动图像信号输入到显示单元105，显示单元105基于输入的运动图像信号进行运动图像显示。图9A～9D示出基于输入到显示单元105的运动图像数据的显示例子。图9A～9D示出运动图像的每个帧，时间从图9A到图9D。
对于图9A～9D所示的运动图像信号的每个帧，设置了捕获该帧中的图像时图像捕获单元101的转动角(φ(M)，φ(M+1)，…)。此外，作为图像捕获信息在运动图像信号的每个帧中设置对应于每个帧的视角(θ，θ+1)和时间戳(绝对时间或者从启动图像捕获开始经过的时间)。这里，将与图9A～9C中的标记(第一标记)901～903相关的标记信息作为元数据附加到运动图像信号的每个帧中。
在进行再现或者暂停等操作的同时，用户可以使用用户输入单元1101从在显示单元105中显示的运动图像中选择所希望的帧(图片)。图10A示出在显示单元105中显示的所选帧的例子。在图10A所示的所选帧中，例如，显示图9A所示标记901(第一标记)。在该显示屏幕上，用户可以通过使用标记笔1006在屏幕上进行输入，将与第一标记不同的第二标记附加到该帧。
例如，用户可以通过使用标记笔1006接触显示单元105上的一点(图10A中的1004)或者通过使用标记笔1006在屏幕上按希望绘制闭合曲线来指定区域。这里，基于所指定的点或者基于区域1007来设置第二标记。
显示单元105在屏幕上设置有压力传感器等检测对期望目标的接触的检测单元。将检测单元配置为在屏幕上检测标记笔1006等的接触，将在屏幕上检测到的位置信息(例如，用XY坐标系定义屏幕显示时的坐标信息(X，Y))输入到系统控制单元1102中。当使用标记笔1006在显示单元105的屏幕上接触一点在屏幕上指定该点时，将该指定点的坐标信息输出到系统控制单元1102。
在接收到该坐标信息后，系统控制单元1102使用作为指定区域的由具有按照希望所定义的半径并且以指定点作为圆的中心的圆包围的区域，对每个帧计算中心点坐标，将算出的中心点的坐标、半径等的坐标信息输出到信息附加电路107中。算出的中心点的坐标、半径等的坐标信息构成用于显示第二标记的第二标记信息。
在接收到与第二标记相关的第二标记信息后，信息附加电路107以与第一实施例相同的方式将第二标记信息转换为元数据。然后，运动图像数据输出电路108将从第二标记信息转换后的信息附加到与用户选择的作为存储在存储装置109中的编码数据的运动图像数据相对应的每个帧中。
将与第二标记相关的元数据附加到包含指定第二标记的区域的图像的全部帧中。在解码电路1104中对已附加有元数据的编码数据进行解码，当在显示单元105中进行显示时，在附加有元数据的每个帧的显示中，显示第一标记和第二标记。例如，在包含在图10A中指定的区域1007的运动图像数据的每个帧中，在图9E、9F和9G中附加地显示第二标记(904，905，906)。
在图9D所示的帧中，因为不包含与第一标记和第二标记相关的区域，在相应的帧9H中没有显示第一和第二标记。
在以上说明中，说明了通过使用标记笔1006在屏幕上指定一点来进行第二标记点的指定。另一方面，当使用标记笔1006在显示单元105的屏幕上绘制闭合曲线时，系统控制单元1102接收与该闭合区域相关的绘制信息，使用所希望的数学函数，可以计算出由该闭合曲线包围的区域的中心点。系统控制单元1102还可以基于算出的中心点与指定单个点时相同地设置由具有按照希望所定义的半径的圆包围的指定区域。
用户还可以使用标记笔1006之外的所希望的输入单元(例如键盘或者鼠标)作为显示单元105的屏幕显示的输入单元，在屏幕上输入对应于期望位置的坐标(数值)。图10B示出使用键盘或者鼠标等输入单元将鼠标光标1002移动到屏幕上所希望的位置(1005)的状态。在这种状态下，用户可以通过进行点击鼠标右键等操作使得在屏幕上指定一点(图10B中的1005)，将其输入到系统控制单元1102中。
在本实施例中，将标记新附加到所记录的运动图像数据的每个帧中，并且可以使与新附加的标记相关的信息与已记录的标记相关联。要附加的标记的数量不限于两个标记，可以类似地指定多个标记(例如，第三标记、第四标记、……)，并附加标记信息。所显示的标记的形状不限于圆形，例如，可以使用矩形标记。
如上所述，根据本实施例，基于运动图像的各个图像帧和捕获该图像帧时的方向和视角等位置信息，可以使整个运动图像中的特定区域在空间上相关联。
第三实施例接下来是对作为本发明第三实施例的、在由图像捕获单元101捕获的实况视频图像中显示与所记录的包含标记的运动图像数据的图像捕获信息相对应的所记录的标记的配置的说明。
图12是示出根据第三实施例的运动图像处理设备的功能配置的框图。给予与在第一实施例中说明的图1中相同的构成要素相同的附图标记。
运动图像数据获取电路1204从致动器单元103获取图像捕获单元101的图像捕获信息。这里，运动图像数据获取电路1204从致动器单元获取的图像捕获信息是与图像捕获位置信息以及与图像捕获单元101捕获的实况图像有关的视角、转动角等相关的信息。
信息附加电路107将运动图像数据附加到使用用户输入单元106指定的标记信息(例如，图4中的404)中。然后，运动图像数据输出电路108将如图3所示的运动图像数据302输出到存储装置109。
根据本实施例的运动图像数据获取电路1204可以从存储装置109中读取附加有图像捕获信息和标记信息的运动图像数据。运动图像数据获取电路1204基于从致动器单元103获取的图像捕获位置信息和附加到所记录的运动图像数据中的标记信息，来判断图像捕获位置和标记之间的位置关系是否正确使得在实况视频图像中包含所记录的标记。当在实况视频图像中包含所记录的标记时，在该实况视频图像中指定对应于该标记的位置信息。例如，运动图像数据获取电路1204指定所记录的运动图像数据和实况视频图像之间的位置信息(位置关系)，从而对齐其在显示单元105上进行显示时的显示位置坐标。
当运动图像数据获取电路1204判断为在实况视频图像中包含所记录的标记时，信息附加电路207基于指定的标记位置信息附加用于在实况视频图像中显示标记的标记信息。运动图像数据输出电路1208产生附加有标记信息的实况图像的运动图像数据，将产生的数据输出到存储装置109。
当从存储装置109中读取并再现运动图像数据时，运动图像再现电路110可以作为实况视频图像再现带有在新记录的运动图像数据中反映出的标记显示的先前记录的标记显示。
例如，假设从在如图3所示的运动图像数据文件302中记录的标记信息中获取了转动角φ(M)。如果已知实况视频图像中的特定帧的转动角φ和视角θ，则运动图像数据获取电路1204判断是否在该帧的图像捕获范围(φ+θ)内包含作为标记位置信息的转动角φ(M)。如果在图像捕获范围内包含标记，则信息附加电路1207将标记305的标记信息附加到实况视频图像中。
如上所述，根据本实施例，基于运动图像的各个图像帧和捕获该图像帧时的方向和视角等位置信息，可以使整个运动图像中的特定区域在空间上相关联。
其它实施例当然，还可以通过向系统或者设备提供记录有实现上述实施例的功能的软件程序的存储介质来达到本发明的目的。此外，当然，还可以通过系统或者设备的计算机(或者CPU或者MPU)读取并执行存储在存储介质上的程序代码来达到本发明的目的。
在这种情况下，从存储介质中读取的程序代码实现上述实施例的功能，存储有该程序代码的存储介质构成本发明。
作为提供程序代码的存储介质，例如，可以使用软盘、硬盘、光盘、磁光盘、CD-ROM、CD-R、非易失性存储卡、ROM等。
通过计算机执行所读取的程序代码实现上述实施例的功能。此外，当然，本发明还包含如下的情况在计算机上运行的OS(operating system，操作系统)等基于程序代码的指令执行全部或者部分实际处理、该处理实现上述实施例。
虽然参考示例性实施例对本发明进行了说明，但是应当理解，本发明不限于公开的示例性实施例。所附权利要求的范围符合最宽的解释，以覆盖全部这种变形、等同结构和功能。
权利要求
1.一种运动图像处理设备，包括获取单元，用于获取使用图像捕获单元捕获的运动图像数据和与构成所述运动图像数据的每个图像帧相关的所述图像捕获单元的图像捕获信息；以及附加单元，用于与从所述运动图像数据中指定的图像帧相关联地将用于对标记显示进行显示控制的标记信息附加到所述运动图像数据。
2.根据权利要求1所述的运动图像处理设备，其特征在于，还包括再现单元，所述再现单元用于基于所述运动图像数据、所述图像捕获信息和所述标记信息再现进行了标记显示的运动图像。
3.根据权利要求1所述的运动图像处理设备，其特征在于，所述图像捕获信息包括与所述图像捕获单元的转动角、视角和图像捕获时间中的任意一个相关的信息，所述标记信息包括与指定了标记显示的位置时所述图像捕获单元的转动角、视角中的任意一个相关的信息。
4.根据权利要求3所述的运动图像处理设备，其特征在于，当已指定的图像帧的大小改变时，所述再现单元使用基于所述图像捕获信息而改变的标记显示的大小来进行显示。
5.根据权利要求4所述的运动图像处理设备，其特征在于，所述再现单元基于包含在所述图像捕获信息中的视角信息来改变标记显示的大小。
6.一种运动图像处理方法，包括获取步骤，用于获取使用图像捕获单元捕获的运动图像数据和与构成所述运动图像数据的每个图像帧相关的所述图像捕获单元的图像捕获信息；以及附加步骤，用于与从所述运动图像数据中指定的图像帧相关联地将用于对标记显示进行显示控制的标记信息附加到所述运动图像数据。
全文摘要
本发明涉及一种运动图像处理设备和运动图像处理方法。该运动图像处理设备包括获取单元，用于获取使用图像捕获单元捕获的运动图像数据和与构成运动图像数据的每个图像帧相关的图像捕获单元的图像捕获信息；以及附加单元，用于与从运动图像数据中指定的图像帧相关联地将用于对标记显示进行显示控制的标记信息附加到运动图像数据。
文档编号H04N7/26GK101068310SQ20071009740
公开日2007年11月7日 申请日期2007年4月29日 优先权日2006年5月2日
发明者歌川由香, 高久雅彦 申请人:佳能株式会社