专利名称：摄像装置、摄像方法及集成电路的制作方法
技术领域：
本发明涉及一种运动图像的摄像装置、摄像方法及集成电路，特别是涉及一种对摄像之后的运动图像中的特定区域进行记录的摄像装置、摄像方法及集成电路。
背景技术：
在与运动图像的摄影关联的静止画的摄影中，有这样的摄像装置用户只需进行按下一次快门按钮这一动作(以后，称为按下快门动作)，便能够获得构图互不相同的多个静态图像。将这样通过用户的1次快门按下操作，便获得构图互不相同的多个静态图像的摄影称为构图包围曝光摄影(composition bracket photographing)。
作为进行构图包围曝光摄影的以往的摄像装置，例如有专利文献1中记载的以往的摄像装置。图13是表示专利文献1中记载的以往的摄像装置所进行的构图包围曝光摄影的图。专利文献1的摄像装置在用户选择变焦连拍摄影模式时，与被摄体的通过镜头图像(through image) 一起预览显示多个变焦连拍框。然后，专利文献1的摄像装置按照用户对十字键的操作对变焦连拍框的剪切位置的存储进行更新，并在该更新后所存储的剪切位置显示变焦连拍框(20a，20b)。当用户进行快门按下操作时，专利文献1的摄像装置开始静止画摄影处理，将通过该静止画摄影处理而获得的静态图像存储在缓冲存储器(Buffer memory)中。然后，专利文献1的摄像装置通过剪切处理，从该所获得的静态图像中生成变焦连射框20a内的静态图像及变焦连射框20b内的静态图像，并分别存储在缓冲存储器中。 之后，专利文献1的摄像装置将通过撮影处理而获得的静态图像及所生成的静态图像分别存储在闪存(flash memory)中。此外，专利文献1的摄像装置将通过上述处理而获得的多个静态图像作为一组图像保存。像这样，专利文献1的摄像装置通过用户的1次快门按下动作，获得构图互不相同的多个静态图像。
此外，作为从原图像中剪切部分图像并进行编码的运动图像摄像装置，例如有专利文献2中记载的以往的运动图像摄像装置。图14是表示专利文献2中记载的以往的摄像装置的处理电路结构的方框图。专利文献2的摄像装置用基本图像编码前处理部22对基本图像进行块分割，并按照参考块记述表中所记述的规则，对每块求出含有最好的运动向量及正交变换系数的前处理数据并积累下来。部分图像位置输入部23输入从基本图像中剪切的部分图像的初始位置及其运动速度。部分原图像生成部M决定部分图像的尺寸及其位置。此外，将该位置决定为以块或宏块为单位离开基本图像的基准位置。部分图像编码部25通过从基本图像编码前处理部22中取得与部分图像有关的前处理数据，对其进行量化及可变长度编码之后进行传输，来减轻编码处理的负载。
专利文献1 日本专利文献特开2006-211489号公报 专利文献2 日本专利文献特开2005-101720号公报 如上所述，专利文献1的技术方案在用户进行1次快门按下动作时，取得多个静态图像。这里，考虑到将专利文献1的技术方案适用于运动图像摄像。此时，是在不考虑构成运动图像的多个静态图像的相互关系的情况下，简单地取得多个动态图像。因此，运动图像的数据量非常多。其结果是，在将专利文献1的技术方案适用于运动图像时，需要极大的记录容量，并且在经由网络等实时地发送所取得的运动图像时，需要较高的传输率。
专利文献2的技术方案是在剪切原运动图像中的部分图像时，减轻编码的处理负载，而不是降低所剪切的部分图像的数据量。由此可知，在通过专利文献2的技术方案剪切多个区域时，需要极大的记录容量，并且，在经由网络等实时地发送所取得的运动图像时， 需要较高的传输率。
发明内容
故而，为了解决上述课题，本发明的目的在于提供一种能够削减在向记录部记录通过剪切运动图像中的多个区域而成的记录运动图像时所需的记录容量，并且，能够降低传输记录运动图像所需的传输率的运动图像的摄像装置、摄像方法及集成电路。
本发明面向于运动图像摄像装置。为了达到上述目的，本发明的运动图像摄像装置包括摄像部和图像处理部，摄像部拍摄被摄体，取得由多个帧构成的摄像运动图像，图像处理部以每帧对摄像运动图像进行加工，制作记录运动图像，图像处理部包括被摄体指定单元、被摄体剪切图像设定单元、被摄体追踪单元、第1剪切图像设定单元、第2剪切图像设定单元、第1数据量计算单元、第2数据量计算单元、比较单元以及选择单元，该被摄体指定单元按照用户的指示来指定摄像运动图像中的多个被摄体像，该被摄体剪切图像设定单元设定多个被摄体剪切图像，该多个被摄体剪切图像是从摄像运动图像中剪切由被摄体指定单元所指定的多个被摄体像的每一个被摄体像而得到的图像，该被摄体追踪单元追踪由被摄体指定单元所指定的多个被摄体像，并追随该多个被摄体像以每帧为单位使多个被摄体剪切图像移动，该第1剪切图像设定单元对于每帧将多个被摄体剪切图像设定为第1剪切图像，该第2剪切图像设定单元对于每帧将围绕多个被摄体剪切图像的一个图像设定为第 2剪切图像，该第1数据量计算单元对于每帧计算第1剪切图像的数据量，该第2数据量计算单元对于每帧计算第2剪切图像的数据量，该比较单元对于每帧比较第1剪切图像的数据量与第2剪切图像的数据量，该选择单元对于每帧将第1剪切图像和第2剪切图像中的、 在比较单元中判断为数据量较小的图像选择为记录运动图像。
因此，本发明的运动图像摄像装置能够有效地削减记录运动图像的数据量。
此外，本发明的运动图像摄像装置还可以包括对记录运动图像进行记录的记录部。
此时，本发明的运动图像摄像装置能够削减记录部的记录容量。
此外，图像处理部也可以在制作记录运动图像的同时，将该记录运动图像中制作完的部分发送给其它设备。
此时，本发明的运动图像摄像装置能够在经由网络等对记录运动图像进行传输等时，降低数据的传输率。
此外，被摄体剪切图像设定单元所设定的多个被摄体剪切图像也可以都是方形， 第2剪切图像设定单元所设定的第2剪切图像也可以是方形。
此外，第2剪切图像设定单元所设定的第2剪切图像最好不包含不属于多个被摄体剪切图像中的任何一个的区域。
因此，本发明的运动图像摄像装置能够更有效地削减记录运动图像的数据量。
此外，被摄体剪切图像设定单元所设定的多个被摄体剪切图像也可以都是方形， 选择单元也可以在选择了第1剪切图像时，进一步对多个被摄体剪切图像中的至少一个进行扩大或缩小，并将多个被摄体剪切图像排列加工为一个方形第1剪切图像。
因此，能够提高用户观赏第1剪切图像时的观赏度。
此外，上述的图像处理部所包括的各个单元实现构成图2、图8及图11的流程图 (之后将详述)的以下步骤的处理。被摄体指定单元实现步骤S102的处理。被摄体剪切图像设定单元实现步骤S103的处理。被摄体追踪单元实现步骤S104的处理。第1剪切图像设定单元实现步骤S106的处理。第2剪切图像设定单元实现步骤S108及S208的处理。 第1数据量计算单元实现步骤S107的处理。第2数据量计算单元实现步骤S109的处理。 比较单元实现步骤SllO及S210的处理。选择单元实现步骤Sill、S112及S312的处理。
此外，本发明也涉及一种运动图像摄像方法。为了达到上述目的，本发明的运动图像摄像方法包括以下步骤摄像步骤，拍摄被摄体，并取得由多个帧构成的摄像运动图像； 以及图像处理步骤，以每帧为单位对摄像运动图像进行加工，制作记录运动图像，图像处理步骤包括以下步骤被摄体指定步骤，按照用户的指示，来指定摄像运动图像中的多个被摄体像；被摄体剪切图像设定步骤，设定多个被摄体剪切图像，该多个被摄体剪切图像是从摄像运动图像中剪切在被摄体指定步骤中所指定的多个被摄体像的每一个被摄体像而得到的图像；被摄体追踪步骤，追踪在被摄体指定步骤中所指定的多个被摄体像，并追随该多个被摄体像以每帧为单位使多个被摄体剪切图像移动；第1剪切图像设定步骤，对于每帧将多个被摄体剪切图像设定为第1剪切图像；第2剪切图像设定步骤，对于每帧将围绕多个被摄体剪切图像的一个图像设定为第2剪切图像；第1数据量计算步骤，对于每帧计算第1剪切图像的数据量；第2数据量计算步骤，对于每帧计算第2剪切图像的数据量；比较步骤， 对于每帧比较第1剪切图像的数据量与第2剪切图像的数据量；以及选择步骤，对于每帧将第1剪切图像和第2剪切图像中的、在比较步骤中判断为数据量较小的图像选择为记录运动图像。
此外，本发明也涉及装入运动图像摄像装置的集成电路，该运动图像摄像装置拍摄被摄体，对所取得的摄像运动图像进行加工，制作记录运动图像。为了达到上述目的，本发明的集成电路执行作为信号处理/AD转换电路、修正电路、图像处理部以及控制部的功能，该信号处理/AD转换电路对拍摄被摄体的CXD (Charge Coupled Device 电荷耦合器件)的输出信号进行噪声降低处理及增益控制，由模拟信号转换成数字信号，该修正电路对信号处理/AD转换电路的输出信号进行图像修正处理，来获得摄像运动图像，该图像处理部按照用户的指示来指定在修正电路中所获得的摄像运动图像中的多个被摄体像，设定从该摄像运动图像中剪切该多个被摄体像的每一个被摄体像而得到的多个被摄体剪切图像，并追踪该多个被摄体像，追随该多个被摄体像以每帧为单位使该多个被摄体剪切图像移动之后，对于每帧将该多个被摄体剪切图像设定为第1剪切图像，将围绕该多个被摄体剪切图像的一个图像设定为第2剪切图像，计算该第1剪切图像的数据量及该第2剪切图像的数据量并进行比较，将数据量较小的一方的图像选择为记录运动图像，该控制部至少控制信号处理/AD转换电路、修正电路及图像处理部。
(发明的效果) 如上所述，根据本发明的摄像装置、摄像方法及集成电路，能够削减在向记录部记录通过剪切运动图像中的多个区域而成的记录运动图像时所需的记录容量，并且，能够降低传输记录运动图像所需的传输率。
图1是表示本发明的第一实施方式所涉及的摄像装置100的结构例的方框图。
图2是用于说明到拍摄被摄体，将运动图像记录在记录部中为止本发明的摄像装置100所进行的特征处理的流程图。
图3是表示在图2的步骤101中被拍摄的实时运动图像40的一个例子的图。
图4是用于说明图3所示的对象帧40中没有图像重叠部分46时的图。
图5是用于说明图3所示的对象帧40中存在有图像重叠部分46时的图。
图6是用于说明图3所示的对象帧40中存在有图像重叠部分46时的图。
图7是用于说明在两个人的被摄体像44及45互相错过时是否将第1及第2剪切图像中的任一个作为记录运动图像记录下来的图。
图8是用于说明到拍摄被摄体，将运动图像记录在记录部中为止本发明的摄像装置200所进行的特征处理的流程图。
图9是用于说明在图8的步骤S208中DSP14-2所设定的第2剪切图像的图。
图10是用于说明在图8的步骤S208中DSP14-2所设定的第2剪切图像的图。
图11是到拍摄被摄体，将运动图像记录在记录部中为止本发明的摄像装置300所进行的特征处理的流程图。
图12是用于说明在图11的步骤S310中DSP14-3所进行的加工的图。
图13是表示以往的摄像装置所进行的构图包围曝光摄影的图。
图14是表示以往的摄像装置的处理电路结构的方框图。
(附图标记说明) 1 镜头 2CCD (Charge Coupled Device 电荷耦合器件) 3信号处理/AD转换电路 4修正电路 5SDRAM(Synchronous Dynamic Random Access Memory :同步动态随机存取存储器) 6非易失存储器 7存储卡接口 8存储卡 9操作部 10显示部 11定时发生器 12镜头驱动部 13CPU(Central Processing Unit:中央处理器) 14、14-2、14-3DSP (Digital Signal Processing 数字信号处理) I5 总线 16网络接口 20a、20b变焦连拍框 21基本图像输入部 22基本图像编码前处理部 23部分图像位置输入部 M部分原图像生成部 25部分图像编码部 40实时运动图像(或对象帧) 41、42、43被摄体剪切图像 44、45被摄体像 46图像重叠部分 47 49扩展区域 100、200、300 摄像装置
具体实施例方式以下，参照附图对本发明的各个实施方式进行说明。
(第一实施方式) 图1是表示第一实施方式所涉及的摄像装置100的结构例的方框图。如图1所示，摄像装置100具备镜头1、CCD (Charge Coupled Device) 2、信号处理/AD转换电路3、 修正电路 4、SDRAM (Synchronous DynamicRandom Access Memory) 5、非易失存储器 6、存储卡接口 7、存储卡8、操作部9、显示部10、定时发生器11、镜头驱动部12、CPU13、DSP14以及网络接口 16。这里，总线15连接上述结构要素中需要相互连接的结构要素。此外，由于存储卡8能够从摄像装置100上拆卸下来，因此也可以认为摄像装置100中不含有存储卡8。 此外，也可以将非易失存储器6、存储卡接口 7及存储卡8总称为记录部。此外，也可以将镜头1、(XD2、信号处理/AD转换电路3、修正电路4、定时发生器11及镜头驱动部12总称为摄像部。此外，也可以将CPU13称为控制部。此外，也可以将DSP14称为图像处理部。此外，也可以将SDRAM5称为暂时存储部。
首先，参照图1对摄像装置100的动作进行简单说明。镜头1使被摄体(未图示) 的像(以下，称为被摄体像)成像于CCD2。CCD2通过将作为光信号成像的被摄体像转换为电信号，来拍摄被摄体。信号处理/AD转换电路3对从CCD2输出的电信号进行噪声降低处理及增益控制，将模拟信号转换为数字信号。修正电路4对从信号处理/AD转换电路3输出的数字信号进行白平衡(white balance)、灰度校正(gamma correction)、彩色校正等图像修正处理。通过上述处理，获得被摄体的实时的运动图像(以下称为实时运动图像)的信号。SDRAM5依次以每帧为单位暂时存储实时运动图像的信号。这里，帧是构成运动图像的静止画。可知，由于实时运动图像由多个帧构成，所以也可以说SDRAM5暂时存储实时运动图像。DSP14对存储在SDRAM5中的实时运动图像进行之后将要详述的特征处理，将其记录在非易失存储器6中，或经由存储卡接口 7记录在存储卡8中，或经由网络接口 16通过网络(未图示)等发送给其他设备(未图示)。定时发生器11对(XD2向信号处理/AD转换电路3输出电信号的定时进行控制。镜头驱动部12通过控制镜头1的位置，来实现摄像装置100的聚焦动作及变焦动作。显示部10显示暂时存储在SDRAM5中的实时运动图像。 此外，显示部10显示记录在存储卡8、非易失存储器6或其他设备中的运动图像。操作部9 是摄像开始按钮、录像按钮及光标按钮等，被输入来自用户的指示。此外，CPU13控制上述的摄像装置100所进行的一连串动作。
图2是用于说明到拍摄被摄体，将运动图像记录在记录部中为止摄像装置100所进行的特征处理的流程图。以下，参照图2对摄像装置100的动作进行说明。
在用户通过对操作部9进行操作开始摄像动作时，首先，在步骤SlOO中，SDRAM5依次以每帧为单位暂时存储被拍摄的实时运动图像，显示部10显示SDRAM5所存储的实时运动图像。
其次，在步骤SlOl中，用户通过一边观看显示部10所显示的实时运动图像，一边对摄像装置100的摄像方向进行调节，来使摄像装置100将期望记录成运动图像的多个被摄体像作为实时运动图像来拍摄。此外，被摄体例如是人物、动物、机动车、植物、建筑物等。
图3是表示在图2的步骤101中所拍摄的实时运动图像40的一个例子的图。以下，用图3进行说明。
其次，在步骤S102中，DSP14到得到用户指示为止处于待机状态，按照用户指示， 来指定在步骤SlOl中所拍摄的实时运动图像40中的多个被摄体像44及45。此时，用户一边看显示部10所显示的实时运动图像40，一边用操作部9来进行指定多个被摄体像44及 45的指示。在图3中，作为一个例子，指定作为人像的被摄体像44以及作为人像的被摄体像45。
其次，在步骤S103中，DSP14将包含所指定的被摄体像44的被摄体剪切图像41以及包含所指定的被摄体像45的被摄体剪切图像42设定在实时运动图像40中。这里，DSP14 通过对实时运动图像40附加位置信息，来设定被摄体剪切图像41及42。
此外，被摄体剪切图像41及42既可以分别包含所有被摄体像44及45，也可以包含一部分(面部等)。此外，被摄体剪切图像41及42既可以用实时运动图像40中以用户所指定的点为中心的方形来设定，也可以用其他公知的方法来设定。此外，被摄体剪切图像 41及42也可以是多角形、椭圆形、圆形以及任意形状等其他形状。此外，多个被摄体剪切图像41及42的大小、形状也可以互不相同。此外，也可以指定3个以上的被摄体像，并且分别设定3个以上的被摄体剪切图像。
其次，在步骤S104中，DSP14识别在步骤S102中指定的多个被摄体像44及45，并追踪该多个被摄体像44及45。然后，DSP14追随多个被摄体像44及45的运动来使被摄体剪切图像41及42的位置在实时运动图像40内移动，以使被摄体剪切图像41始终包含被摄体像44，并使被摄体剪切图像42始终包含被摄体像45。此外，为了识别被摄体像44及 45并进行追踪，例如，可以采用模式匹配等公知的技术。
上述的步骤SlOO S104是录像准备动作。以下，对作为录像动作的步骤S105 S115进行说明。
在步骤S105中，DSP14到检测出用户按下录像按钮为止处于待机状态，在检测出录像按钮被按下时，处理进入步骤S106。
这里，下述步骤S106 Sl 15的动作是对构成实时运动图像40的每帧进行的。具体而言，对构成实时运动图像40的多个帧(静止画)的每一张进行步骤S106 S115的处理。于是，在以下的步骤S106 S115的说明中，将图3所示的实时运动图像40看作处理对象的帧40 (以下，称为对象帧40)，用图3进行说明。
在步骤S106中，DSP14从在步骤SlOO中暂时存储在SDRAM5中的对象帧40中分别提取被摄体剪切图像41及42，并将其设定为第1剪切图像。此时，DSP14使用附加在对象帧40的被摄体剪切图像41及42的位置信息。
其次，在步骤S107中，DSP14计算在步骤S106中设定的第1剪切图像的数据量。 例如，DSP14通过计算被摄体剪切图像41的面积及被摄体剪切图像42的面积并进行合计， 来计算第1剪切图像的数据量。此外，例如，被摄体剪切图像41的面积是可以用构成被摄体剪切图像41的像素数来计算的。被摄体剪切图像42的面积也可以同样计算。
其次，在步骤S108中，DSP14提取作为围绕被摄体剪切图像41及42的1个图像的方形被摄体剪切图像43，并将其设定为第2剪切图像。
其次，在步骤S109中，DSP14计算在步骤S108中所设定的第2剪切图像的数据量。 例如，DSP14通过计算第2剪切图像的面积，来计算第2剪切图像的数据量。此外，例如，第 2剪切图像的面积是可以用构成第2剪切图像的像素数来计算的。此外，第2剪切图像也可以是多角形、椭圆形、圆形以及任意形状等其他形状。这里，第2剪切图像(被摄体剪切图像43)包含扩展区域47及48，该扩展区域47及48是不属于被摄体剪切图像41及42中的任一图像的区域。此外，被摄体剪切图像41与被摄体剪切图像42重叠的部分被称为图像重叠部分46。
图4是用于说明图3所示的对象帧40中不存在图像重叠部分46时的图。此夕卜， 图4的对象帧40包含扩展区域49。图5及图6是用于说明图3所示的对象帧40中存在图像重叠部分46时的图。以下，用图3 图6对步骤SllO进行说明。
在步骤SllO中，DSP14判断在步骤S107中算出的第1剪切图像的数据量是否大于步骤S109中算出的第2剪切图像的数据量。例如，能够通过比较第1剪切图像的面积与第2剪切图像的面积，来进行步骤SllO中的判断。具体而言，如图6所示，在第1剪切图像的面积(被摄体剪切图像41的面积与被摄体剪切图像42的面积的总和)大于第2剪切图像的面积(被摄体剪切图像43的面积)时，判断为第1剪切图像的数据量大于第2剪切图像的数据量，处理进入步骤S111。另一方面，如图4及图5所示，在第1剪切图像的面积小于第2剪切图像的面积时，判断为第1剪切图像的数据量小于第2剪切图像的数据量，处理进入步骤S112。此外，在步骤SllO中，在判断出第1剪切图像的面积与第2剪切图像的面积相同时，例如，可以使处理进入预先设定的步骤。
在步骤Slll中，DSP14选择在步骤S108中所设定的第2剪切图像。换句话说，在步骤Slll中，DSP14选择被摄体剪切图像43。然后，处理进入步骤Sl 13。
在步骤S112中，DSP14选择在步骤S106中所设定的第1剪切图像。换句话说，在步骤S112中，DSP14选择被摄体剪切图像41及被摄体剪切图像42。然后，处理进入步骤 S113。
在步骤Sl 13中，DSP14将步骤Slll或步骤Sl 12中所选择的剪切图像作为构成应该记录下来的运动图像(以下，称为记录运动图像)的帧记录在非易失存储器6或存储卡 8中。更具体而言，在处理从步骤Slll进入步骤S113时，DSP14将所选择的第2剪切图像 (被摄体剪切图像4 作为构成记录运动图像的1个帧记录在非易失存储器6或存储卡8中。此外，在处理从步骤S112进入步骤S113时，DSP14将所选择的第1剪切图像(被摄体剪切图像41及42)作为构成记录运动图像的1个帧记录在非易失存储器6或存储卡8中。 这里，DSP14也可以将被摄体剪切图像41及42分别作为切片(slice)处理，既可以将其作为1个文件来记录，也可以作为不同的文件分别记录下来。在将被摄体剪切图像41及42 作为不同的文件分别记录下来时，最好使各个文件相关联。这样一来，在以后再现记录运动图像时，能够较容易地使被摄体像44及45的运动同步。此外，将第1及第2剪切图像记录在非易失存储器6或存储卡8中的哪一个，既可以由用户事先决定，也可以作为初始设定来事先决定。
其次，在步骤5114中，05 14在50肌115中所存储的下一个对象帧40中识别出在步骤S102中所指定的多个被摄体像44及45，并追踪该多个被摄体像44及45。然后，DSP14 在该下一个对象帧40中追随多个被摄体像44及45的运动来移动被摄体剪切图像41及42 的位置，以使被摄体剪切图像41始终包含被摄体像44，并使被摄体剪切图像42始终包含被摄体像45。
其次，在步骤S115中，DSP14检测用户是否解除了录像按钮。在没有检测出录像按钮被解除时，继续进行录像动作，处理返回步骤S106。在检测出录像按钮被解除时，录像动作结束，摄像结束。
图7是用于说明在两个人的被摄体像44及45互相错过时是否将第1及第2剪切图像中的任一个作为记录运动图像记录下来的图。在图7中，(a) (e)分别是对象帧40， 各个对象帧40沿着时间推移，按照(a)、(b)、(c)、(d)及(e)的顺序被进行处理。首先，判断出在(a)及(b)的对象帧40中第1剪切图像的数据量并不大于第2剪切图像的数据量 (步骤Sl 10)，选择第1剪切图像(步骤Sl 12)，并将该第1剪切图像作为记录运动图像来记录(步骤S113)。其次，判断出在(c)的对象帧40中第1剪切图像的数据量大于第2剪切图像的数据量(步骤S110)，选择第2剪切图像(步骤S111)，并将该第2剪切图像作为记录运动图像来记录(步骤S113)。其次，判断出在(d)及(e)的对象帧40中，第1剪切图像的数据量并不大于第2剪切图像的数据量(步骤S110)，选择第1剪切图像(步骤S112)，将该第1剪切图像作为记录运动图像来记录(步骤S113)。像这样，在图7的例子中，在(a)、 (b)、(d)、(e)的对象帧40中选择且记录第1剪切图像，在(c)的对象帧40中选择且记录第2剪切图像。其结果是，对记录部始终进行较小数据量的记录。
如上所述，第一实施方式所涉及的摄像装置100在构成实时运动图像的帧40中指定多个被摄体像44及45，设定包含各个被摄体像44及45的被摄体剪切图像41及42，追踪多个被摄体像44及45来移动被摄体剪切图像41及42。然后，在录像动作中，对于每个对象帧40比较多个被摄体剪切图像41及42的合计数据量(第1剪切图像的数据量)与围绕多个被摄体剪切图像41及42的1个被摄体剪切图像43的数据量(第2剪切图像的数据量)。然后，在第1剪切图像的数据量大于第2剪切图像的数据量时，将第2剪切数据量记录在作为记录部的存储卡8等中。在第1剪切图像的数据量小于第2剪切图像的数据量时，将第1剪切图像记录在作为记录部的存储卡8等中。像这样，第一实施方式所涉及的摄像装置100对记录部始终进行较小数据量的记录。
由此，第一实施方式所涉及的摄像装置100能够削减对实时运动图像进行加工且将其作为记录运动图像来记录在记录部中时所需的记录容量。其结果是，第一实施方式所涉及的摄像装置100与以往的摄像装置相比，能够削减记录部的容量。此外，由于第一实施方式所涉及的摄像装置100在经由网络接口 16将记录在记录部中的记录运动图像发送给其他设备时，能够削减记录运动图像的数据量，所以能够降低数据的传输率。
并且，由于第一实施方式所涉及的摄像装置100在经由网络等将记录运动图像实时地发送给其他设备时(在制作记录运动图像的同时，将记录运动图像中已制作完的部分发送给其他设备时)，能够削减记录运动图像的数据量，所以能够降低数据的传输率。此时， 在图2的步骤S113中，DSP14用网络接口 16经由网络等将文件化的图像发送给其他设备。
此外，在图2的步骤S113中，图像的数据既可以被压缩后再记录，也可以不被压缩而记录。作为压缩算法，最好是以切片(slice)为单位的压缩方法(H. 264/AVC规格)。
此外，也可以在图2中，在步骤S106及S107的处理之前进行步骤S108及S109的处理。
此外，以上，在图2的步骤SllO中，DSP14直接比较了第1剪切图像的数据量与第2 剪切图像的数据量。然而，在图2的步骤SllO中，例如，DSP14也可以在对第1剪切图像的数据量或第2剪切图像的数据量中的一个附加规定值后，再比较数据量。也就是说，DSP14 在比较数据量时，也可以进行加权(assign weight)。由此，在图2的步骤SllO中，可以设定为使第1剪切图像较容易地记录在记录部中，或使第2剪切图像较容易地记录在记录部中。
此外，DSP14也可以通过在图2的步骤SllO中，比较图3所示的图像重叠部分46 的面积和扩展区域47及48的总和面积，来比较第1剪切图像的数据量和第2剪切图像的数据量。具体而言，也可以在图像重叠部分46的面积大于扩展区域47及48的总和面积时， 将第2剪切图像记录在记录部中，在图像重叠部分46的面积小于扩展区域47及48的总和面积时将第1剪切图像记录在记录部中。此时，DSP14不进行图2的步骤S107的处理，并且，通过进行计算图像重叠部分46的面积和扩展区域47及48的总和面积的处理，来代替步骤S109的处理。
此外，以上说明了对实时运动图像进行图像处理的情况。然而，摄像装置100也可以用上述方法来对事先记录在记录部或其他设备中的运动图像进行图像处理。因此，摄像装置100能够以更少的存储容量再次记录事先记录的运动图像，并且，能够以更低的传输率经由网络等进行传输。
(第二实施方式) 第二实施方式所涉及的摄像装置200与第一实施方式所涉及的摄像装置100(参照图1)相比，不同之处仅在于DSP14的动作。因此，沿用图1对第二实施方式进行说明。此外，为了便于说明，在第二实施方式中，将图1中的DSP14作为DSP14-2进行说明。此外，关于第一实施方式中说明过的构成要素，对其说明加以省略。
图8是用于说明到拍摄被摄体，将运动图像记录在记录部中为止摄像装置200所进行的特征处理的流程图。图8的流程图是对于说明第一实施方式的摄像装置100的处理的图2中的流程图，将步骤S108置换为步骤S208，步骤SllO置换为步骤S210的流程图。 此外，在图8中，对与图2相同的步骤附上相同的参照符号，并对其说明加以省略。图9及图10是用于说明在图8的步骤S208中，DSP14-2所设定的第2剪切图像的图。图9表示存在有图像重叠部分46的情况。图10表示没有图像重叠部分46的情况。
以下，参照图8 图10，对摄像装置200的动作进行说明。在步骤S208中，DSP14-2 提取作为包含被摄体剪切图像41及42的1个图像的被摄体剪切图像43，并将其设定为第 2剪切图像。在图10中，由于被摄体剪切图像41与被摄体剪切图像42分离，所以第2剪切图像被设定为用没有面积的线将被摄体剪切图像41与被摄体剪切图像42连接而成的1个图像。如图9及图10所示，步骤S208中所设定的第2剪切图像不包含第一实施方式中说明过的扩展区域47 49 (参照图3 图7)。
在步骤S210中，DSP14-2判断第1剪切图像的数据量是否大于第2剪切图像的数据量。以下，用例子对步骤S210的处理进行说明。
例如，步骤S210中的判断是通过比较第1剪切图像的面积与第2剪切图像的面积来进行的。具体而言，如图9所示，当第1剪切图像的面积(被摄体剪切图像41的面积与被摄体剪切图像42的面积的总和)大于第2剪切图像的面积(被摄体剪切图像43的面积)时，DSP14-2判断为第1剪切图像的数据量大于第2剪切图像的数据量，处理进入步骤S111。另一方面，如图10所示，当第1剪切图像的面积与第2剪切图像的面积相同时， DSP14-2认为第1剪切图像的数据量小于第2剪切图像的数据量，处理进入步骤S112。
此外，例如，步骤S210中的判断取决于是否存在图9所示的图像重叠部分46。具体而言，当如图9所示存在图像重叠部分46时，DSP14-2判断为第1剪切图像的数据量大于第2剪切图像的数据量，处理进入步骤S111。另一方面，当如图10所示不存在图像重叠部分46时(当第1剪切图像的数据量与第2剪切图像的数据量相同时)，DSP14-2认为第1 剪切图像的数据量小于第2剪切图像的数据量，处理进入步骤S112。此外，此时，步骤S107 及S109的处理就不需要了。
如上所述，在第二实施方式所涉及的摄像装置200的处理中，第2剪切图像不包含扩展区域(参照图3 图7)。因此，第二实施方式的摄像装置200在图8的步骤S113的处理中，不将扩展区域记录在记录部中。其结果是，第二实施方式的摄像装置200比第一实施方式的摄像装置100更能削减记录部的容量。此外，由于第二实施方式所涉及的摄像装置200在经由网络接口 16将记录在记录部中的记录运动图像发送给其他设备时，比第一实施方式所涉及的摄像装置100更能削减记录运动图像的数据量，所以更能降低数据的传输率。
此外，由于第二实施方式所涉及的摄像装置200在经由网络等将记录运动图像实时地发送给其他设备时(在制作记录运动图像的同时，将记录运动图像中已制作完的部分发送给其他设备时)，比第一实施方式所涉及的摄像装置100更能削减记录运动图像的数据量，所以更能降低数据的传输率。此时，在图8的步骤S113中，DSP14用网络接口 16经由网络等将文件化的图像发送给其他设备。
此外，在第二实施方式中，摄像装置200通过进行图8的步骤210的处理，来记录第1或第2剪切图像。然而，由于第2剪切图像的数据量始终在第1剪切图像的数据量以下(参照图9及图10)，因此摄像装置200也可以在图8的步骤S113中始终记录第2剪切图像。此时，图8的步骤S106、S107及S109 Sl 12就不需要了，处理变得简洁。
此外，在图8的步骤S113中，图像的数据既可以被压缩后再记录，也可以不被压缩而记录。作为压缩算法，最好是以切片(slice)为单位的压缩方法(H. 264/AVC规格)。
此外，也可以在图8中，步骤S106及S107的处理之前进行步骤S208及S109的处理。
此外，在图8的步骤S210中，DSP14-2也可以与第一实施方式的图2的步骤SllO 相同，在比较数据量时进行加权。
此外，以上说明了对实时运动图像进行图像处理的情况。然而，第二实施方式所涉及的摄像装置200也可以用上述方法来对事先记录在记录部或其他设备中的运动图像进行图像处理。这样一来，第二实施方式所涉及的摄像装置200以比第一实施方式所涉及的摄像装置100更少的存储容量再次记录事先记录的运动图像，并且，能够以更低的传输率经由网络等进行传输。
(第三实施方式) 第三实施方式所涉及的摄像装置300与第一实施方式所涉及的摄像装置100(参照图1)相比，不同之处仅在于DSP14的动作。因此，沿用图1对第三实施方式进行说明。此外，为了便于说明，在第三实施方式中，将图1中的DSP14作为DSP14-3进行说明。此外，关于第一实施方式中说明过的构成要素，对其说明加以省略。
图11是用于说明到拍摄被摄体，将运动图像记录在记录部中为止摄像装置300所进行的特征处理的流程图。图11的流程图是对于用于说明第一实施方式的摄像装置100 所进行的处理的图2中的流程图，在步骤S112之后追加了步骤S310的流程图。此外，在图 11中，对与图2相同的步骤附上相同的参照符号，并对其说明加以省略。
在步骤S310中，DSP14-3对在步骤S112中选择的第1剪切图像进行加工。图12 是用于说明在步骤S310中DSP14-3所进行的加工的图。图12(a)表示在步骤S112中选择的第1剪切图像，图12(b) (c)分别表示在步骤S310中加工之后的第1剪切图像。以下， 参照图11及图12，对摄像装置300的动作进行说明。
如图12(a)所示，步骤S112中所选择的第1剪切图像是被摄体剪切图像41与被摄体剪切图像42分离状态下的第1剪切图像。在步骤S310中，DSP14-3对被摄体剪切图像41与被摄体剪切图像42进行加工，以成为一个方形图像。具体而言，例如，如图12(b) 所示，DSP14-3扩大被摄体剪切图像41，将其与被摄体剪切图像42排列而成为一个方形图像。此外，例如，如图12(c)所示，DSP14-3缩小被摄体剪切图像42，将其与被摄体剪切图像41排列而成为一个方形图像。此外，例如，如图12(d)所示，DSP14-3扩大被摄体剪切图像41的剪切范围，将其与被摄体剪切图像42排列而成为一个方形图像。这样，在步骤S310 中，DSP14-3对步骤S112中所选择的第1剪切图像进行加工，使其为一个方形的第1剪切图像。然后，在步骤S113中，DSP14-3对一个方形的第1剪切图像进行文件化，记录在记录部中(参照图1)。
能够通过进行上述处理，来在用户将记录在记录部中的第1剪切图像显示在显示器上进行观赏时，使第1剪切图像更加美观。
这里，在步骤S310中，DSP14-3也可以将加工后的第1剪切图像再加工为适合用户所使用的观赏方法的形状。具体而言，DSP14-3在步骤S310中，既可以将加工后的第1剪切图像剪切为例如宽屏幕显示器的纵横尺寸比，也可以剪切为例如打印纸的规格尺寸(A4尺寸等)的纵横尺寸比。这样一来，能够在用户观赏记录在记录部中的第1剪切图像时，使第 1剪切图像更加美观。
如上所述，第三实施方式所涉及的摄像装置300在将第2剪切图像记录在记录部中时，能够与第一实施方式所涉及的摄像装置100 —样，削减记录容量。此外，第三实施方式的摄像装置300在将第1剪切图像的数据量缩小并记录在记录装置中时(参照图 12(c))，比第一实施方式的摄像装置100更能够削减记录部。此外，由于第三实施方式所涉及的摄像装置300能够在经由网络接口 16将记录在记录部中的记录运动图像发送给其它设备时，削减记录运动图像的数据量，因此能够削减数据传输所需的频带，或降低数据传输时间。并且，第三实施方式的摄像装置300在用户观赏第1剪切图像时，能够使第1剪切图像更加美观。
并且，由于第三实施方式所涉及的摄像装置300在经由网络等将记录运动图像实时地发送给其他设备时(在制作记录运动图像的同时，将记录运动图像中已制作完的部分发送给其他设备时)，能够削减记录运动图像的数据量，所以更能降低数据的传输率。此时， 在图11的步骤S113中，DSP14-3用网络接口 16经由网络等将文件化的图像发送给其他设备。
此外，以上，以在用于说明第一实施方式的图2的流程图上追加步骤S310的情况为例进行了说明。也可以在用于说明第二实施方式的图8的流程图中的步骤S112之后，追加步骤S310。此时，由于如在第二实施方式中说明过地那样，不将扩展区域记录在记录部中，所以更能削减记录部的容量。
此外，在图11的步骤S113中，图像的数据既可以被压缩后再记录，也可以不被压缩而记录。作为压缩算法，最好是以切片(slice)为单位的压缩方法(H. 264/AVC规格)。
此外，也可以在图11中，在步骤S106及S107之前进行步骤S108及S109。
此外，在图11的步骤SllO中，DSP14-3也可以与第一实施方式的图2的步骤SllO 相同，在比较数据量时进行加权。
此外，以上说明了对实时运动图像进行图像处理的情况。然而，摄像装置300也可以用上述方法来对事先记录在记录部或其他设备中的运动图像进行图像处理。因此，摄像装置300能够以更少的存储容量再次记录事先记录的运动图像，并且，能够降低数据的传输率。
此外，各个实施方式中说明过的摄像装置(参照图1)所具备的信号处理/AD转换电路3、修正电路4、CPU13、DSP14(14-2，14-3)以及定时发生器11 一般通过作为集成电路的LSI来实现。既可以使它们分别为1个芯片，也可以使它们为包含全部或一部分的1 个芯片。在此使它为LSI，根据集成度的不同，有时会被称为IC、系统LSI、超级LSI及特大 LSI。此外，随着集成技术的进步，其它构成要素也可以被集成电路化。此外，集成电路化的方法并不局限于LSI，也可以利用专用电路或通用处理器来实现。此外，也可以采用能在制造LSI之后进行编程的FPGA(Field Programmable GateArray 元件可编程逻辑闸阵列)和 /或能够对LSI内部的电路单元(circuit cell)的连接、设定进行再构成的可重构处理器。 并且，如果因半导体技术的进步或派生出来的其它技术而出现代替LSI的集成电路化技术的话，当然也可以利用该技术来进行功能块的集成化。生物工程技术等就有可能适用。
工业实用性 本发明能够应用于摄像装置等，尤其对于在运动图像的摄像装置等中，削减从摄像图像中剪切出的多个被摄体像的记录容量，并且，降低将该多个被摄体像经由网络进行数据传输时的传输率的情况等尤其有用。
权利要求
1.一种运动图像摄像装置，其特征在于 该运动图像摄像装置包括摄像部，拍摄被摄体，并取得由多个帧构成的摄像运动图像，以及图像处理部，以每帧对上述摄像运动图像进行加工，制作记录运动图像； 上述图像处理部包括被摄体指定单元，按照用户的指示来指定上述摄像运动图像中的多个被摄体像， 被摄体剪切图像设定单元，设定多个被摄体剪切图像，该多个被摄体剪切图像是从上述摄像运动图像中剪切由上述被摄体指定单元所指定的多个被摄体像的每一个被摄体像而得到的图像，被摄体追踪单元，追踪由上述被摄体指定单元所指定的多个被摄体像，并追随该多个被摄体像以每帧为单位使上述多个被摄体剪切图像移动，第1剪切图像设定单元，对于每帧将上述多个被摄体剪切图像设定为第1剪切图像， 第2剪切图像设定单元，对于每帧将围绕上述多个被摄体剪切图像的一个图像设定为第2剪切图像，第1数据量计算单元，对于每帧计算上述第1剪切图像的数据量， 第2数据量计算单元，对于每帧计算上述第2剪切图像的数据量， 比较单元，对于每帧比较上述第1剪切图像的数据量与上述第2剪切图像的数据量，以及选择单元，对于每帧将上述第1剪切图像和上述第2剪切图像中的、在上述比较单元中判断为数据量较小的图像选择为上述记录运动图像。
2.根据权利要求1所述的运动图像摄像装置，其特征在于 该运动图像摄像装置还具备记录上述记录运动图像的记录部。
3.根据权利要求1或2所述的运动图像摄像装置，其特征在于上述图像处理部在制作上述记录运动图像的同时，将该记录运动图像中制作完的部分发送给其它设备。
4.根据权利要求1至3中任一项所述的运动图像摄像装置，其特征在于 上述被摄体剪切图像设定单元所设定的上述多个被摄体剪切图像都是方形； 上述第2剪切图像设定单元所设定的上述第2剪切图像是方形。
5.根据权利要求1至3中任一项所述的运动图像摄像装置，其特征在于上述第2剪切图像设定单元所设定的上述第2剪切图像不包含不属于上述多个被摄体剪切图像中的任何一个的区域。
6.根据权利要求5所述的运动图像摄像装置，其特征在于上述被摄体剪切图像设定单元所设定的上述多个被摄体剪切图像都是方形。
7.根据权利要求1至5中任一项所述的运动图像摄像装置，其特征在于 上述被摄体剪切图像设定单元所设定的上述多个被摄体剪切图像都是方形；上述选择单元在选择了上述第1剪切图像时，进一步对上述多个被摄体剪切图像中的至少一个进行扩大或缩小，并将上述多个被摄体剪切图像排列加工为一个方形第1剪切图像。
8.—种运动图像摄像方法，其特征在于该运动图像摄像方法包括以下步骤摄像步骤，拍摄被摄体，并取得由多个帧构成的摄像运动图像，以及图像处理步骤，以每帧对上述摄像运动图像进行加工，制作记录运动图像； 上述图像处理步骤包括以下步骤被摄体指定步骤，按照用户的指示，来指定上述摄像运动图像中的多个被摄体像， 被摄体剪切图像设定步骤，设定多个被摄体剪切图像，该多个被摄体剪切图像是从上述摄像运动图像中剪切在上述被摄体指定步骤中所指定的多个被摄体像的每一个被摄体像而得到的图像，被摄体追踪步骤，追踪在上述被摄体指定步骤中所指定的多个被摄体像，追随该多个被摄体像以每帧为单位使上述多个被摄体剪切图像移动，第1剪切图像设定步骤，对于每帧将上述多个被摄体剪切图像设定为第1剪切图像， 第2剪切图像设定步骤，对于每帧将围绕上述多个被摄体剪切图像的一个图像设定为第2剪切图像，第1数据量计算步骤，对于每帧计算上述第1剪切图像的数据量， 第2数据量计算步骤，对于每帧计算上述第2剪切图像的数据量， 比较步骤，对于每帧比较上述第1剪切图像的数据量与上述第2剪切图像的数据量，以及选择步骤，对于每帧将上述第1剪切图像和上述第2剪切图像中的、在上述比较步骤中判断为数据量较小的图像选择为上述记录运动图像。
9.集成电路，是被装入运动图像摄像装置的集成电路，该运动图像摄像装置拍摄被摄体，对所取得的摄像运动图像进行加工，制作记录运动图像，其特征在于该集成电路执行作为信号处理/AD转换电路、修正电路、图像处理部以及控制部的功能，该信号处理/AD转换电路对拍摄被摄体的电荷耦合器件的输出信号进行噪声降低处理及增益控制，由模拟信号转换成数字信号，该修正电路对上述信号处理/AD转换电路的输出信号进行图像修正处理，来获得上述摄像运动图像，该图像处理部按照用户的指示来指定在上述修正电路中所获得的摄像运动图像中的多个被摄体像，设定从该摄像运动图像中剪切该多个被摄体像的每一个被摄体像而得到的多个被摄体剪切图像，并追踪该多个被摄体像，追随该多个被摄体像以每帧为单位使该多个被摄体剪切图像移动，对于每帧将该多个被摄体剪切图像设定为第1剪切图像，将围绕该多个被摄体剪切图像的一个图像设定为第2剪切图像，计算该第1剪切图像的数据量及该第2剪切图像的数据量并进行比较，将数据量较小的一方的图像选择为上述记录运动图像，该控制部至少控制上述信号处理/AD转换电路、上述修正电路及上述图像处理部。
全文摘要
本发明涉及一种运动图像的摄像装置、摄像方法及集成电路。包括取得摄像运动图像的摄像部、和以每帧对摄像运动图像进行加工来制作记录运动图像的图像处理部。图像处理部按照用户的指示来指定摄像运动图像中的多个被摄体像，设定从摄像运动图像中剪切多个被摄体像的每一个被摄体像而得到的多个被摄体剪切图像，追踪多个被摄体像，追随多个被摄体像以每帧为单位使多个被摄体剪切图像移动之后，将多个被摄体剪切图像设定为第1剪切图像，围绕多个被摄体剪切图像的一个图像设定为第2剪切图像，计算第1及第2剪切图像的数据量并进行比较，将数据量较小的一方的图像选择为记录运动图像。
文档编号H04N5/91GK102187663SQ20098000058
公开日2011年9月14日 申请日期2009年4月10日 优先权日2008年5月21日
发明者甲斐康司 申请人:松下电器产业株式会社