专利名称：运动图像拍摄装置的制作方法
技术领域：
本发明涉及运动图像拍摄装置，尤其涉及在拍摄动作剧烈的运动图像时的编码中，可以消除代码量抑制与画质确保的权衡的技术。作为装载本发明涉及的运动图像拍摄装置的产品，有数码静态照相机或数码摄像机等。
背景技术：
帧间编码方法因为在运动图像信号中帧间的相关关系较强，所以作为运动图像信号的数据压缩方法而被广泛采用。提出了各种各样的帧间编码方法，大多是对图像信号的帧差分进行编码的方法。在帧间编码方法中，经常采用变换编码，在变换编码中，采用对差分信号进一步有效利用图像所具有的二维空间内的相关的正交变换。尤其是，在作为存储介质用的运动图像编码标准的IS0/IEC 11172-2(通称MPEG1)等的国际标准的编码方法中，采用以正交变换、即DCT (Discrete Cosine Transform 离散余弦变换)为基础的编码方法。在帧间编码方法中，在对象帧为帧间编码帧的情况下，计算图像信号的帧间的差分，将计算出的差分值变换为霍夫曼(Huffman)代码等可变长度代码。在具有这种变换形态的帧间编码方法中，因为在运动图像的特性上动作补偿后的帧相关会增高，所以通过向0 或接近0的差分值分配短的可变长度代码，从而可以提高压缩效率。其中，在分割后的块的动作补偿预测后的数据为0的情况下，不进行编码也可以，所以可以进一步提高压缩效率。在运动图像信号的数据压缩过程中，必须进行代码量调整(速率控制)。作为代码量调整方法，公知量化步长可变方法。这是对代码的产生量进行监控，以决定在编码中采用的量化步长的方法。在该方法中，在接收所产生的代码后还要准备以恒定速率(固定速率)输出的虚拟缓冲器，在此基础上按照与该虚拟缓冲器的充足率成比例的方式估算量化步长。即，若缓冲器的充足率上升，则会增大量化步长，若充足率下降，则会缩小量化步长。 由此，在量化步长较大时抑制代码的产生，相反，在量化步长较小时促进代码的产生。因此， 通过将缓冲器的充足率抑制到例如50%左右，从而可以将代码的产生平均控制为恒定。然而，即使是量化步长可变方法，在动作剧烈的场景中，因为差分编码变得困难， 代码量增大，所以在代码量调整的过程中即使增大量化步长，其结果，画质也会劣化。在量化步长可变方法中，作为实现高画质的方法也存在以下方法，即在基于手抖动信息或动作矢量判定了各帧的动作的基础上，在判断为动作较大的帧中，通过与之前的帧相比增大量化步长来抑制代码量。上述的量化步长可变方法是固定速率代码量调整控制方法。已知，与这种固定速率控制方法不同的、将量化步长固定后允许代码量变动的可变速率方式。这是预先决定不会成为某一基准的画质以下的量化步长并在编码时固定量化步长的方法。专利文献1 JP特开2006-13570号公报专利文献2 JP特开2006-166233号公报采用了帧差分信息的编码虽然在编码效率方面较佳，但在帧间若发生激烈的动作，则帧间的相关关系变弱或者消失，由此编码变得困难。因此，虽然必须用帧内的信息来进行编码，但帧内的编码与帧差分的编码相比，编码效率会降低，代码量也会增大。在固定速率代码量调整控制方法中，因为在产生了激烈动作的帧内代码量会增大，所以在之后的帧内必须调整代码量。于是，对于到此为止的帧而言，量化步长变成极端高的值，会在图像中产生显著的劣化。尤其是在低频成分较多的帧中，该倾向变得更加显著。作为回避这种图像劣化的方法，有通过基于手抖动信息增大量化步长而抑制代码量的方法。然而，因为在动作剧烈的帧中量化步长较大，所以该帧会劣化，即使在以后的帧中也会引起帧的劣化。再有，也存在针对编码前的YC数据降低高频成分来抑制代码量的方法。然而，在该方法中，因为将被摄体的动作或追踪被摄体的照相机的动作也作为动作来捕捉，所以存在针对摄影者所需要的图像也降低了高频成分的课题。
发明内容
本发明是鉴于上述情况而进行的，其目的在于即使在与画面的相对位置关系中被摄体的动作量剧烈的情况下，也可以消除代码量抑制与画质确保的权衡，可以兼顾两者。(1)在本发明中，设置有用于在编码处理之前判定摄影状况为何种场景的场景判定编码控制部。场景判定编码控制部基于照相机主体的动作信息和画面内的被摄体像的动作信息这两种动作信息，进行摄影状况的判定，并将该判定结果作为编码控制信息来输出。 画面内的被摄体像的动作信息是在对从图像传感器输入的运动图像数据实施信号处理的图像处理部中生成的。照相机主体的动作信息可以利用透镜控制中采用的角速度信息。如上所述，本发明涉及的运动图像拍摄装置包括图像处理部，其检测设于照相机主体的图像传感器所生成的运动图像数据中的画面内的被摄体像的动作，并输出被摄体像动作信息；图像压缩处理部，其进行所述运动图像数据的压缩编码；传感器，其检测所述照相机主体中产生的动作，并输出照相机主体动作信息；和场景判定编码控制部，其基于所述被摄体动作信息和所述照相机主体动作信息， 判定所述运动图像数据的摄影状况，所述场景判定编码控制部使所述图像压缩处理部实施适于所述摄影状况的代码量抑制控制。另外，在本发明的方式中，所谓摄影状况是指组合了所述照相机主体中产生的运动状况和实际的被摄体的移动状况的状况，进而，所述场景判定编码控制部基于所述照相机主体动作信息表示的所述照相机主体中产生的运动的程度、和所述被摄体动作信息表示的所述运动图像数据中的画面内的所述被摄体像的移动的程度的组合，对所述摄影状况进行判定。关于摄影状况，例如有“画面内被摄体像动作”、“单独型照相机主体动作”、“被摄体追踪型照相机主体动作”、和“被摄体/照相机主体未移动”等。“画面内被摄体像动作” 是指原则上没有照相机主体的动作，而是因被摄体实际运动，由此被摄体像在画面内移动的摄影状况。“单独型照相机主体动作”是指被摄体中没有实际的动作，而是照相机主体单独活动，由此在画面内看起来被摄体像相对地移动的摄影状况。“被摄体追踪型照相机主体动作”是指为了在画面内捕捉移动的被摄体像，摄影者根据被摄体的动作使照相机主体移动的摄影状况，这相当于摄影者在使被摄体像收敛在画面内的规定区域内的状态下进行摄影的摄影状况。也包含实施了数码静态照相机中的被称为所谓的“平移”的摄影技术的摄影状况。“被摄体/照相机主体未移动”是指照相机主体静止且被摄体也静止的摄影状况。 由场景判定编码控制部进行这种基于照相机主体的动作信息、和画面内的被摄体像的动作信息的组合的摄影状况判定，并将该场景判定的判定结果作为编码控制信息来输出。接收了该编码控制信息的图像压缩处理部或图像压缩/伸展处理部依据编码控制信息的指示进行运动图像数据的压缩编码。即，选择适于各种摄影状况的代码量抑制控制方法，从而不会产生画质劣化，能够抑制代码量。例如，在编码控制信息表示“被摄体追踪型照相机主体动作”的摄影状况时，对于摄影者来说是非常重要的场景的拍摄，因此只要能生成高精细且无画质劣化的压缩运动图像数据即可，无需削减代码量。再有，例如，在编码控制信息表示“单独型照相机主体动作”的摄影状况时，只要活用因为图像整体移动而导致人眼难以察觉到画质劣化的视觉特性，除去作为输入的YC数据的高频成分并抑制代码量即可。还有，例如，在编码控制信息表示“画面内被摄体像动作”的摄影状况时，只要通过进行高压缩来抑制代码量即可。另外，例如，在编码控制信息表示“被摄体/照相机主体未移动”的摄影状况时，只要不进行代码量抑制控制即可。(2)在本发明的运动图像拍摄装置中，存在以下方式所述传感器将施加在所述照相机主体上的角速度作为所述照相机主体中产生的动作来检测。作为照相机主体的动作信息，角速度是优选的一种。(3)在本发明的运动图像拍摄装置中，存在以下形态，即该装置还包括透镜控制部，其通过对使摄影光聚集到所述图像传感器的透镜赋予抵消所述角速度，从而校正因所述角速度而在画面内的被摄体像中产生的不需要的运动；和角速度传感器，其检测所述角速度并提供给所述透镜控制部，所述角速度传感器被共用为所述传感器。根据该方式，因为将角速度传感器共用为传感器，所以可以实现零件件数的削减。(4)在本发明的运动图像拍摄装置中，存在以下形态所述图像处理部将通过设定于所述画面内的代表点的帧间匹配处理得到的代表点动作信息作为所述被摄体像动作信息进行检测。所谓代表点匹配是指确定图像数据区域内的某一块(框)的1个代表点，检测该点在下一帧中移动到何处，该代表点匹配用于进行照相机的手抖动校正。根据该方式，通过将通过这种代表点的帧间匹配处理得到的动作信息用作画面内的被摄体像动作信息，从而可以获得兼用构成要素的成本优势。(5)在本发明的运动图像拍摄装置中，存在以下方式所述图像处理部还检测所述运动图像数据中的频率分布信息，所述场景判定编码控制部控制所述图像压缩处理部，以使根据所述状况判定而个别地实施在所述运动图像数据中基于所述频率分布信息分离的各频带中的代码量抑制处理。根据该方式，若为包含较多高频成分的图像，则能进行高压缩来抑制代码量。(6)本发明的运动图像拍摄装置中，存在以下方式所述传感器将施加给所述照相机主体的角速度作为所述照相机主体中产生的动作来检测，所述图像处理部将通过设定于所述画面内的代表点的帧间匹配处理得到的代表点动作信息作为所述被摄体像动作信息来检测，所述图像处理部还检测所述运动图像数据中的频率分布信息，所述场景判定编码控制部根据该运动图像拍摄装置的用途，选择并使用所述角速度、所述代表点动作信息和所述频率分布信息，以判定所述摄影状况。根据该方式，通过按照每种用途来选择最佳的信息，从而能够进行高精度的摄影状况判定。(7)在上述(6)的运动图像拍摄装置中，存在以下方式所述场景判定编码控制部根据该运动图像拍摄装置的用途，选择并组合所述角速度、所述代表点动作信息和所述频率分布信息，以判定所述摄影状况。根据该方式，通过按照每种用途采用最佳的信息的组合，从而能够进行更高精度的摄影状况判定。(8)在本发明的运动图像拍摄装置中，存在以下方式所述场景判定编码控制部通过滤波去除高频成分来实施所述代码量抑制控制。根据该方式，在被摄体像相对于画面的相对动作量剧烈的摄影状况(上述的“画面内被摄体像动作”、“单独型照相机主体动作”、“被摄体追踪型照相机主体动作”、和“被摄体/照相机主体未移动”等)中，通过除去高频成分，从而能够提高压缩效率，并且能够防止画质劣化。(9)在本发明的运动图像拍摄装置中，存在以下方式所述场景判定编码控制部以多个帧为单位，对所述滤波去除高频成分中的滤波器设定进行多阶段控制。根据该方式，在除去高频成分之际，通过以多个帧为单位而不是以帧为单位对滤波器的设定进行多阶段控制，从而能够顺利地除去高频成分，由此能够防止急剧的图像变化。(10)在本发明的运动图像拍摄装置中，存在以下方式所述场景判定编码控制部通过跳过帧来实施所述代码量抑制控制。根据该方式， 在被摄体像相对于画面的相对动作量剧烈的摄影状况下，通过跳过帧，能够有效地削减代码量。(11)在本发明的运动图像拍摄装置中，存在以下方式所述场景判定编码控制部通过插入虚拟帧来实施所述代码量抑制控制。根据该方式，在被摄体像相对于画面的相对动作量剧烈的摄影状况下，通过插入虚拟帧，能够有效地削减代码量。(12)在本发明的运动图像拍摄装置中，存在以下方式所述场景判定编码控制部通过多路复用帧来实施所述代码量抑制控制。根据该方式，在被摄体像相对于画面的相对动作量剧烈的摄影状况下，通过多路复用帧，能够有效地削减代码量。(13)在本发明的运动图像拍摄装置中，存在以下方式所述场景判定编码控制部通过使量化步长增加来实施所述代码量抑制控制。根据该方式，在被摄体像相对于画面的相对动作量剧烈的摄影状况下，通过使量化步长增加，能够提高压缩效率，且可有效地削减代码量。(14)在本发明的运动图像拍摄装置中，存在以下方式所述场景判定编码控制部通过进行滤波去除高频成分、帧的跳跃、虚拟帧的插入、 帧的多路复用以及量化步长的增加中的任一种来实施所述代码量抑制控制。根据该方式， 可以按照摄影状况的判定结果采用最佳的代码量抑制控制，能够实现精度高的代码量抑制控制。(15)在本发明的运动图像拍摄装置中，存在以下方式所述场景判定编码控制部在所述被摄体像的动作判定过程中采用多阶段的阈值。 根据该方式，通过利用多阶段的阈值进行选择切换，从而能够进行与条件相应的精细控制。(16)在本发明的运动图像拍摄装置中，存在以下方式所述场景判定编码控制部在所述被摄体像的动作判定过程中采用阈值，并且根据编码的搜索范围的大小来切换该阈值。在画面内的被摄体像的相对动作量剧烈且被摄体像超过了动作搜索范围的情况下，无法进行帧间预测，代码量异常增大。一般想要通过被摄体像的动作来判定的摄影状况是产生超过了动作搜索范围的被摄体像的动作的摄影状况。根据该方式，因为根据搜索范围来变更用于被摄体像的动作信息的检测判定的阈值，所以即使在在画面内的被摄体像的相对动作量剧烈的摄影状况下，也能进行适当的控制。(17)在本发明的运动图像拍摄装置中，存在以下方式所述场景判定编码控制部在所述被摄体像的动作判定过程中采用阈值，并且根据编码的帧速率或比特率来切换该阈值。分配给1帧的代码量随着帧速率、比特率而变化。根据该方式，因为根据帧速率、 比特率来变更被摄体像的动作判定中采用的阈值，所以能够进行还追随分配给1帧的代码量的变化的控制。(发明的效果)根据本发明，因为基于照相机主体动作信息和被摄体像动作信息这两种动作信息来进行摄影状况的判定，并将该判定结果作为编码控制信息来输出，所以例如能够对“被摄体追踪型照相机主体动作”、“单独型照相机主体动作”、“画面内被摄体像动作”、和“被摄体 /照相机主体未移动”的各摄影状况进行区分，选择并实施适于各种摄影状况的代码量抑制控制，由此不会产生画质劣化，能够抑制代码量。即，即使在因与画面的相对关系而导致被摄体像的动作量剧烈的情况下，也能消除代码量抑制与画质确保的权衡，能够兼顾两者。
图1是表示本发明的实施方式的进行运动图像记录的照相机系统中的运动图像拍摄装置的构成的框图。图2A是本发明的实施方式的代表点匹配算法的说明图(其一)。图2B是本发明的实施方式的代表点匹配算法的说明图(其二)。图2C是本发明的实施方式的代表点匹配算法的说明图(其三)。图3是本发明的实施方式的角速度传感器的动作说明图。图4是本发明的实施方式的动作判定方法的说明图。图5是表示本发明的实施方式中的运动图像拍摄装置的动作的流程图(其一)。
图6是表示本发明的实施方式中的运动图像拍摄装置的动作的流程图(其二)。符号说明1-传感器部，Ia-图像传感器，Ib-加速度传感器，2_透镜控制部，3_图像处理部，4-图像压缩/伸展处理部，5-场景判定编码控制部，6-图像显示处理部，7-CPU， 8-外部存储器，9-显示装置，10-记录介质，11-透镜部，12-运动图像拍摄装置，20-照相机主体。
具体实施例方式以下，参照图1详细说明本发明涉及的运动图像拍摄装置12的实施方式。该运动图像拍摄装置12是进行运动图像记录的照相机系统中的运动图像拍摄装置，包括传感器部1、透镜控制部2、图像处理部3、图像压缩/伸展处理部4、场景判定编码控制部5、图像显示处理部6、CPU (Central Processing Unit) 7、外部存储器8、显示装置9、记录介质10和透镜部11。运动图像拍摄装置12被收纳在照相机主体20内。传感器部1具备图像传感器Ia与角速度传感器lb。图像传感器Ia取入运动图像并进行光电变换，输出RGB信息的运动图像数据。角速度传感器Ib将在照相机主体20中产生的动作作为角速度来进行检测，然后将该检测结果作为角速度信息来进行输出。角速度信息是本发明中的照相机主体动作信息的一例。透镜控制部2通过将抵消角速度传感器Ib检测到的角速度的动作赋予给透镜部 11内的规定透镜，从而校正因角速度而在画面内的被摄体像中产生的不需要的动作。为了发挥这种功能，透镜控制部2接受角速度传感器Ib输出的角速度信息，并基于所接受的角速度信息，进行透镜部11的方向控制。透镜控制部2还向场景判定编码控制部5输出所接受的角速度信息。图像处理部3在从图像传感器Ia取得了 RGB的图像数据之后，对所取得的图像数据进行除噪声、信号电平校正等图像校正，然后变换为YC数据并保存在外部存储器8中。进而，图像处理部3对所取得的图像数据实施代表点匹配处理，并且进行图像的频率分析处理，将通过这些处理而得到的代表点匹配信息(画面内的被摄体像动作信息的一例)和图像的频率分布信息输出到场景判定编码控制部5。图像压缩/伸展处理部4对从外部存储器8读出的YC数据进行编码处理后进行压缩，将压缩后的编码数据保存在外部存储器8中。进而，图像压缩/伸展处理部4从外部存储器8读取压缩编码数据后进行伸展，然后保存在外部存储器8中。场景判定编码控制部5取得透镜控制部2所输出的角速度信息和图像处理部3所输出的代表点匹配信息，并基于这两种动作信息来判定摄影状况，基于该判定结果生成编码控制信息后输出。所谓摄影状况是指将照相机主体12中产生的运动状况和被摄体的动作状况组合后的状况。场景判定编码控制部5基于照相机主体12中产生的运动的程度(由照相机主体动作信息来表示)和运动图像数据中的画面内的被摄体像的动作的程度(由被摄体动作信息来表示)的组合，对摄影状况进行判定。图像显示处理部6以与显示装置9吻合的形状显示从外部存储器8读取出的YC 数据。CPU7负责整体的控制。显示装置9显示从图像显示处理部6输出的数据。向记录介质10写入经由CPU7从外部存储器8读取出的代码数据。透镜部11是使摄影光聚集到图像传感器Ia的光学机构，具备能够无阶段地变更焦点距离的变焦透镜。
在此，对图像处理部3进行的代表点的帧间匹配处理进行说明。图2A 图2C是代表点的帧间匹配处理的算法的说明图。所谓代表点的帧间匹配处理是指在图像数据区域(帧)内设定块(框)，然后进一步在该块内确定1个代表点，估算在下一帧中使该代表点移动多少的处理。图2A表示第一帧的图像。在第一帧中，图像处理部3将Pl设为代表点，并保持这一点的信息。图2B表示第二帧(自第一帧开始往后1帧的帧)的图像。在第二帧中，图像处理部3搜索在第一帧中被确定为代表点的点Pl移动到第二帧内的何处。图2C是重合了第一帧的图像与第二帧的图像的图，根据图2C可知在第一帧中确定的代表点Pl在第二帧中移动到点P2。将该移动后的距离作为被摄体像的动作量、即画面内的被摄体像动作信息来取得。如上所述，取得被摄体像动作信息的处理就是代表点的帧间匹配处理。接着，对从透镜控制部2输出的角速度信息进行说明。所谓角速度信息是指图3 所示的照相机主体20的动作量的信息，表示利用角速度传感器Ib检测出照相机主体20移动了多少的结果。将该角速度信息用作照相机主体动作信息。接着，对用于各场景判定的动作检测方法进行说明。图4是动作判定方法的说明图。作为动作的检测方法，在动作判定用途中设定阈值，根据动作量是否超过阈值来判定动作。在运动图像中被摄体像产生剧烈动作且该动作超过了动作搜索范围的情况下，不能进行帧间预测，代码量会增大。一般想要判定被摄体像的动作是在超过该动作搜索范围之时。因此，判定被摄体像的动作的阈值是能够根据动作搜索范围的大小来变更的。再有， 因为分配给一帧的代码量根据帧速率或比特率的变化而变动，所以判定被摄体像的动作的阈值根据帧速率或比特率的变动而变更。接着，参照图5的流程图，对场景判定编码控制部5进行的处理进行说明。首先， 在步骤Sl中，作为进行编码之前的处理，场景判定编码控制部5进行取得被摄体像动作信息和照相机主体动作信息的处理。所取得的动作信息成为图像处理部3检测作为编码对象的图像的动作时的检测要素。所取得的动作信息是从图像处理部3取得的代表点匹配数据 (画面内的被摄体像动作信息)和从透镜控制部2取得的角速度信息(照相机主体动作信接着，在步骤S2中，场景判定编码控制部5根据作为动作信息而从透镜控制部2 取得的角速度信息，计算照相机主体动作量。如图3所示，在透镜中被变焦操作为长焦距侧的状态(长焦距透镜状态)和被变焦操作为广角侧的状态(广角透镜状态)下，角速度信息中的动作量不同。即使角速度信息小，但是若变成长焦距透镜状态，则动作量也会增大。 因此，场景判定编码控制部5在根据角速度信息计算出照相机主体20的动作量的情况下， 将角速度信息乘以变焦倍率的值用作动作量。在此，所谓变焦倍率是指在变焦透镜中最广角状态的焦点距离fx和变焦处理后的焦点距离fy之间的比率(fy/fx)。接下来，在步骤S3中，场景判定编码控制部5基于在步骤Sl中取得的被摄体像动作信息、和在步骤S2中算出的照相机主体20的动作量，判定摄影中的摄影状况为下述哪种摄影状况· “单独型照相机主体动作”· “被摄体追踪型照相机主体动作”
· “画面内被摄体像动作”· “被摄体/照相机主体未移动”。其中，关于该判定，将参照图6在后面描述。然后，在步骤S4中，场景判定编码控制部5在图像压缩/伸展处理部4中实施适于在步骤S3中判定出的摄影状况的代码量抑制控制。在此，变更为适于所判定出的摄影状况的抑制控制。接下来，参照图6的流程图，对场景判定编码控制部5的摄影状况判定处理进行说明。场景判定处理相当于图5的流程图中的步骤S3。首先，在步骤Sll中，场景判定编码控制部5取得各动作信息，并将所取得的动作信息变换为动作判定用的参数。接着，在步骤S12中，基于角速度传感器Ib的参数(照相机主体动作信息)，进行照相机主体20的动作判定。在步骤S12中，在判定为照相机主体 20的动作量大(参数超过阈值)的情况下，分支到步骤S13，在判定为动作量少(参数低于阈值)的情况下，分支到步骤S16。在步骤S13和步骤S16中，基于代表点匹配参数进行动作判定。在步骤S13中，在判定为画面内的被摄体像的动作量大(参数超过阈值)的情况下，角速度、代表点匹配的值都比较大。若处于该状态，则场景判定编码控制部5判断为照相机、被摄体均产生了大的动作，并且在步骤S14中，将摄影状况判定为“单独型照相机主体动作”。所谓“单独型照相机主体动作”包含以下摄影状况。即，无论实际的被摄体是否产生了动作，只要照相机主体20 中产生因手抖动等引起的动作，则照相机主体20的动作信息、即角速度就会变大，且画面内的被摄体像的动作信息、即代表点匹配信息也会增大。若基于这种分析，则“单独型照相机主体动作”包含以下摄影状况，即因为摄影操作时摄影者产生的手抖动等物理动作被传递到照相机主体20，所以无论实际的被摄体是否产生了动作，上述的物理动作在相邻帧内都被检测为代表点的移动。在步骤S13中判定为画面内的被摄体像的动作量小(参数低于阈值)的情况下， 只有角速度的值较大。若处于该状态，则场景判定编码控制部5判断为虽然在照相机主体 20中产生了大的动作，但画面内的被摄体像没有产生大的动作，并且在步骤S15中将摄影状况判定为“被摄体追踪型照相机主体动作”。“被摄体追踪型照相机主体动作”包含为了在画面内捕捉所移动的被摄体像而实施了摄影者根据被摄体的动作来移动照相机主体的摄影操作(平移/倾斜)。在这种摄影状况下，虽然照相机主体20动作比较大，但画面内的被摄体像的动作比较小。若在照相机主体20与画面内的被摄体像中产生了这种动作，则照相机主体20的动作信息、即角速度增大，但画面内的被摄体像的动作信息、即代表点匹配信息变小。若基于这种分析，则“被摄体追踪型照相机主体动作”包含以下摄影状况，即虽然在摄影操作时，因为实施上述摄影动作等而引起的物理动作被传递到照相机主体，但在画面内的被摄体像中几乎观察不到动作(在相邻的帧内作为代表点的移动几乎不会被检测出来)。另一方面，在步骤S16中判断为有动作(参数超过阈值)的情况下，只有代表点匹配信息的值较大。若处于该状态，则场景判定编码控制部5判断为虽然画面内的被摄体像中产生了大的动作，但在照相机主体20中并未产生大的动作，并且在步骤S17中，将摄影状况判定为“画面内被摄体像动作”。所谓“画面内被摄体像动作”包含以下的摄影状况。 即，若在照相机主体20中未产生因手抖动等引起的动作，而是在实际的被摄体中产生了动作，则照相机主体20的动作信息、即角速度变小，且画面内的被摄体像的动作信息、即代表点匹配信息变大。基于这种分析，“画面内被摄体像动作”可以说是包含以下摄影状况，即 在摄影操作时摄影者产生的手抖动等物理动作、或在未实施平移/倾斜等摄影操作的状态下，实际的被摄体中产生了动作，所以在相邻的帧内，画面内的被摄体像的动作被检测为代表点的移动。在步骤S16中判断为被摄体像的动作少(参数低于阈值)的情况下，角速度信息与代表点匹配信息都小。若处于该状态，则场景判定编码控制部5判断为照相机主体20以及画面内的被摄体像中都未产生大的动作，并且在步骤S18中，将摄影状况设为“被摄体/ 照相机主体未移动”。“被摄体/照相机主体未移动”是指以下状态。即，若在照相机主体20 中几乎未产生因手抖动等引起的动作，且实际的被摄体中也几乎未产生动作，则照相机主体12的动作信息、即角速度信息变小，且画面内的被摄体像动作信息、即代表点匹配信息也变小。若基于这种分析，则“被摄体/照相机主体未移动”可以说是包含以下摄影状况， 即在摄影操作时摄影者产生的手抖动等物理动作、或在未实施平移/倾斜等摄影操作的状态下，实际的被摄体中也未产生动作，所以在相邻的帧内未检测出代表点的移动。(1)在被场景判定为“单独型照相机主体动作”的摄影状况下，因为图像整体活动， 所以人的眼睛难以察觉到画质的劣化。在活用这种视觉特性而判定为“单独型照相机主体动作”的摄影状况下，场景判定编码控制部5控制图像压缩/伸展处理部4，以便除去作为输入的YC数据的高频成分，并抑制代码量。其中，若急剧降低频率成分会导致人眼容易察觉到，所以以帧为单位缓慢地降低频率成分。再有，即使在判定为“单独型照相机主体动作”的摄影状况下，若照相机主体20的动作量显著增大，则仅降低YC数据的频率成分是不能有效抑制代码量的。因此，场景判定编码控制部5进一步设置用于判定照相机主体20中是否产生了明显大的动作量的阈值，控制图像压缩/伸展处理部4，以便在角速度信息超过该阈值的情况下，将该帧图像判定为不需要的图像，在不除去YC数据的高频成分的情况下跳过该帧，对帧本身不进行编码。这种帧的跳跃处理并不能在被称为适于AVCHD (Advanced Video Codec High Definition)的运动图像流标准的图像数据中实施。这是因为，在这种标准中，跳过帧被判定为违反标准。这种情况下，场景判定编码控制部5按照以下方式控制图像压缩/伸展处理部4，即取代帧的跳跃处理，将由跳跃大块构成所有的大块的虚拟帧插入到该帧中、或者将上一次的帧中的帧图像作为本次帧中的帧图像来重复使用。(2)在被场景判定为“被摄体追踪型照相机主体动作”的摄影状况下，场景判定编码控制部5按照不进行代码量抑制控制的方式控制图像压缩/伸展处理部4。这是因为考虑到在摄影者实施以将有动作的被摄体像收敛于画面内的规定区域内的状态进行摄影的摄影操作等的摄影状况下，摄影者期望尽可能高精细的图像。但是，若是包含较多高频成分的图像数据，则代码量会增大。在这种情况下，场景判定编码控制部5基于图像处理部3所取得的频率分布信息，使图像压缩/伸展处理部4实施以下控制。即，场景判定编码控制部 5使图像压缩/伸展处理部4实施通过在高频成分区域内使量化步长增大并对图像数据进行高压缩处理来抑制代码量的控制。(3)在被判定为“画面内被摄体像动作”的摄影状况下，场景判定编码控制部5使图像压缩/伸展处理部4实施通过使量化步长增大并对图像数据进行高压缩来抑制代码量的控制。(4)在被场景判定为“被摄体/照相机主体未移动”的状态下，场景判定编码控制部5不让图像压缩/伸展处理部4进行代码量抑制控制。在进行了如上所述的摄影状况判定后的代码量抑制控制被用于数码静态照相机或数码摄像机中。对于以监视照相机或网络照相机等的照相机固定式要求尽可能在不使画质劣化的情况下显示活动物体的摄影装置，上述说明的控制方法有可能会造成不良影响。 因此，能够根据用途来变更摄影状况判定后的代码量抑制控制。(工业上的可利用性)本发明的运动图像拍摄装置基于照相机主体的动作信息和画面内的被摄体像的动作信息这两种动作信息进行场景判定，并将该判定结果作为编码控制信息来输出。因此， 即使在动作剧烈的帧中，也可以很好地进行代码量抑制，对于动作结束的帧而言，也能分配代码量，可以实现画质的提高。发挥这种效果的本发明在数码静态照相机或数码摄像机等中是大有用处的。
权利要求
1.一种运动图像拍摄装置，包括图像处理部，其检测设于照相机主体的图像传感器所生成的运动图像数据中的画面内的被摄体像的动作，并输出被摄体像动作信息；图像压缩处理部，其进行所述运动图像数据的压缩编码； 传感器，其检测所述照相机主体中产生的动作，并输出照相机主体动作信息；和场景判定编码控制部，其基于所述被摄体动作信息和所述照相机主体动作信息，判定所述运动图像数据的摄影状况，所述场景判定编码控制部使所述图像压缩处理部实施适于所述摄影状况的代码量抑制控制。
2.根据权利要求1所述的运动图像拍摄装置，其中，所述摄影状况是组合了所述照相机主体中产生的运动状况和实际的被摄体的移动状况的状况。
3.根据权利要求1所述的运动图像拍摄装置，其中，所述场景判定编码控制部基于所述照相机主体动作信息表示的所述照相机主体中产生的运动的程度、和所述被摄体像动作信息表示的所述运动图像数据中的画面内的所述被摄体像的移动的程度的组合，判定所述摄影状况。
4.根据权利要求1所述的运动图像拍摄装置，其中，所述传感器将施加在所述照相机主体上的角速度作为所述照相机主体中产生的动作， 来进行检测。
5.根据权利要求4所述的运动图像拍摄装置，其中， 该运动图像拍摄装置还包括透镜控制部，其通过对使摄影光聚集到所述图像传感器的透镜部赋予抵消所述角速度的动作，从而校正因所述角速度而在画面内的被摄体像中产生的不需要的运动；和角速度传感器，其检测所述角速度并提供给所述透镜控制部， 所述角速度传感器被共用为所述传感器。
6.根据权利要求1所述的运动图像拍摄装置，其中，所述图像处理部将通过设定于所述画面内的代表点的帧间匹配处理得到的代表点动作信息作为所述被摄体像动作信息来进行检测。
7.根据权利要求1所述的运动图像拍摄装置，其中， 所述图像处理部还检测所述运动图像数据中的频率分布信息，所述场景判定编码控制部控制所述图像压缩处理部，以使根据所述状况判定而个别地实施在所述运动图像数据中基于所述频率分布信息分离的各频带中的代码量抑制处理。
8.根据权利要求1所述的运动图像拍摄装置，其中，所述传感器将施加给所述照相机主体的角速度作为所述照相机主体中产生的动作来进行检测，所述图像处理部将通过设定于所述画面内的代表点的帧间匹配处理得到的代表点动作信息作为所述被摄体像动作信息来进行检测，所述图像处理部还检测所述运动图像数据中的频率分布信息， 所述场景判定编码控制部根据该运动图像拍摄装置的用途，选择并使用所述角速度、所述代表点动作信息和所述频率分布信息，以判定所述摄影状况。
9.根据权利要求8所述的运动图像拍摄装置，其中，所述场景判定编码控制部根据该运动图像拍摄装置的用途，选择并组合所述角速度、 所述代表点动作信息和所述频率分布信息，以判定所述摄影状况。
10.根据权利要求1所述的运动图像拍摄装置，其中，所述场景判定编码控制部通过滤波去除高频成分来实施所述代码量抑制控制。
11.根据权利要求10所述的运动图像拍摄装置，其中，所述场景判定编码控制部以多个帧为单位，对所述滤波去除高频成分中的滤波设定进行多阶段控制。
12.根据权利要求1所述的运动图像拍摄装置，其中，所述场景判定编码控制部通过跳过帧来实施所述代码量抑制控制。
13.根据权利要求1所述的运动图像拍摄装置，其中，所述场景判定编码控制部通过插入虚拟帧来实施所述代码量抑制控制。
14.根据权利要求1所述的运动图像拍摄装置，其中，所述场景判定编码控制部通过多路复用帧来实施所述代码量抑制控制。
15.根据权利要求1所述的运动图像拍摄装置，其中，所述场景判定编码控制部通过使量化步长增加来实施所述代码量抑制控制。
16.根据权利要求1所述的运动图像拍摄装置，其中，所述场景判定编码控制部通过进行滤波去除高频成分、帧的跳跃、虚拟帧的插入、帧的多路复用以及量化步长的增加中的任一种来实施所述代码量抑制控制。
17.根据权利要求1所述的运动图像拍摄装置，其中，所述场景判定编码控制部在所述被摄体像的动作判定过程中采用多阶段的阈值。
18.根据权利要求1所述的运动图像拍摄装置，其中，所述场景判定编码控制部在所述被摄体像的动作判定过程中采用阈值，并且根据编码的搜索范围的大小来切换该阈值。
19.根据权利要求1所述的运动图像拍摄装置，其中，所述场景判定编码控制部在所述被摄体像的动作判定过程中采用阈值，并且根据编码的帧速率或比特率来切换该阈值。
20.根据权利要求1所述的运动图像拍摄装置，其中，所述图像压缩处理部是具有进行运动图像数据的伸展的功能的图像压缩/伸展处理部。
21.根据权利要求1所述的运动图像拍摄装置，其中，该运动图像拍摄装置还包括进行所述运动图像数据的图像显示控制的图像显示处理
全文摘要
本发明提供一种运动图像拍摄装置。其中图像处理部对设于照相机主体的图像传感器生成的运动图像数据中的画面内的被摄体像的动作进行检测，并输出被摄体动作信息。传感器检测照相机主体中产生的动作并输出照相机主体动作信息。场景判定编码控制部基于被摄体像动作信息与照相机主体动作信息，判定运动图像数据的摄影状况，并使图像压缩处理部实施适于该摄影状况的代码量抑制控制。
文档编号H04N5/232GK102326389SQ200980157198
公开日2012年1月18日 申请日期2009年12月25日 优先权日2009年2月23日
发明者内田友和, 小川雅裕, 方城正博 申请人:松下电器产业株式会社