专利名称：图像生成装置、图像生成系统、方法及程序的制作方法
技术领域：
本发明涉及生成运动图像的图像处理，特别涉及根据由在不同的摄影条件下拍摄同一对象(被摄体)而得到的像素构成的运动图像，来生成显示该对象的新的运动图像的图像处理。
背景技术：
对于彩色摄像中所使用的摄像方式之中的3板摄像方式，由光学系统对入射光按RGB进行颜色分离，分别利用不同的摄像元件对这些RGB的光进行受光。3板摄像方式中，由于由摄像元件对所有的入射光进行受光，因此光的利用效率高，色分辨率也高。另一方面，在小型、廉价的照相机中，不使用所述颜色分离的光学系统的单板式彩色摄像被广泛采用。在单板式彩色摄像中，由于在空间上交替配置(例如拜尔排列等)透过式的RGB滤色器，因此颜色清晰度下降，透过颜色以外的光被吸收、反射，因此存在入射光的利用效率低且出现低灵敏度的一问题。针对这种问题，作为在单板式彩色摄像中提高颜色清晰度和灵敏度(S/N)的现有的装置，具有利用相邻的像素值来计算虚拟信号值的摄像装置(例如参照专利文献I)。在文献I中，在作为基准的G像素的像素位置使用G像素自身的像素值和周围的R、B像素的像素值，来计算虚拟R信号、虚拟B信号。由此，使得由以基准像素为中心而包含的纵横多个像素所构成的像素块内的R像素和B像素数增加，以实现R信号和B信号的颜色清晰度、S/N的提闻。在先技術文献专利文献
专利文献I JP特开2009-55589号公报
发明内容
(发明要解决的课题)在上述的图像生成装置的构成中，由于根据单板输入图像来计算虚拟信号值，因此颜色清晰度比输出图像的清晰度要低。此外，使得像素块的尺寸大于输出图像的像素尺寸来实现S/N的提高，因此存在颜色清晰度进一步降低的问题。即，在同时实现颜色清晰度提闻和灵敏度提闻方面存在问题。本发明是为了解决现有的问题而提出的，其目的在于根据利用单板摄像元件进行拍摄而得到的运动图像来获得同时实现颜色清晰度的提高和灵敏度(曝光量、S/N)的提高的高画质运动图像。(用于解决课题的技术方案)本发明的图像生成装置根据利用对第I颜色成分的光及第2颜色成分的光进行检测的单板彩色摄像元件而拍摄到的、表示被摄体的第I颜色成分的运动图像的第I运动图像以及表示所述被摄体的第2颜色成分的运动图像的第2运动图像，来生成表示所述被摄体的新的运动图像，其中，所述第I运动图像以比所述第2运动图像长的曝光时间进行拍摄，从而所述第I运动图像的帧频比所述第2运动图像的帧频低，所述图像生成装置具备获取部，其获取所述第I运动图像及所述第2运动图像的各影像信号；处理部，其基于获取到的所述第I运动图像及所述第2运动图像的各影像信号，生成具有与所述第2运动图像的帧频相同帧频的新的运动图像；和输出部，其输出所述新的运动图像。所述获取部可获取所述第I颜色成分及所述第2颜色成分相同的所述第I运动图像及所述第2运动图像的各影像信号。所述获取部可获取绿的所述第I运动图像及绿的所述第2运动图像的各影像信号。所述获取部可获取绿的所述第I运动图像的影像信号、以及包含绿在内的多个颜色成分的所述第2运动图像的影像信号。绿的波段可包含第I波段及第2波段，所述获取部获取所述第I波段的所述第I运动图像的影像信号、以及所述第2波段的所述第I运动图像的影像信号。所述单板彩色摄像元件可检测所述第I颜色成分的光、所述第2颜色成分的光、第3颜色成分及第4颜色成分的光，所述第I颜色成分及所述第2颜色成分是相同的颜色成分，所述第3颜色成分及所述第4颜色成分不同于所述第I颜色成分及所述第2颜色成分，并且所述第3颜色成分及所述第4颜色成分互不相同，所述获取部还获取具有与所述第2运动图像的帧频相同帧频的第3运动图像及第4运动图像的影像信号，所述处理部进一步基于所述第3运动图像及所述第4运 动图像的各影像信号，来生成具有与所述第2运动图像的帧频相同帧频的新的运动图像。所述获取部可获取绿的所述第I运动图像的影像信号、绿的所述第2运动图像的影像信号、红的所述第3运动图像的影像信号、以及蓝的所述第4运动图像的影像信号。所述获取部可获取绿的所述第I运动图像的影像信号、包含红、绿、蓝的颜色成分在内的所述第2运动图像的影像信号、红的所述第3运动图像的影像信号、以及蓝的所述第4运动图像的影像信号。所述获取部至少在不同的时刻获取所述第2运动图像及所述第3运动图像的各影
像信号。所述获取部可针对所述第2运动图像、所述第3运动图像及所述第4运动图像的各个运动图像获取包含识别头和各运动图像数据在内的影像信号，该识别头包含曝光时刻的时间差的信息。所述处理部可根据利用所述单板彩色摄像元件上的相邻的4像素拍摄到的、所述第I运动图像的多个帧的像素、所述第2运动图像的I帧的像素、所述第3运动图像的I帧的像素及所述第4运动图像的I帧的像素，来生成所述新的运动图像的所述第I颜色成分、所述第3颜色成分及所述第4颜色成分的多个帧的各像素。所述处理部生成的所述新的图像的像素数比所述单板彩色摄像元件的像素数少。所述处理部生成的所述新的图像的像素数少于所述第I运动图像的像素数与所述第2运动图像的像素数之和。所述处理部生成在所述第I运动图像与所述新的运动图像中所包含的所述第I颜色成分的运动图像之间满足第I条件、第2条件以及第3条件的运动图像，该第I条件表示对应的各像素位置处的时间上的总光量应一致，该第2条件表示空间上的总光量应一致，该第3条件是与相邻的像素的颜色的连续性相关的条件。所述处理部可设定表示各像素位置处的所述第I运动图像的I帧的总光量、和与所述第I运动图像的I帧时间相当的所述新的运动图像的多个帧的总光量应一致的第I条件。所述图像生成装置还可以具备运动检测部，该运动检测部检测所述第2运动图像中的被摄体的运动，将检测结果作为运动向量来输出，进一步利用所述运动检测部的检测结果，所述处理部对表示沿着所述运动向量的所述新的运动图像内的像素值应一致的第4条件进行设定，并生成满足所述第I条件至所述第4条件的运动图像。所述第I运动图像的颜色成分和所述第2运动图像的颜色成分可包含同一颜色成分，所述摄像部对构成所述单板彩色摄像元件的同一水平行的像素以相同的曝光期间进行拍摄。所述摄像部可输出具有与所述第2运动图像的第2颜色成分不同的第3颜色成分的第3运动图像的影像信号，该第3运动图像是按照与所述第2运动图像的帧频相同的帧频进行拍摄、且在与所述第2运动图像的曝光时刻不同的曝光时刻进行拍摄而得到的运动图像。本发明的图像生成系统可具备摄像部，其具有对第I颜色成分的光及第2颜色成分的光进行检测的单板彩色摄像元件；上述的任一种图像生成装置；和图像输出部，其输出从所述图像生成装置输出的所述新的运动图像，所述摄像部利用所述单板彩色摄像元件来拍摄表示被摄体的第I颜色成分的运动图像的第I运动图像、以及表示所述被摄体的第2颜色成分的运动图像的第2运动图像的各影像信号，并且以比所述第2运动图像长的曝光时间拍摄所述第I运动图像，从而所述第I运动图像的帧频比所述第2运动图像的帧频低。
本发明的其他的图像生成系统具备上述任意的图像生成装置；图像输出部，其输出从所述图像生成装置输出的所述新的运动图像；和显示装置，其显示从所述图像输出部输出的所述新的运动图像。所述图像生成装置可经由存储卡、天线及网络中的至少一个来获取所述第I运动图像及所述第2运动图像的各影像信号。本发明的方法根据利用对第I颜色成分的光及第2颜色成分的光进行检测的单板彩色摄像元件拍摄到的、表示被摄体的第I颜色成分的运动图像的第I运动图像以及表示所述被摄体的第2颜色成分的运动图像的第2运动图像，来生成表示所述被摄体的新的运动图像，以比所述第2运动图像长的曝光时间拍摄所述第I运动图像，从而所述第I运动图像的帧频比所述第2运动图像的帧频低，所述方法包括获取所述第I运动图像及所述第2运动图像的各影像信号的步骤；基于所获取的所述第I运动图像及所述第2运动图像的各影像信号来生成具有与所述第2运动图像的帧频相同帧频的新的运动图像的步骤；和输出所述新的运动图像的步骤。本发明的计算机程序是由安装于图像生成装置中的计算机所执行的计算机程序，通过执行所述计算机程序，所述图像生成装置根据利用对第I颜色成分的光及第2颜色成分的光进行检测的单板彩色摄像元件拍摄到的、表示被摄体的第I颜色成分的运动图像的第I运动图像以及表示所述被摄体的第2颜色成分的运动图像的第2运动图像，来生成表示所述被摄体的新的运动图像，以比所述第2运动图像长的曝光时间拍摄所述第I运动图像，从而所述第I运动图像的帧频比所述第2运动图像的帧频低，所述计算机程序使安装于所述图像生成装置中的计算机执行如下步骤获取所述第I运动图像及所述第2运动图像的各影像信号的步骤；基于所获取的所述第I运动图像及所述第2运动图像的各影像信号来生成具有与所述第2运动图像的帧频相同帧频的新的运动图像的步骤；和输出所述新的运动图像的步骤。(发明效果)根据本发明的某一实施方式涉及的图像生成装置，在单板彩色摄像中，使用像素数比输出图像更多(高密度)的单板输入图像。输入图像由长时间曝光像素和短时间高帧频像素构成。输出图像的像素值是利用对应的位置的长时间曝光像素和短时间高帧频像素值生成的。根据上述结构，在提高输出图像的颜色清晰度的同时，即便是从高密度的摄像像素得到的图像，通过长时间曝光确保了曝光量，从而实现了灵敏度的提高。通过利用短时间高帧频像素的信息，使长时间曝光像素的信息高帧频化。其结果，能够获得生成图像的颜色清晰度和灵敏度都得到提高的高画质图像。
图1是表示实施方式I涉及的图像生成装置100及具备图像生成装置100的图像生成系统110的结构的图。图2是表示图1所示的图像生成部30的内部结构的图。图3是表示图像生成装置30所执行的处理步骤的流程图。图4(a)是不意地表不由图像获取部101获取的运动图像的图，(b)是按照容易识别的方式对(a)的粗线正方形405区域中所包含的像素进行分离表示的图，(C)是表示由图像处理部103生成的高帧频彩色运动图像的图。图5是表示与所生成的运动图像的I像素的区域对应的、由16像素构成的正方区域617的图。图6是表示所生成的图像的I像素所对应的、包含输入图像的多个像素区域在内的粗线正方形区域6B1 6B4的图。图7是表示低帧频长时间曝光的R像素、G像素、B像素的曝光时刻的关系的图。图8是表示具有描述了摄影条件信息的识别头210a和运动图像数据210b的影像信号210的格式的一例的图。图9 (a)及(b)是表示具有RGB滤色器排列的单板摄像元件701的结构的图。图10(a)及(b)分别表示与运动检测处理相关的帧编号t和t+Ι中的像素配置的图。图11是表不RGB颜色空间与球面坐标系(θ、ψ、r)的对应例的图。图12是表示RGB颜色空间中的固有向量轴(Cl，C2，C3)的例子的图。图13(a) (d)是表示连续帧的摄影时刻(t = 0,1,2,3)的被摄体位置的图。图14(a) (d)是按时间顺序(t = 0,1,2,3)表示想要对图13(a) (d)所示的被摄体进行拍摄而获取的目标运动图像的图。
图15是表示与目标运动图像相同清晰度的RGB滤色器排列的例子的图。图16(a) (d)是表示与各时刻(t = 0,1,2,3)的绿色相关的生成图像(左列)和被摄体图像(右列)的图。图17(a) (d)是表示与各时刻(t = 0,1,2,3)的红色相关的生成图像(左列)和被摄体图像(右列)的图。图18(a) (d)是表示与各时刻(t = 0,1,2,3)的蓝色相关的生成图像(左列)和被摄体图像(右列)的图。图19是表示通过本发明的方法获得作为输入的图像的滤色器配置和每个像素的曝光时间及帧频的差异的图。图20(a) (d)是按时间顺序(t = 0,1,2,3)表示针对S像素得到的G图像的图。图21是表示针对G像素得到的图像的图。图22是表示针对R像素的长时间曝光的图像的图。图23是表示针对B像素的长时间曝光的图像的图。图24(a)及(b)是用于说明使摄影条件一致的像素的图。图25(a)是由包含RGB各个颜色成分在内的透明像素W(501a 501d)形成第I运动图像的图，(b)是由在人类的视觉特性上是相同的绿色但波长特性不同的2种绿像素Gl (511a 51 Id)、G2 (514)形成第I运动图像和第2运动图像的图。
图26是表示实施方式2涉及的图像生成系统130的结构的图。图27是表示实施方式2中的图像生成部31的内部结构的图。图28是表示实施方式的图像生成部31的处理步骤的流程图。图29是表示不具备显示部的图像生成系统300的图。图30是表示不具备摄像部10的图像生成系统400的图。
具体实施例方式以下，参照
本发明的图像生成装置的实施方式。(实施方式I)图1表示本实施方式涉及的图像生成装置100及具备图像生成装置100的图像生成系统110的结构。图像生成系统110例如是摄像机。图像生成装置100根据以不同的曝光时间及不同的帧频对同一对象(被摄体)进行拍摄而得到的运动图像的数据，来生成新的运动图像。在本实施方式中，利用单板彩色摄像元件拍摄长时间曝光、低帧频的运动图像和短时间曝光、高帧频的运动图像。图像生成装置100根据长时间曝光、低帧频的运动图像的像素、和短时间曝光、高帧频的运动图像的像素，来生成新的运动图像。所谓新的运动图像是颜色清晰度高且帧频高的彩色运动图像。图像生成系统110具备摄像部10、图像生成装置100、输出图像存储部35、图像输出部45和显示部40。摄像部10是例如包含摄像机的光学系统的摄像系统，利用具有不同摄影条件的像素的单板式彩色摄像元件来拍摄同一被摄体，获得不同时间清晰度的运动图像。本实施方式中的不同时间清晰度的“运动图像”是指对于同一对象(被摄体)而言(i)短时间曝光、高帧频运动图像、即时间清晰度相对较高且曝光量相对较低的运动图像、以及(ii)长时间曝光、低帧频运动图像、即时间清晰度相对较低且曝光量相对较高的运动图像。图像生成装置100具备图像存储部20和图像生成部30。图像存储部20例如是半导体存储器，暂时存储由摄像部10拍摄的运动图像。图像生成部30是例如由硬件组装的图像处理电路(图形控制器)。图像生成部30读出在图像存储部20中存储的运动图像，根据所读出的运动图像来生成提高了颜色清晰度和帧频的新的运动图像。图像输出部45是所生成的运动图像的输出端子。例如，图像输出部45是与数据总线连接的连接器或端子。显示部40例如是液晶显示装置，显示由图像生成部30生成的新的运动图像。图像生成系统110也可以通过摄像机以外的形式实施。例如，在图像生成系统110中，图像生成装置100是具备通用的处理器和图像处理程序等的软件的PC，摄像部10可以是具备单板摄像元件的摄像机。对于其他的变形例，参照图29及图30来进行说明。接下来，详细说明图像生成装置100的图像生成部30。 图2表示图1所示的图像生成部30的内部结构。图像生成部30具备图像获取部101、运动检测部102、图像处理部103和输出部106。图像获取部101获取对同一对象(被摄体)进行摄像而得到的时间清晰度及颜色不同的运动图像。图像获取部101包括高帧频G获取部101a、低帧频G获取部101b、低帧频R获取部101c、低帧频B获取部101d。高帧频G获取部IOla获取高帧频的绿色(G)的图像。低帧频G获取部IOlb获取低帧频的绿色(G)的图像。低帧频R获取部IOlc获取低帧频的红色(R)的图像。低帧频B获取部IOld获取低帧频的蓝色(B)的图像。高帧频G获取部101a、低帧频G获取部101b、低帧频R获取部101c、低帧频B获取部IOld所获取的图像的时间清晰度及颜色不同，但都是拍摄相同的对象(被摄体)而得到的图像。在本实施方式中，假定了以绿色拍摄高帧频的运动图像，但这仅仅是一例。主要对于绿色、红色及蓝色而言，只要按光的每个波段来拍摄运动图像，则以红色或蓝色拍摄高帧频的运动图像即可。运动检测部102具有运动分布计算部102a和可靠度分布计算部102b。运动检测部102计算输入图像中的图像的运动检测和运动检测的可靠度，并输出其结果。具体而言，运动分布计算部102a基于输入到图像获取部101中的图像，以获取到的图像中的一部分图像(典型的是被摄体)作为对象，进行其运动检测。运动检测最终是以各帧的全部图像作为对象来进行的。可靠度分布计算部102b在各帧的全部图像中计算运动分布计算部102a中的运动检测的可靠度。再者，将在后面叙述可靠度分布计算部102b的具体的说明。图像处理部103根据由图像获取部101所获取的多个运动图像，生成颜色清晰度高、且帧频高的彩色运动图像。具体而言，图像处理部103具有高帧频化处理部103a、第I条件设定部103b、第2条件设定部103c、第3条件设定部103d、和第4条件设定部103e。第I至第4条件设定部设定所获取的运动图像和新生成的运动图像应满足的关系(条件)。再者，在本说明书中，将新生成的运动图像也称为“目标运动图像”。“目标运动图像”是彩色的运动图像。其中，在下文中，有时也指构成运动图像的I帧图像。第1条件设定部103b设定目标运动图像的像素值和所获取的运动图像的像素值的时间关系(从目标运动图像到所获取的运动图像的时间劣化的条件)。第2条件设定部103c设定目标运动图像和所获取的运动图像的像素值的空间关系(从所获取的运动图像到目标运动图像的空间合并的条件)。第3条件设定部103d设定针对目标运动图像的空间上的约束条件。第4条件设定部103e利用从运动检测部102获取的运动和后述的运动检测的可靠度的结果，设定针对目标运动图像的约束条件。高巾贞频化处理部103a设定将被赋予了第I至第4条件设定部103b 103e所设定的条件的运动图像作为变量的评价函数，求出使该函数值尽量小(优选最小)的图像，从而生成目标运动图像的各色运动图像RyGpBy将这样生成的运动图像作为目标运动图像来输出。输出部106是图像生成部30的输出端子。例如，在图像生成部30是图像处理电路(图形控制器)时，输出部106是与总线连接的连接器。输出部106向外部输出由图像处理部103生成的彩色图像的数据。输出目的地例如是显示部40。再者，在本实施方式的“帧”不仅包含逐行方式中的帧，还包含隔行方式中的偶数场及奇数场。接下来，说明按照以上方式构成的图像生成部30所执行的处理。图3表示图像生成装置30所执行的处理的步骤。在步骤301中，图像获取部101获取曝光时间、帧频和颜色不同的多个运动图像。具体而言，高帧频G获取部IOla获取高帧频的G运动图像，低帧频G获取部IOlb针对同一对象(被摄体)获取低帧频的G运动图像，低帧频R获取部IOlc针对同一被摄体获取低帧频的R运动图像，低帧频B获取部IOld针对同一被摄体获取低帧频的B运动图像。图4(a)示意地表示由图像获取部101获取的运动图像。图4(b)按照容易识别的方式对图4(a)的粗线正方形405区域所包含的像素进行分离表示。图4(c)表示由图像处理部103生成的高帧频彩色运动图像。在图4(a)、(c)中，按时间顺序表示所述2种运动图像的连续的帧图像，图的纵深方向表示时间轴，像素的纵深方向的厚度表示该像素的曝光时间。此外，在图4(a)、图4(c)中，由矩形的大小和密度表现空间清晰度的差异。具体而言，在图4中，粗线的正方形405、409表示拍摄相同大小的范围的区域。在图4(a)中，在该正方形405的范围内配置了 4个像素。另一方面，在图4(c)的各正方形区域409中，在正方形的区域内配置了 I个像素，与图4(c)相比，图4(a)的像素配置成为像素面积为1/4而像素密度是4倍的配置。G像素401a 401d表不由闻巾贞频G犹取部IOla犹取的4巾贞的闻巾贞频G运动图像的像素。R像素402表示由低帧频R获取部IOlc获取的I帧的低帧频R运动图像的像素。B像素403表示由低帧频B获取部IOld获取的I帧的低帧频B运动图像的像素。G像素404表示由低帧频G获取部IOlb获取的I帧的低帧频G运动图像的像素。图4(a)的低帧频图像402、403、404的曝光时间对应于G像素401a 401d的4中贞的曝光时间。图4(c)的3个正方形区域409表示对与图4(a)的正方形405的粗线所表示的正方形区域相同的范围进行拍摄而得到的R、G、B的高帧频运动图像。在图4(c)中，R图像406a 406d具有与和正方形405相同范围的G像素401a 401d的帧时间相对应的帧时间。同样，G图像407a 407d和B图像408a 408d分别具有与和正方形405相同的被摄体范围的G像素401a 401d的帧时间相对应的帧时间。根据本实施方式，图像处理部103利用在图4(a)的正方形405的范围中获取到的高帧频G运动图像的像素401a 401d、低帧频的R像素402、B像素403、G像素404的各像素，分别生成图4(c)所示的高帧频的R运动图像的像素406a 406d、G运动图像的像素407a 407d、B运动图像的像素408a 408d。这样，在本发明中，通过在要生成的RGB运动图像的各像素位置上获取密度比要生成的图像高的单板RGB图像，从而提高颜色清晰度。在此，针对以像素的高密度产生的受光量下降，利用通过比要生成的图像的帧间隔更长的曝光时间的摄影来增加曝光量并提高了灵敏度的图像，生成图像，从而能够获得同时实现颜色清晰度和灵敏度的彩色运动图像。再者，由图像获取部101获取的颜色排列并不限于上述例子，RGB的相对位置可以不同，也可以获取4种以上的颜色，只要包含2种以上的不同颜色即可。此外，与生成图像的一个像素位置对应的获取图像的像素数也并不限于上述例子那样的4个像素，也可以如图5那样按照由一部分包含高帧频像素601a 601d的16像素构成的正方区域617、和生成的运动图像的I像素的区域相对应的方式，获取图像。此外，还可以根据要生成的图像内的位置而改变颜色的种类或数目。具体如图6所示。在图6中，所生成的图像的I像素对应的粗线正方形区域6B1 6B4各自包含输入图像的多个像 素区域。并且，在正方形区域6B1/6B4的组、和正方形区域6B2/6B3的组之间，正方区域所包含的输入图像的颜色的种类和数目不同。特别地，在正方形区域6B1/6B4的组中包含“W”像素。该像素的像素值直接包含入射光的颜色成分。即，该像素的像素值包含RGB各自的颜色成分。这样，通过使不同的正方区域具有不同的颜色特性，从而多面拍摄仅靠单一正方区域的颜色特性无法拍摄的颜色和明亮度的信息，能够应对更多的照明条件、被摄体。此外，只要由图像获取部101获取的RGB图像间的摄影时刻在时间上的相对关系上是已知的，则曝光开始、曝光结束时刻不需要一定是同时。也就是说，摄像时刻的时间相位可以不同。具体而言，可以如图7那样设定低帧频长时间曝光的R像素、G像素、B像素的曝光时刻的关系。在图7中，横轴表示时间。此外，矩形表示各像素的帧，矩形的横宽表示曝光时间的长度。在图7中，对于图4(b)所示的配置的输入像素，低帧频的R、G及B的曝光时刻不相同，分别稍微错开了等间隔。曝光时刻的错开方式是任意的。例如，可以各错开与高帧频运动图像(G)的I帧时间相当的量。通过错开曝光时刻，从而图2所示的图像获取部101的低帧频G获取部101b、低帧频R获取部101c、及低帧频B获取部IOld获取各输入信号的时刻也可以同样被错开。在图7所示的曝光时刻下，拍摄了低帧频长时间曝光的R像素、G像素、B像素的情况下，需要从摄像部10向图像生成部30通知其曝光时刻的构造。为此，考虑对所发送的影像信号附加摄影条件。图8表示具有描述了摄影条件的信息的识别头210a和运动图像数据210b的影像信号210的格式的一例。摄像部10将表示摄影条件的信息保存在识别头210a中，输出将识别头210a附加在所拍摄的运动图像数据210b中的影像信号210。图像生成部30的图像获取部101接收影像信号210后，先读取识别头210a，获取摄影条件的信息。然后，基于该摄影条件获取运动图像数据210b。此外，图像处理部103基于识别头210a的摄影条件，设定第I条件设定(时间劣化的约束条件)和第2条件设定(空间合并的约束条件)。识别头210a中保存的图像的摄影条件的信息是每个颜色(RGB)及每个像素位置的曝光时间、帧频、RGB像素的曝光时刻的相对时间差(时间相位差)、与这些建立了对应关系的数值或符号。在图像获取部101接收数字信号的情况下，识别头210a是数字数据。由此，对于表示摄影条件的曝光时间、帧频、RGB像素的曝光时刻的相对时间差等值，可以用数字值直接表示。或对应的摄像元件内的电压、电荷量、电流值(模拟值)可以四舍五入为规定的有效位数，其值由数字值表示。另一方面，在图像获取部101接收模拟影像信号的情况下，以摄像元件内的电压、电荷量、电流值等模拟值来表现上述信息，或者由与它们建立了对应关系的数值或符号来表现上述信息。
这样根据像素而改变曝光开始、曝光结束时刻，从而错开来自摄像元件的像素值的读出时刻，能够提高信号线的传输效率。此外，对根据像素改变曝光开始、曝光结束时刻而得到的信息进行合并来生成新的图像，从而获得时间清晰度高的运动图像。能够通过具有RGB滤色器排列的单板摄像元件拍摄由图像获取部101获取的图像。图9(a)及(b)表示具有RGB滤色器排列的单板摄像元件701的结构。图9 (b)表示从光的入射方向观察时的滤色器排列。通过利用该单板摄像元件701，能够根据像素位置以不同的帧频、曝光时间进行拍摄，在摄像后可生成同等的图像。再者，图9(a)及(b)所示的单板摄像元件701是一例。除了 RGB滤色器排列之外，也可以利用包含在图6中所说明的“W”像素的排列。再次参照图3。在步骤302中，运动检测部102对构成目标运动图像的各图像的每个像素的运动进行检测，并计算其运动检测的可靠度。作为运动检测处理，在本实施方式中，在从高帧频G获取部IOla得到的运动图像的各帧图像的各位置上，运动检测部102求出被摄体的运动方向和大小，然后一起求得所求出的运动检测的可靠度的时间空间上的分布conf(X，y, t)。在此，所谓运动检测的可靠度是指可靠度越高则运动检测的结果似乎越正确，而可靠度较低的情况下运动检测的结果中越有错误。在本实施方式中，将高帧频G图像用于运动检测中。这是因为高帧频图像能够检测更详细的运动。相邻的2帧图像间的图像上的各位置处的运动的求取方法可采用例如P.ANANDAN,uk Computational Framework and an Algorithm for the Measurement ofVisual Motion”、IJCV、2、283-310 (1989)中使用的方法、在运动图像编码中一般釆用的运动检测方法、在利用了图像的移动体跟踪等中采用的特征点跟踪方法等。此外，也可以采用检测图像整体的大区域的运动(仿射运动等)一般方法、Lihi Zelkik-Manor、“Mult1-body Segmentation Revisinting Motion Consistency，，、ECCV(2002)等方法，来进行多个区域中的每个区域的运动检测，进而用作各像素位置处的运动。说明基于块匹配的2帧图像间的运动检测方法。图10 (a)及(b)分别表示与运动检测处理相关的帧编号t和t+Ι中的像素配置。在此，将图10(a)的黑像素2401作为关注像素，通过如下步骤来决定该像素与下一帧图像的哪个像素对应(移动到哪里)。首先，设定以关注像素2401为中心的块区域2402(3X3像素的斜线区域)。该块尺寸被预先确定。接下来，在下一帧图像(图10(b))中设定与所述块区域相同尺寸(3X3像素)的区域2403，并求出区域2402和区域2403的像素值的SSD (Sum of SquaredDifferences)或者 SAD(Sum of Absolute Differences)。之后，在图 10(b)图像内按每 I像素改变区域2403的位置，将SSD或者SAD最小时的区域2403的中心像素位置作为与像素2401对应的像素位置(运动向量的目的地)。以上是针对像素2401的运动检测结果。改变关注像素，针对图10(a)的全部像素反复进行同样的步骤。由此，针对图10(a)的帧图像的运动检测结束。针对连续的帧图像中的相邻的帧图像，依次进行运动检测，从而运动图像整体的运动检测结束。可靠度也可以利用上述P. ANANDAN文献中记载的方法来求得，在使用了块匹配的运动检测的情况下，如(式I)那样，作为可靠度，也可以使用从与运动对应的块间的像素值之差的平方和能取的最大值SSDmax中减去所述差的平方和而得到的值，即将块间的像素值之差的平方和的符号取逆之后的值conf(x，y, t)。此外，在使用了图像的大区域的运动检测或每个区域的运动检测的情况下，作为可靠度，也可以使用从各像素位置的运动的起点附近区域和终点附近区域的像素值之差的平方和能取的最大值SSDmax中减去所述平方和而得到的值conf (X, y, t)。式I
权利要求
1.一种图像生成装置，其根据利用对第I颜色成分的光及第2颜色成分的光进行检测的单板彩色摄像元件而拍摄到的、表示被摄体的第I颜色成分的运动图像的第I运动图像以及表示所述被摄体的第2颜色成分的运动图像的第2运动图像，来生成表示所述被摄体的新的运动图像，其中，以比所述第2运动图像长的曝光时间拍摄所述第I运动图像，从而所述第I运动图像的帧频比所述第2运动图像的帧频低，所述图像生成装置具备获取部，其获取所述第I运动图像及所述第2运动图像的各影像信号；处理部，其基于获取到的所述第I运动图像及所述第2运动图像的各影像信号，生成具有与所述第2运动图像的帧频相同帧频的新的运动图像；和输出部，其输出所述新的运动图像。
2.根据权利要求1所述的图像生成装置，其中，所述获取部获取所述第I颜色成分及所述第2颜色成分相同的所述第I运动图像及所述第2运动图像的各影像信号。
3.根据权利要求2所述的图像生成装置，其中，所述获取部获取绿的所述第I运动图像及绿的所述第2运动图像的各影像信号。
4.根据权利要求1所述的图像生成装置，其中，所述获取部获取绿的所述第I运动图像的影像信号、以及包含绿在内的多个颜色成分的所述第2运动图像的影像信号。
5.根据权利要求3所述的图像生成装置，其中，绿的波段包含第I波段及第2波段，所述获取部获取所述第I波段的所述第I运动图像的影像信号、以及所述第2波段的所述第I运动图像的影像信号。
6.根据权利要求1所述的图像生成装置，其中，所述单板彩色摄像元件检测所述第I颜色成分的光、所述第2颜色成分的光、第3颜色成分及第4颜色成分的光，所述第I颜色成分及所述第2颜色成分是相同的颜色成分，所述第3颜色成分及所述第4颜色成分不同于所述第I颜色成分及所述第2颜色成分， 并且所述第3颜色成分及所述第4颜色成分互不相同，所述获取部还获取具有与所述第2运动图像的帧频相同帧频的第3运动图像及第4运动图像的影像信号，所述处理部进一步基于所述第3运动图像及所述第4运动图像的各影像信号，生成具有与所述第2运动图像的帧频相同帧频的新的运动图像。
7.根据权利要求6所述的图像生成装置，其中，所述获取部获取绿的所述第I运动图像的影像信号、绿的所述第2运动图像的影像信号、红的所述第3运动图像的影像信号、以及蓝的所述第4运动图像的影像信号。
8.根据权利要求6所述的图像生成装置，其中，所述获取部获取绿的所述第I运动图像的影像信号、包含红、绿、蓝的颜色成分的所述第2运动图像的影像信号、红的所述第3运动图像的影像信号、以及蓝的所述第4运动图像的影像信号。
9.根据权利要求6所述的图像生成装置，其中，所述获取部至少在不同的时刻获取所述第2运动图像及所述第3运动图像的各影像信号。
10.根据权利要求9所述的图像生成装置，其中，所述获取部针对所述第2运动图像、所述第3运动图像及所述第4运动图像的各个运动图像获取包含识别头和各运动图像数据在内的影像信号，该识别头包含曝光时刻的时间差的信息。
11.根据权利要求6所述的图像生成装置，其中，所述处理部根据利用所述单板彩色摄像元件上的相邻的4个像素拍摄到的、所述第I 运动图像的多个帧的像素、所述第2运动图像的I帧的像素、所述第3运动图像的I帧的像素及所述第4运动图像的I帧的像素，来生成所述新的运动图像的所述第I颜色成分、所述第3颜色成分及所述第4颜色成分的多个帧的各像素。
12.根据权利要求1至11的任一项所述的图像生成装置，其中，所述处理部生成的所述新的图像的像素数比所述单板彩色摄像元件的像素数少。
13.根据权利要求1至11的任一项所述的图像生成装置，其中，所述处理部生成的所述新的图像的像素数少于所述第I运动图像的像素数与所述第2 运动图像的像素数之和。
14.根据权利要求1所述的图像生成装置，其中，所述处理部生成在所述第I运动图像与包含在所述新的运动图像中的所述第I颜色成分的运动图像之间满足第I条件、第2条件以及第3条件的运动图像，该第I条件表示对应的各像素位置处的时间上的总光量应一致，该第2条件表示空间上的总光量应一致，该第3 条件是与相邻的像素的颜色的连续性相关的条件。
15.根据权利要求14所述的图像生成装置，其中，所述处理部设定表示各像素位置处的所述第I运动图像的I帧的总光量、和与所述第 I运动图像的I帧时间相当的所述新的运动图像的多个帧的总光量应一致的第I条件。
16.根据权利要求14所述的图像生成装置，其中，所述图像生成装置还具备运动检测部，其检测所述第2运动图像中的被摄体的运动， 将检测结果作为运动向量来输出，进一步利用所述运动检测部的检测结果，所述处理部设定表示沿着所述运动向量的所述新的运动图像内的像素值应一致的第4条件，并生成满足所述第I条件至所述第4条件的运动图像。
17.根据权利要求1至16的任一项所述的图像生成装置，其中，所述第I运动图像的颜色成分和所述第2运动图像的颜色成分包含同一颜色成分， 所述摄像部对构成所述单板彩色摄像元件的同一水平行的像素以相同的曝光期间进行拍摄。
18.根据权利要求17所述的图像生成装置，其中，所述摄像部输出具有与所述第2运动图像的第2颜色成分不同的第3颜色成分的第3 运动图像的影像信号，该第3运动图像是以与所述第2运动图像的帧频相同的帧频进行拍摄、且以与所述第2运动图像的曝光时刻不同的曝光时刻进行拍摄而得到。
19.一种图像生成系统，具备摄像部，其具有对第I颜色成分的光及第2颜色成分的光进行检测的单板彩色摄像元件；权利要求1至16的任一项所述的图像生成装置；和图像输出部，其输出从所述图像生成装置输出的所述新的运动图像，所述摄像部利用所述单板彩色摄像元件来拍摄表示被摄体的第I颜色成分的运动图像的第I运动图像、以及表示所述被摄体的第2颜色成分的运动图像的第2运动图像的各影像信号，且以比所述第2运动图像长的曝光时间拍摄所述第I运动图像，从而所述第I运动图像的帧频比所述第2运动图像的帧频低。
20.一种图像生成系统，具备权利要求1至16的任一项所述的图像生成装置；图像输出部，其输出从所述图像生成装置输出的所述新的运动图像；和显示装置，其显示从所述图像输出部输出的所述新的运动图像。
21.根据权利要求20所述的图像生成系统，其中，所述图像生成装置经由存储卡、天线及网络中的至少一个，获取所述第I运动图像及所述第2运动图像的各影像信号。
22.—种图像生成方法，根据利用对第I颜色成分的光及第2颜色成分的光进行检测的单板彩色摄像元件而拍摄到的、表示被摄体的第I颜色成分的运动图像的第I运动图像以及表示所述被摄体的第2颜色成分的运动图像的第2运动图像，来生成表示所述被摄体的新的运动图像，以比所述第2运动图像长的曝光时间拍摄所述第I运动图像，从而所述第I运动图像的帧频比所述第2运动图像的帧频低，所述图像生成方法包括获取所述第I运动图像及所述第2运动图像的各影像信号的步骤；基于所获取的所述第I运动图像及所述第2运动图像的各影像信号来生成具有与所述第2运动图像的帧频相同帧频的新的运动图像的步骤；和输出所述新的运动图像的步骤。
23.一种计算机程序，是由安装在图像生成装置中的计算机所执行的程序，通过执行所述计算机程序，所述图像生成装置根据利用对第I颜色成分的光及第2颜色成分的光进行检测的单板彩色摄像元件拍摄到的、表示被摄体的第I颜色成分的运动图像的第I运动图像以及表示所述被摄体的第2颜色成分的运动图像的第2运动图像，来生成表示所述被摄体的新的运动图像，以比所述第2运动图像长的曝光时间拍摄所述第I运动图像，从而所述第I运动图像的帧频比所述第2运动图像的帧频低，所述计算机程序使安装于所述图像生成装置中的计算机执行如下步骤获取所述第I运动图像及所述第2运动图像的各影像信号的步骤；基于所获取的所述第I运动图像及所述第2运动图像的各影像信号来生成具有与所述第2运动图像的帧频相同帧频的新的运动图像的步骤；和输出所述新的 运动图像的步骤。
全文摘要
本发明提供一种图像生成装置、图像生成系统以及方法，根据利用单板摄像元件所拍摄的运动图像，获得同时实现了颜色清晰度的提高和灵敏度(曝光量、S/N)提高的高画质运动图像。该图像生成装置根据利用对第1颜色成分的光及第2颜色成分的光进行检测的单板彩色摄像元件而拍摄到的、表示被摄体的第1颜色成分的运动图像的第1运动图像以及表示被摄体的第2颜色成分的运动图像的第2运动图像，来生成表示被摄体的新的运动图像。以比第2运动图像长的曝光时间拍摄第1运动图像，从而第1运动图像的帧频比第2运动图像的帧频低。图像生成装置具备获取第1运动图像及第2运动图像的各影像信号的获取部、基于所获取的第1运动图像及第2运动图像的各影像信号来生成具有与第2运动图像的帧频相同帧频的新的运动图像的处理部、和输出新的运动图像的输出部。
文档编号H04N9/07GK103053163SQ20118003747
公开日2013年4月17日 申请日期2011年11月30日 优先权日2010年12月16日
发明者今川太郎, 吾妻健夫, 鹈川三藏, 冈田雄介 申请人:松下电器产业株式会社