图像处理装置和图像处理方法与流程

本技术涉及图像处理装置和图像处理方法，并且是可自由地并且容易地改变立体视觉的方向的技术。

背景技术：
在相关领域内，已经广泛地使用内窥镜，以便观察体腔或管道内部。作为内窥镜，存在着软管内窥镜和硬管内窥镜，软管内窥镜可通过将柔性插入单元插入弯管、体腔等等内来观察内部，硬管内窥镜可通过将刚性插入单元直线地插入目标部分中来观察内部。作为软管内窥镜，例如，存在着光学内窥镜（其中，使用光纤，将在前端上使用成像光学系统成像的光学图像传输至目镜单元），或者存在着电子内窥镜（其中，通过在前端设置成像光学系统和成像元件，利用成像元件将使用成像光学系统成像的主体的光学图像转换成电信号而传输至外部监视器）。在硬管内窥镜中，使用中继光学系统将主体的光学图像传输至目镜单元，其中，通过从前端链接透镜系统来配置该中继光学系统。而且，作为内窥镜，立体视觉内窥镜已经商业化，以便容易地观察管道、体腔等等内的内壁表面上微小的不规则物。例如，在日本未经审查的专利申请公开号06-059199中，使用瞳孔分割棱镜将使用中继光学系统传输的主体的光学图像分成绕该中继光学系统的光轴的左主体光学图像和右主体光学图像。而且，使用成像元件分别将使用瞳孔分割棱镜分割的左主体光学图像和右主体光学图像转换成图像信号。此外，瞳孔分割棱镜和两个成像元件使用旋转机构绕中继光学系统的光轴旋转。通过这样配置内窥镜，能够在立体视觉内自由地改变方向，而不移动内窥镜。

技术实现要素：
同时，当采用以下配置：即，使用瞳孔分割棱镜将物体的光学图像分成绕中继光学系统的光轴的左主体光学图像和右主体光学图像的配置，或 瞳孔分割棱镜和两个成像元件绕中继光学系统的光轴旋转的配置时，内窥镜等等的光学系统变大，进而难以进行微型化。此外，由于瞳孔分割棱镜和两个成像元件机械旋转，所以人们担心由于图像旋转会容易发生故障等等。此外，由于使用机械旋转机构，所以难以容易地并且高精度地进行调节。此外，为了补偿装配误差、时间造成的退化、温度变化等等，使用校准。最好提供一种可自由容易地改变立体视觉的方向的图像处理装置、图像处理方法及其程序。根据本技术的第一实施方式，提供了一种图像处理装置，包括：图像选择单元，根据视点旋转角从具有不同视点的多个视点图像中选择视点图像；以及加法处理单元，通过添加图像选择单元中所选择的视点图像，生成具有新视点的视点图像。在本技术中，具有不同视点的多个视点图像，例如，具有不同视点的多个视点图像是根据包括通过成像单元的成像光学系统输入的光束的通道信息和光束的光量信息的光束信息生成的。此外，在图像选择单元内的每个区域内，从具有不同视点的多个视点图像中选择根据视点旋转角设置的多个视点区域内所包含的视点的视点图像，例如，左眼图像的视点区域和右眼图像的视点区域。在加法处理单元内的每个区域内，添加每个区域内所选择的视点图像，并且生成具有新视点的视点图像，例如，左眼图像和右眼图像。此外，选择所有的视点图像，或者选择具有左眼图像和右眼图像的视点区域内所包含的视点的视点图像，从而通过添加所选择的视点图像，生成平面图像。而且，通过控制左眼图像的视点区域和右眼图像的视点区域之间的间隙，调节左眼图像和右眼图像的视差量。增益调节与相对于通过添加视点图像所生成的具有新视点的视点图像添加的视点图像的数量对应，即，在这种增益调节内，所添加的视点图像的数量较小时将增益设置为较高，进而排除了由于所添加的视点图像的数量差异造成的影响。此外，通过根据视点旋转角执行图像旋转处理，根据视点旋转角确定具有新视点的视点图像的方向。设置视点旋转角时，例如，设置成像单元相对于重力方向和初始方向中的任一个的角度、在成像单元内成像的图像旋转时变为与参考图像最相似的图像的角度、或用户指定的角度作为视点旋转角。此外，通过设置图像解码单元（其对于通过对具有不同视点的多个视点图像执行编码处理所生成的编码信号执行解码处理），并使用具有不同视点的多个视点图像的图像信号（其通过对编码信号执行解码处理所获得）生成具有新视点的视点图像。根据本技术的第二实施方式，提供了一种图像处理方法，包括：根据视点旋转角从具有不同视点的多个视点图像中选择视点图像；以及通过添加所选择的视点图像，生成具有新视点的视点图像。根据本技术，根据视点旋转角从具有不同视点的多个视点图像中选择视点图像，并且添加所选的视点图像，从而生成具有新视点的视点图像。因此，改变视点旋转角时，通过添加根据视点旋转角所选择的所选视点图像，生成左眼图像和右眼图像，从而能够容易自由地改变立体视觉的方向。附图说明图1A到1C为示出了内窥镜的示图；图2为示出了应用图像处理装置的内窥镜装置的配置实例的示图；图3为示出了光场照相机的配置实例的示图；图4为多个视点图像的示例图；图5A和5B为例证视点设置的示图；图6为示出了视点1的图像处理单元的配置实例的示图；图7为示出了图像选择单元的配置实例的示图；图8为示出了视点旋转角设置单元的配置实例的示图；图9为示出了内窥镜中的一部分图像处理操作的流程图；图10A到10D为例证旋转角和图像选择单元内所选择的视点图像（视点的数量为“256”时）之间的关系的示图；图11A到11D为例证旋转角和图像选择单元内所选择的视点图像（视点的数量为“16”时）之间的关系的示图；图12为示出了内窥镜的配置实例的示图；图13为示出了内窥镜的一部分操作的流程图；图14为示出了图像处理装置的配置实例的示图；图15为例证图像处理装置的操作的流程图；图16A到16C为例证在水平方向旋转视点时的操作的示图；图17A到17C为例证执行视差调节时的操作的示图；图18是将视点设为四组时的示图；图19是将视点设为八组时的示图；以及图20为示出了二维加法处理单元的示图。具体实施方式在后文中，描述本技术的实施方式。此外，按照以下顺序进行描述。1、第一实施方式2、第二实施方式3、其他实施方式1、第一实施方式1-1、内窥镜的外观图1A到1C示出了内窥镜。图1A为硬管内窥镜的外观，图1B示出了软管内窥镜的外观，图1C示出了胶囊内窥镜的内部配置。硬管内窥镜包括插入观察目标内的插入单元11a、由用户把持的把持部12、以及成像单元23。插入单元11a包括图像引导轴以及光导纤维。通过设置在光导纤维和插入单元11a的前端的成像透镜，将光源单元（稍后描述）发出的光照射到观察目标。此外，通过成像透镜以及图像引导轴内的中继光学系统，将观察目标的主体光输入到成像单元23。与硬管内窥镜相似，软管内窥镜也包括插入观察目标内的插入单元11b、由用户把持的把持部12、以及成像单元23。软管内窥镜的插入单元11b具有柔性，并且在前端设置有成像光学系统22或者成像单元23。胶囊内窥镜在外壳13内（例如）设置有光源单元21、成像光学系统22、成像单元23、执行稍后描述的各种信号处理的处理单元91、在处理之后执行发送图像信号等的无线通信单元92、电源单元93等。1-1、内窥镜装置的配置图2示出了应用根据本技术的实施方式的图像处理装置的内窥镜装置的配置实例。内窥镜装置10包括光源单元21、成像光学系统22、成像单元23、图像分割单元24、视点1到n的图像处理单元30-1到30-n、以及图像选择单元61。内窥镜装置10进一步包括加法处理单元71L和71R、增益调节单元72L和72R、图像质量改进处理单元73L和73R、旋转处理单元74L和74R、伽玛校正单元75L和75R、以及视点旋转角设置单元81。光源单元21向观察目标发出照明光。成像光学系统22由聚焦透镜、变焦透镜等等配置，并且促使形成照明光所照射的观察目标的光学图像（主体光学图像），作为成像单元23内的图像。在成像单元23内，所使用的光场照相机能够记录不仅包括输入光的光量信息而且包括输入光的通道信息（输入光的方向）的光束信息（光场数据）。图3示出了光场照相机的配置实例。光场照相机在诸如CCD（电荷耦合装置）、CMOS（互补金属氧化物半导体）的图像传感器231的正前方设置有微透镜阵列230。微透镜阵列230安装在成像光学系统22的聚焦平面FP的位置。此外，将成像光学系统22的位置设为相对于微透镜阵列230的微透镜认为是无限远的距离。安装图像传感器231，从而其传感器平面位于与微透镜阵列230相距微透镜的焦距fmc的后侧（成像光学系统22的相反侧）。配置微透镜阵列230的每个微透镜2301和图像传感器231，从而相对于每个微透镜2301包括图像传感器231的多个像素。在具有这种配置的光场照相机内，穿过微透镜2301输入到像素的输入光的像素位置根据输入方向而改变。因此，通过使用光场照相机，能够生成包含输入光的光量信息和通道信息的光束信息。此外，由于光场照相机被配置使得相对于每个微透镜2301包括图像传感器231的多个像素，所以能够获得具有不同视点位置的多个视点图像。图4为多个视点图像的说明图。使用光束信息生成视点图像时，在每个微透镜内提前计算视点和像素之间的关系。例如，计算在成像光学系统 22内通过视点VP输入到微透镜2301-a的输入光输入到哪个像素（在图4中，示出了输入到像素231-avp的情况）。同样，也计算通过视点VP输入到微透镜2301-b的输入光输入到哪个像素（在图4中，示出了输入到像素231-bvp的情况）。此外，对于其他微透镜2301而言，也提前计算通过视点VP的输入光所输入的像素位置。这样，计算通过视点VP输入到微透镜中的输入光输入到哪个像素位置时，通过读取每个微透镜2301内与视点VP相应的像素的像素信号，能够生成视点VP的视点图像。在本文中，每个微透镜包含16×16像素时，相对于一个微透镜能够获得具有不同视点位置的“256”个视点图像的像素信号。此外，微透镜的数量与每个视点图像内像素的数量相同，并且例如，在微透镜阵列为1024×1024的情况下，每个视点图像具有的像素为1024×1024像素，并且成像元件的整个像素的数量变成16k×16k=256M。同样，每个微透镜包含8×8像素时，能够相对于一个微透镜获得具有不同视点位置的“64”个视点图像的像素信号。此外，微透镜的数量与每个视点图像内像素的数量相同，并且例如，在微透镜阵列为1024×1024的情况下，每个视点图像具有的像素为1024×1024像素，并且成像元件的整个像素的数量变成8k×8k=64M。每个微透镜包含4×4像素时，相对于一个微透镜获得具有不同视点位置的“16”个视点图像。此外，微透镜的数量与每个视点图像内像素的数量相同，并且例如，在微透镜阵列为1024×1024的情况下，每个视点图像具有的像素为1024×1024像素，并且成像元件的整个像素的数量变成4k×4k=16M。此外，在后文中描述的内窥镜内的图像处理操作中，描述图5A中所述的16×16视点（视点1到视点256）以及图5B中所述的4×4视点（视点1到视点16）。图像分割单元24在每个视点内分割成像单元23中生成的光束信息，并且生成多个视点图像的图像信号。图像分割单元24生成例如视点1图像到视点n图像的图像信号。图像分割单元24将视点1图像的图像信号 输出至视点1图像处理单元30-1。同样，图像分割单元24将视点2（到n）图像的图像信号输出到视点2（到n）图像处理单元30-2（到n）。视点1图像处理单元30-1到视点n图像处理单元30-n对于从图像分割单元24中提供的视点图像的图像信号进行图像处理。图6示出了视点1图像处理单元的配置实例。此外，视点2图像处理单元30-2到视点n图像处理单元30-n也与视点1图像处理单元30-1具有相同的配置。视点1图像处理单元30-1包括缺陷校正单元31、黑电平校正单元32、白平衡调节单元33、阴影校正单元34、去马赛克处理单元35、以及透镜畸变校正单元36。缺陷校正单元31对于成像元件的缺陷像素执行信号校正处理，并且将校正的图像信号输出至黑电平校正单元32。黑电平校正单元32执行箝位处理，其中，调节图像信号的黑电平，并且在箝位处理之后，将图像信号输出至白平衡调节单元33。白平衡调节单元33执行图像信号的增益调节，从而输入图像上白色主体的红色、绿色和蓝色的每个彩色分量与白色的每个彩色分量相同。进行白平衡调节之后，白平衡调节单元33将图像信号输出至阴影校正单元34。阴影校正单元34对透镜外围的光量下降进行校正，并且进行校正之后，将图像信号输出至去马赛克处理单元35。去马赛克处理单元35使用其外围的像素，通过内插生成在间歇设置内忽略的具有像素的彩色分量的信号，即，根据成像单元23内所使用的滤色器的颜色设置具有不同空间相位的像素信号。进行去马赛克处理之后，去马赛克处理单元35将图像信号输出至透镜畸变校正单元36。透镜畸变校正单元36校正在成像光学系统22内发生的畸变等等。这样，视点1图像处理单元30-1对于视点1图像的图像信号执行各种校正处理、调节处理等等，并且进行处理之后，将图像信号输出至图像选择单元61。此外，通过增加另一种处理，或者通过消除一部分工序，可使用一种不同的顺序来配置视点1图像处理单元30-1到视点n图像处理单元30-n，而不限于按照图6中的配置顺序执行处理的情况。图像选择单元61根据视点旋转角从具有不同视点的多个视点图像中选择视点图像。图像选择单元61设置多个视点区域，例如，根据视点旋转角设置单元81内设置的旋转角来设置左眼图像的视点区域和右眼图像的视点区域，并且选择每个区域内所设置的视点区域内所包含的视点的视点图像。图像选择单元61将具有左眼图像的视点区域内所包含的视点的视点图像输出至加法处理单元71L，并且将具有右眼图像的视点区域内所包含的视点的视点图像输出至加法处理单元71R。如图8所示，图像选择单元61包括图像选择表611和矩阵切换单元612。通过将信息制成表格，图像选择表611储存与旋转角对应的图像选择信息。图像选择信息为用于在矩阵切换单元612内选择加法处理单元71L和71R中添加的视点图像的图像信号的信息，以便生成与加法处理单元71L和71R内的旋转角对应的左眼图像和右眼图像的图像信号。图像选择表611将与视点旋转角设置单元81内设置的旋转角对应的图像选择信息输出至矩阵切换单元612。此外，通过计算旋转角的每个设置内的图像选择信息，图像选择单元61可将图像选择信息输出至矩阵切换单元612，无需使用图像选择表611。矩阵切换单元612根据图像选择信息进行切换，选择视点图像的图像信号，以便从视点1图像到视点n图像的图像信号中生成与旋转角对应的左眼图像，并且将图像信号输出至加法处理单元71L。此外，矩阵切换单元612根据图像选择信息进行切换，选择视点图像的图像信号，以便从视点1图像到视点n图像的图像信号中生成与旋转角对应的右眼图像，并且将图像信号输出给加法处理单元71R。返回图2，通过添加从图像选择单元61中提供的视点图像，加法处理单元71L生成左眼图像的图像信号。加法处理单元71L将所生成的左眼图像的图像信号输出至增益调节单元72L。通过添加从图像选择单元61中提供的视点图像，加法处理单元71R生成右眼图像的图像信号。加法处理单元71R将所生成的右眼图像的图像信号输出至增益调节单元72R。增益调节单元72L对于左眼图像的图像信号执行与旋转角对应的增益调节。通过在加法处理单元71L内添加图像选择单元61内所选择的图像信号，生成左眼图像的图像信号。因此，在图像选择单元61内所选择 的视点图像的数量较小时，图像信号的信号电平变小。因此，增益调节单元72L根据生成左眼图像的图像信号时添加的视点图像的数量，执行增益调节，并且去除由于所添加的视点图像的数量差异造成的影响。进行增益调节之后，增益调节单元72L将图像信号输出至图像质量改进处理单元73L。与增益调节单元72L一样，增益调节单元72R对于右眼图像的图像信号执行与旋转角对应的相同的增益调节，根据添加的视点图像的数量，执行增益调节，并且消除由于所添加的视点图像的数量差异造成的影响。进行增益调节之后，增益调节单元72R将图像信号输出至图像质量改进处理单元73R。图像质量改进处理单元73L使用分类适应处理等等，执行高分辨率的图像。例如，通过提高锐度、对比度、颜色等等，图像质量改进处理单元73L生成具有高分辨率的图像信号。进行图像质量改进处理之后，图像质量改进处理单元73L将图像信号输出至旋转处理单元74L。类似于图像质量改进处理单元73L，图像质量改进处理单元73R使用分类适应处理等等，执行高分辨率的图像，并且进行图像质量改进处理之后，将图像信号输出至旋转处理单元74R。旋转处理单元74L旋转左眼图像。旋转处理单元74L根据旋转角进行旋转处理，并且旋转所生成的左眼图像的方向。旋转之后，旋转处理单元74L将左眼图像的图像信号输出给伽玛校正单元75L。旋转处理单元74R旋转右眼图像。旋转处理单元74R根据旋转角进行旋转处理，并且旋转所生成的右眼图像的方向。旋转之后，旋转处理单元74R将右眼图像的图像信号输出给伽玛校正单元75R。伽玛校正单元75L根据进行成像图像的图像显示的显示装置的伽玛特征对左眼图像进行校正处理，并且将经历伽玛校正的左眼图像的图像信号输出给显示装置等等。伽玛校正单元75R根据进行成像图像的图像显示的显示装置的伽玛特征对右眼图像进行校正处理，并且将经历伽玛校正的右眼图像的图像信号输出给显示装置等等。在左眼图像和右眼图像生成时，视点旋转角设置单元81设置视点旋转角。图7示出了视点旋转角设置单元的配置实例。视点旋转角设置单元81包括用户接口单元811、旋转角检测单元812、重力方向检测单元813、图像匹配处理单元814、以及旋转角选择单元815。使用操作开关等等配置用户接口（I/F）单元811，并且该单元将由用户操作设置的旋转角输出至旋转角选择单元815。旋转角检测单元812对于初始位置检测旋转角。旋转角检测单元812包括（例如）角度传感器（诸如，陀螺仪传感器），使用角度传感器从初始位置中检测成像单元23的旋转角，并且将所检测的旋转角输出给旋转角选择单元815。重力方向检测单元813检测重力方向。使用例如倾斜仪、加速计等等，配置重力方向检测单元813，并且该单元检测重力方向。此外，重力方向检测单元813将成像单元23相对于重力方向的角度输出给旋转角选择单元815，作为旋转角。图像匹配处理单元814使用成像单元23内生成的光束信息，生成二维成像的图像。此外，图像匹配处理单元814相对于所生成的成像图像、从外部装置中提供的参考图像等等，进行主体检测。而且，图像匹配处理单元814将旋转角输出给旋转角选择单元815，其中，在该旋转角内，通过旋转成像图像，从成像的图像中检测的所需要的主体最靠近从参考图像中检测的所需要的主体的位置。通过根据例如用户操作、或所提供的旋转角的内窥镜的操作设置，选择旋转角，旋转角选择单元815设置旋转角。视点旋转角设置单元81通知图像选择单元61和旋转处理单元74L和74R所设置的旋转角。此外，内窥镜装置的配置不限于图2中所示出了的配置，并且例如可为未设置图像质量处理单元的配置。此外，处理顺序也不限于图2中所示出了的配置，并且例如，在进行增益调节之前，也能够进行旋转处理。此外，这同样适用于后文中要描述的图像处理单元50。1-2、内窥镜装置内的图像处理操作随后，描述内窥镜装置内的图像处理操作。图9为示出了内窥镜装置内的一部分图像处理操作的流程图。在生成光束信息时，在步骤ST1中，内窥镜装置10进行图像分割处理。通过在每个微透镜内的每个视点内分割光束信息，内窥镜装置10在每个视点内生成视点图像的图像信号，并且继续进入步骤ST2。在步骤ST2中，内窥镜装置10进行视点图像处理。内窥镜装置10在每个视点图像内进行图像信号的信号处理，并且继续进入步骤ST3。在步骤ST3中，内窥镜装置10设置旋转角。通过选择根据用户操作设置的旋转角、相对于初始位置的旋转角、相对于重力方向的旋转角、以及图像匹配所检测的旋转角中的任一个，内窥镜装置10设置旋转角，并且继续进入步骤ST4。在步骤ST4中，内窥镜装置10选择视点图像。内窥镜装置10从表格中读出与所设置的旋转角相应的图像选择信息，或者计算旋转角的每个设置内的图像选择信息，并且选择生成左眼图像的图像信号时使用的视点图像以及根据图像选择信息生成右眼图像的图像信号时所使用的视点图像。在步骤ST5中，内窥镜装置10进行添加处理。内窥镜装置10添加针对生成左眼图像所选择的视点图像，并且生成左眼图像的图像信号。此外，内窥镜装置10添加针对生成右眼图像所选择的视点图像，生成右眼图像的图像信号，并且继续进入步骤ST6。在步骤ST6中，内窥镜装置10进行增益调节。根据生成左眼图像和右眼图像时要添加的视点图像的数量，内窥镜装置10对左眼图像或右眼图像的图像信号进行增益调节。即，随着所添加的视点图像的数量下降，增益增大，内窥镜装置10消除由于所添加的视点图像的数量差异造成的影响，并且继续进入步骤ST7。在步骤ST7中，内窥镜装置10进行图像旋转处理。内窥镜装置10将所生成的左眼图像和右眼图像旋转到与旋转角对应的方向。随后，详细描述内窥镜装置内的图像处理操作。图10A到10D示出了旋转角和图像选择单元内所选择的视点图像之间的关系。此外，图像选 择单元61的图像选择表格611储存表示根据旋转角选择的视点图像的图像选择信息。此外，在图10A到10D中，示出了视点数量为“256”的情况。如图10A中所示，旋转角为“0°”时，图像选择单元61选择区域AL-0内所包含的视点的视点图像并且将视点图像输出给加法处理单元71L，选择区域AR-0内所包含的视点的视点图像并且将视点图像输出给加法处理单元71R。如图10B中所示，旋转角为“90°”时，图像选择单元61选择区域AL-90内所包含的视点的视点图像并且将视点图像输出给加法处理单元71L，选择区域AR-90内所包含的视点的视点图像并且将视点图像输出给加法处理单元71R。如图10C中所示，旋转角为“45°”时，图像选择单元61选择区域AL-45内所包含的视点的视点图像并且将视点图像输出给加法处理单元71L，选择区域AR-45内所包含的视点的视点图像并且将视点图像输出给加法处理单元71R。如图10D中所示，旋转角为“53°”时，图像选择单元61选择区域AL-53内所包含的视点的视点图像并且将视点图像输出给加法处理单元71L，选择区域AR-53内所包含的视点的视点图像并且将视点图像输出给加法处理单元71R。此外，在图10C和10D中，没有虚线的视点表示生成左眼图像和右眼图像时未使用的视点图像。图11A到11D示出了视点数量为“16”的情况。如图11A中所示，旋转角为“0°”时，图像选择单元61选择区域AL-0内所包含的视点的视点图像，并且将视点图像输出给加法处理单元71L，选择区域AR-0内所包含的视点的视点图像，并且将视点图像输出给加法处理单元71R。如图11B中所示，旋转角为“90°”时，图像选择单元61选择区域AL-90内所包含的视点的视点图像，并且将视点图像输出给加法处理单元71L，选择区域AR-90内所包含的视点的视点图像，并且将视点图像输出给加法处理单元71R。如图11C中所示，旋转角为“45°”时，图像选择单元61选择区域AL-45内所包含的视点的视点图像，并且将视点图像输出给加法处理单元71L，选择区域AR-45内所包含的视点的视点图像，并且将视点图像输出给加法处理单元71R。如图11D中所示，旋转角为“53°”时，图像选择单元61选择区域AL-53内所包含的视点的视点图像，并且将视点图像输出给加法处理单元71L，选择区域AR-53内所包含的视点的视点图像，并且将视点图像输出给加法处理单元71R。这样，根据旋转角选择视点图像时，通过添加所选的视点图像所生成的左眼图像和右眼图像为视点绕成像光学系统22的光轴旋转的图像。此外，根据旋转角选择和添加视点图像时，如果要添加的视点图像的数量较小，那么添加之后，图像的信号电平变小。因此，增益调节单元72L和72R根据要添加的视点图像的数量进行增益调节。因此，在图10A和10B中所示出的情况下，区域AL-0、AR-0、AL-90、以及AR-90内所包含的视点的数量为“128”。在这种情况下，由于整个视点的数量为“256”，所以增益调节单元72L产生（256/128）倍的左眼图像的图像信号，并且增益调节单元72R产生（256/128）倍的右眼图像的图像信号。此外，在图10C的情况下，区域AL-45和AR-45内所包含的视点的数量为“120”。因此，增益调节单元72L产生（256/120）倍的左眼图像的图像信号，并且增益调节单元72R产生（256/120）倍的右眼图像的图像信号。而且，在图10D的情况下，区域AL-53和AR-53内所包含的视点的数量为“125”。因此，增益调节单元72L产生（256/125）倍的左眼图像的图像信号，并且增益调节单元72R产生（256/125）倍的右眼图像的图像信号。通过执行这种增益调节，左眼图像和右眼图像的图像信号成为消除由于要添加的视点图像的数量差异造成的影响的图像信号。同时，加法处理单元71L和71R内生成的左眼图像和右眼图像为视点根据旋转角绕成像光学系统22的光轴旋转的图像，然而，左眼图像和 右眼图像内的主体图像并不处于旋转状态。因此，旋转处理单元74L和74R根据旋转角，旋转左眼图像和右眼图像的方向，从而主体图像成为根据旋转角旋转的图像。例如，如图10B中所示，旋转角为“90°”时，通过绕光轴分别将左眼图像和右眼图像旋转“90°”，左眼图像和右眼图像成为视点和主体图像根据旋转角而旋转的图像。因此，根据第一实施方式，能够生成与旋转角对应的左眼图像和右眼图像，无需机械旋转瞳孔分割棱镜或两个成像元件。为此，能够将内窥镜小型化。此外，由于不需要机械旋转成像元件等等，所以很少发生故障，并且不需要进行高精度调节。而且，也不需要进行校准，以便补偿部分装置内的装配误差、长期变化、温度变化等等造成的影响。此外，例如，在软管内窥镜或硬管内窥镜内的把持部等等处，可设置生成视点图像或生成左眼图像和右眼图像并且进行调节的配置，并且在胶囊内窥镜内的处理单元91处，可具有这种配置。2、第二实施方式同时，在第一实施方式中，已经描述了在内窥镜内安装根据本技术的图像处理装置的情况。然而，可与内窥镜分开设置根据本技术的图像处理装置。随后，在第二实施方式中，描述与内窥镜分开设置图像处理装置的情况。2-1、内窥镜的配置图12示出了内窥镜的配置实例，其中，未设置根据本技术的图像处理装置。内窥镜20包括光源单元21、成像光学系统22、成像单元23、图像分割单元24、视点1图像处理单元30-1到视点n图像处理单元30-n、图像压缩单元41、记录单元42、以及通信单元43。光源单元21向观察目标发出照明光。成像光学系统22由聚焦透镜、变焦透镜等等配置，并且促使形成照射照明光的观察目标的光学图像（主体光学图像），作为成像单元23内的图像。在成像单元23内，所使用的光场照相机能够记录不仅包括输入光的光量信息而且包括输入光的通道信息（输入光的方向）的光束信息（光场 数据）。光场照相机在诸如如上所述的CCD或CMOS的图像传感器231的正前方设置有微透镜阵列230，生成包括输入光的光量信息和通道信息的光束信息，并且将光束信息输出给图像分割单元24。图像分割单元24在每个视点内分割成像单元23内生成的光束信息，并且生成多个视点图像的图像信号。例如，生成视点1图像的图像信号，并且将该图像信号输出给视点1图像处理单元30-1。同样，生成视点2（到n）图像的图像信号，并且将该图像信号输出到视点2（到n）图像处理单元30-2（到n）。视点1图像处理单元30-1到视点n图像处理单元30-n对于从图像分割单元24中提供的视点图像的图像信号，进行与第一实施方式中相同的图像处理，并且在进行图像处理之后，将视点图像的图像信号输出给图像压缩单元41。通过对每个视点图像的图像信号进行编码处理，图像压缩单元41压缩信号量。图像压缩单元41将通过进行编码处理所获得的编码信号提供给记录单元42或通信单元43。记录单元42在记录介质中记录从图像压缩单元41提供的编码信号。记录介质可为设置在内窥镜20中的记录介质，或者可为可拆卸的记录介质。通信单元43使用从图像压缩单元41提供的编码信号，生成通信信号，并且通过有线或无线传输路径，将该信号传输至外部装置。外部装置可为本技术的图像处理装置或可为服务器装置等等。2-2、内窥镜的操作随后，描述内窥镜的操作。图13为示出了内窥镜的一部分操作的流程图。在内窥镜20内生成光束信息时，在步骤ST11中，内窥镜20执行图像分割处理。通过分割每个微透镜中的每个视点内的光束信息，内窥镜20在每个视点内生成视点图像的图像信号，并且继续进入步骤ST12。在步骤ST12中，内窥镜20进行视点图像处理。内窥镜20在每个视点图像内进行图像信号的信号处理，并且继续进入步骤ST13。在步骤ST13中，内窥镜20进行图像压缩处理。内窥镜20对于多个视点图像的图像信号进行编码处理，生成信号量被压缩的编码信号，并且继续进入步骤ST14。在步骤ST14中，内窥镜20进行输出处理。内窥镜20进行以下处理：输出在步骤ST13中生成的编码信号，例如，在记录介质内记录所生成的编码信号，或将编码的信号传输至外部装置，作为通信信号。内窥镜20进行上述处理，并且在记录介质中记录在第一实施方式中输入到图像选择单元61中的视点图像的图像信号，或者在将图像信号进行编码的状态中传输至外部装置。2-3、图像处理装置的配置图14示出了图像处理装置的配置实例。图像处理装置50包括再生单元51、通信单元52、以及图像扩展单元53。此外，图像处理装置50进一步包括图像选择单元61、加法处理单元71L和71R、增益调节单元72L和72R、图像质量改进处理单元73L和73R、旋转处理单元74L和74R、伽玛校正单元75L和75R、以及视点旋转角设置单元81。再生单元51从记录介质中读出视点图像的编码信号，并且将信号输出给图像扩展单元53。通信单元52从内窥镜20或外部装置（例如，服务器）中接收通过有线或无线传输路径传输的通信信号。此外，通信单元52将通过通信信号发送的编码信号输出给图像扩展单元53。图像扩展单元53对再生单元51或通信单元52提供的编码信号进行解码处理。图像扩展单元53将执行解码处理所获得的多个视点图像的图像信号输出给图像选择单元61。图像选择单元61根据视点旋转角从具有不同视点的多个视点图像中选择视点图像。图像选择单元61设置多个视点区域，例如，根据视点旋转角设置单元81内设置的旋转角设置左眼图像的视点区域和右眼图像的视点区域，并且选择每个区域内所设置的视点区域内所包含的视点的视点图像。图像选择单元61将左眼图像的视点区域内所包含的视点的视点图 像输出给加法处理单元71L，并且将右眼图像的视点区域内所包含的视点的视点图像输出给加法处理单元71R。通过添加图像选择单元61提供的视点图像，加法处理单元71L生成左眼图像的图像信号。加法处理单元71L将执行添加处理所获得的左眼图像的图像信号输出给增益调节单元72L。通过添加图像选择单元61提供的视点图像，加法处理单元71R生成右眼图像的图像信号。加法处理单元71R将执行添加处理所获得的右眼图像的图像信号输出给增益调节单元72R。增益调节单元72L对于左眼图像的图像信号执行与旋转角对应的增益调节。如上所述，通过在加法处理单元71L内添加图像选择单元61内所选择的视点图像的图像信号，生成左眼图像的图像信号。因此，图像选择单元61内所选择的图像信号数量较小时，图像信号的信号电平变小。因此，增益调节单元72L根据图像选择单元61内所选择的图像信号的数量来调节增益，并且消除由于要添加的视点图像的数量差异造成的影响。进行增益调节之后，增益调节单元72L将图像信号输出给图像质量改进处理单元73L。增益调节单元72R对于右眼图像的图像信号执行与旋转角对应的增益调节。与增益调节单元72L一样，根据图像选择单元61内所选择的图像信号的数量，增益调节单元72R调节增益，并且消除由于要添加的视点图像的数量差异造成的影响。进行增益调节之后，增益调节单元72R将图像信号输出给图像质量改进处理单元73R。图像质量改进处理单元73L使用分类适应处理等等，执行高分辨率的图像。例如，通过提高锐度、对比度、颜色等等，图像质量改进处理单元73L生成具有高分辨率的图像信号。进行图像质量改进处理之后，图像质量改进处理单元73L将图像信号输出给旋转处理单元74L。类似于图像质量改进处理单元73L，图像质量改进处理单元73R使用分类适应处理等等，执行高分辨率的图像。进行图像质量改进处理之后，图像质量改进处理单元73R将图像信号输出给旋转处理单元74R。旋转处理单元74L旋转左眼图像。旋转处理单元74L对于加法处理单元71L内所生成的左眼图像根据旋转角进行旋转处理，然后进行增益处理或图像质量改进处理，并且旋转左眼图像的方向。旋转处理单元74L将经旋转的左眼图像的图像信号输出给伽玛校正单元75L。旋转处理单元74R旋转右眼图像。旋转处理单元74R对于右眼图像根据旋转角进行旋转处理，并且旋转右眼图像的方向。旋转处理单元74R将经旋转的右眼图像的图像信号输出给伽玛校正单元75R。伽玛校正单元75L根据进行成像图像的图像显示的显示装置的伽玛特征对左眼图像进行校正处理，并且将经历伽玛校正的左眼图像的图像信号输出给外部显示装置等等。伽玛校正单元75R根据进行成像图像的图像显示的显示装置的伽玛特征对右眼图像进行校正处理，并且将经历伽玛校正的右眼图像的图像信号输出给外部显示装置等等。通过根据用户操作等等设置旋转角，视点旋转角设置单元81将旋转角通知给图像选择单元61以及旋转处理单元74L和74R。2-4、图像处理装置的操作图15为示出了图像处理装置的操作的流程图。在步骤ST21中，图像处理装置50进行输入处理。图像处理装置50从记录介质中读出内窥管20中生成的编码信号。此外，图像处理装置50通过有线或无线传输路径从内窥管20或外部装置（例如，服务器）中获得内窥管20中生成的编码信号，并且继续进入步骤ST22。在步骤ST22中，图像处理装置50进行图像扩展处理。图像处理装置50对从记录介质中读出的编码信号或从内窥管20中接收的编码信号等等进行解码处理，生成多个视点图像的图像信号，并且继续进入步骤ST23。在步骤ST23中，图像处理装置50设置旋转角。图像处理装置50根据（例如）用户操作等等设置旋转角，并且继续进入步骤ST24。在步骤ST24中，图像处理装置50选择视点图像。图像处理装置50从表格中读出与旋转角相应的图像选择信息，并且根据所读出的图像选择信息，选择用于生成左眼图像的图像信号的视点图像以及用于生成右眼图像的图像信号的视点图像。在步骤ST25中，图像处理装置50进行添加处理。图像处理装置50添加针对生成左眼图像所选择的视点图像，并且生成左眼图像的图像信号。此外，图像处理装置50添加针对生成右眼图像所选择的视点图像，生成右眼图像的图像信号，并且继续进入步骤ST26。在步骤ST26中，图像处理装置50进行增益调节。生成左眼图像和右眼图像时，根据要添加的视点图像的数量，图像处理装置50对左眼图像或右眼图像的图像信号进行增益调节。即，要添加的视点图像的数量变小时，图像处理装置50将增益设为较高，消除由于要添加的视点图像的数量差异造成的影响，并且继续进入步骤ST27。在步骤ST27中，图像处理装置50进行图像旋转处理。图像处理装置50将所生成的左眼图像和右眼图像旋转到与旋转角对应的方向。在该第二实施方式中，分开配置内窥镜和图像处理装置，并且通过记录介质或传输路径，将多个视点图像的图像信号从内窥镜提供到图像处理装置。因此，观察者能够获得的左眼图像和右眼图像与仅仅相对于图像处理装置指示旋转角从而使用所指示的旋转角进行成像的情况相同。此外，即使未使用内窥镜控制旋转角对主体进行成像，观察者也能够容易地观察主体。而且，由于观察者能够在相对于图像处理装置进行操作时旋转视点，所以对主体成像时，内窥镜的操作人员无需考虑成像角，并且可进行操作，从而可充分地将所需要的主体成像。因此，能够减小内窥镜操作人员的负担。3、其他实施方式同时，在上述第一和第二实施方式中，已经描述了视点绕光轴旋转的情况，然而，控制所选择的视点图像的区域以便生成具有新视点的图像时，能够生成其他不同的图像。此外，在其他实施方式中，可使用在第一实施方式中表示其配置的内窥镜10，或者可使用在第二实施方式中表示其配置的图像处理装置50。随后，作为其他实施方式，描述视点在水平方向移动的情况（对应于自成像的主体（例如，处于中心的成像主体）观看时视点位置在水平方向旋转的情况）。图16A到16C示出了视点在水平方向移动时的操作。例如， 如图16A中所示，图像选择单元61将预定范围的区域AL设置为中心的左边，选择区域AL内所包含的视点的视点图像，并且将所选择的视点图像的图像信号输出给加法处理单元71L。此外，图像选择单元61将预定范围的区域AR设置为中心的右边，选择区域AR内所包含的视点的视点图像，并且将所选择的视点图像的图像信号输出给加法处理单元71R。视点移动到左方向时，如图16B中所示，根据旋转角（水平方向），图像选择单元61将预定区域AL和AR移动到左方向。此外，图像选择单元61选择区域AL内所包含的视点的视点图像，并且将所选择的视点图像的图像信号输出给加法处理单元71L。此外，图像选择单元61选择区域AR内所包含的视点的视点图像，并且将所选择的视点图像的图像信号输出给加法处理单元71R。视点移动到右方向时，如图16C中所示，根据旋转角，图像选择单元61将预定区域AL和AR移动到右方向。此外，图像选择单元61选择区域AL内所包含的视点的视点图像，并且将所选择的视点图像的图像信号输出给加法处理单元71L。此外，图像选择单元61选择区域AR内所包含的视点的视点图像，并且将所选择的视点图像的图像信号输出给加法处理单元71R。这样，通过根据旋转角（水平方向）移动区域AL和AR来选择视点图像，从而图像选择单元61能够在水平方向移动立体视觉内的视点。此外，如图10A到10D中所示，根据旋转角（绕光轴的旋转角）进行组合，从而进行选择视点图像的操作时，能够不仅在水平方向，而且也在垂直方向或倾斜方向移动视点。而且，不仅根据旋转角，而且也可根据其他信息选择视点图像。图17A到17C例证了进行视差调节时的操作。图像选择单元61的图像选择表格611将与视差调节信息对应的图像选择信息输出给矩阵切换单元612。例如，在视差调节信息中指示设置最大视差时，如图17A中所示，图像选择单元61从左端选择作为预定范围的区域AL-PA内所包含的视点的视点图像，并且将所选的视点图像的图像信号输出给加法处理单元71L。此外，图像选择单元61从右端选择作为预定范围的区域AR-PA内所包含 的视点的视点图像，并且将所选的视点图像的图像信号输出给加法处理单元71R。根据视差调节信息将视差设置为小于最大视差时，如图17B中所示，图像选择单元61从左端选择向中心移动的作为预定范围的区域AL-PB内所包含的视点的视点图像，并且将所选的视点图像的图像信号输出给加法处理单元71L。此外，图像选择单元61从右端选择向中心移动的作为预定范围的区域AR-PB内所包含的视点的视点图像，并且将所选的视点图像的图像信号输出给加法处理单元71R。根据视差调节信息设置最小视差时，如图17C中所示，图像选择单元61从中心选择作为预定范围的区域AL-PC内所包含的视点的视点图像，并且将所选的视点图像的图像信号输出给加法处理单元71L。此外，图像选择单元61从中心选择作为预定范围的区域AR-PC内所包含的视点的视点图像，并且将所选的视点图像的图像信号输出给加法处理单元71R。这样，根据视差调节信息调节两个区域之间的间隙时，由于将视差设置为较大时通过添加与中心分离的视点的视点图像，生成左眼图像和右眼图像，所以左眼图像和右眼图像之间的视差变大。此外，视差设置为较小时，由于通过添加靠近中心的视点的视点图像生成左眼图像和右眼图像，所以左眼图像和右眼图像之间的视差变小。这样，通过调节两个区域之间的间隙，能够将左眼图像和右眼图像之间的视差制成所需要的视差量。图18示出了将视点设为四组的情况，图19示出了将视点设为八组的情况。如图18中所示，这些组的边界处于垂直方向并且分成四组GP1到GP4时，组GP1内所包含的视点的视点图像所加入的图像成为视点位于靠近组GP1的右边的组GP2内所包含的视点的视点图像添加到的图像左边的图像。同样，组GP4内所包含的视点的视点图像所加入的图像成为位于靠近组GP4的左边的组GP3内所包含的视点的视点图像添加到的图像右边的图像。此外，由于组GP2位于中心的左边，所以组GP2内所包含的视点的视点图像所加入的图像成为以下图像，该图像的视点移动到中心的左边。而且，由于组GP3位于中心的右边，所以组GP3内所包含的视点的视点图像所加入的图像成为以下图像，该图像的视点移动到中心的右 边。因此，如图18中所示，将视点分成四组时，能够生成四个图像，这些图像的视点位置在水平方向不同。此外，如图19中所示，将视点制成八组GP1到GP8时，能够生成八个图像，这些图像的视点位置在水平方向不同。因此，将视点图像所加入的组进行切换时，能够容易地生成视点不同的左眼图像和右眼图像。此外，在图18和19中，已经例证了组的边界在垂直方向的情况，然而，组的边界位于水平方向时能够生成视点位置在垂直方向不同的图像。此外，组的边界可位于倾斜方向。这样，将视点制成多个组时，这些视点能够用于裸眼立体视觉等等的显示器内。而且，内窥镜10或图像处理装置50可生成所有视点图像所加入的图像。即，通过添加所有视点图像，生成与根据输入到每个微透镜中的光束生成的图像相同的二维图像或者使用相关领域内的成像装置生成的图像，在该成像装置内，成像元件位于微透镜的位置。因此，图20中示出了二维加法处理单元71C位于内窥镜10或图像处理装置50内时，能够不仅生成左眼图像和右眼图像的图像信号，而且生成二维图像的图像信号。此外，生成二维图像的图像信号，不限于添加所有视点的情况。例如，甚至添加与分离点相距相同距离的所有视点的视点图像时，能够生成二维图像的图像信号。具体而言，甚至作为与分离点相距相同距离的所有视点的视点图像，添加图17A中所示的区域AL-PA和区域AR-PA内所包含的视点的视点图像时，能够生成二维图像。此外，甚至添加图17C中所示的区域AL-PC和AR-PC内所包含的视点的视点图像时，也能够生成二维图像。在这种情况下，由于与添加区域AL-PA和AR-PA内所包含的视点的视点图像的情况相比，添加了视差较小的视点图像，所以二维图像很少受到视差的影响。而且，根据旋转角结合移动区域AL-PC和AR-PC时，能够生成视点根据旋转角移动的二维图像。此外，使用软件、硬件或软件和硬件的组合，可执行上述系列图像处理。使用软件执行处理时，记录处理顺序的程序安装到专用硬件内所包含的计算机内的存储器中，并且执行该程序。或者，通过将程序安装到可执行各种处理的通用计算机中，能够执行程序。例如，可将程序提前记录在硬盘或ROM（只读存储器）内，作为记录介质。或者，可将程序临时或永久地储存（记录）在可移动的记录介质内，例如，软盘、CD-ROM（只读光盘存储器）、MO（磁性光盘）盘、DVD（数字通用光盘）、磁盘、半导体储存卡。这种可移动的记录介质可用作所谓的数据包软件。此外，程序可从可移动的记录介质中安装到计算机中，并且可通过网络（例如，LAN（局域网））或从下载网站中通过互联网以无线或有线的方式传输至计算机。计算机可接收以这种方式发送的程序并且将程序安装在记录介质内，例如，嵌入式硬盘。此外，不将本技术理解为限于上述实施方式。本技术的实施方式通过例证公开了技术，并且自然地，在不背离本技术的范围的情况下，本领域的技术人员可对实施方式进行修改或替换。即，为了确定本技术的范围，需要考虑权利要求书。此外，根据本技术的图像处理装置可具有以下配置。（1）一种图像处理装置，包括：图像选择单元，根据视点旋转角从具有不同视点的多个视点图像中选择视点图像；以及加法处理单元，通过添加所述图像选择单元中所选择的视点图像来生成具有新视点的视点图像。（2）根据（1）中所公开的图像处理装置，所述图像选择单元根据所述视点旋转角设置多个视点区域，并且选择所设置的所述视点区域内所包含的视点的视点图像，以及其中，所述加法处理单元将视点图像加入到各所述视点区域中。（3）根据（2）中所公开的图像处理装置，其中，所述图像选择单元根据所述视点旋转角设置左眼图像的视点区域以及右眼图像的视点区域，以及其中，通过将视点图像加入各所述视点区域中，所述加法处理单元生成左眼图像和右眼图像。（4）根据（3）中所公开的图像处理装置，其中，所述图像选择单元控制所述左眼图像的视点区域和所述右眼图像的视点区域之间的间隙，并且调节所述左眼图像和所述右眼图像的视差量。（5）根据（3）或（4）中所公开的图像处理装置，其中，其中，所述图像选择单元选择所有视点图像、或所述左眼图像和所述右眼图像的视点区域内所包含的视点的视点图像，以及其中，通过添加所述图像选择单元中所选择的视点图像，所述加法处理单元生成平面图像。（6）根据（1）到（5）中任一项所公开的图像处理装置，进一步包括增益调节单元，执行与对于具有所述新视点的所述视点图像添加的视点图像的数量对应的增益调节。（7）根据（6）中所公开的图像处理装置，其中，所添加的视点图像的数量变小时，所述增益调节单元将增益设为较高。（8）根据（1）到（7）中任一项所公开的图像处理装置，进一步包括旋转处理单元，根据所述视点旋转角对具有所述新视点的所述视点图像执行图像旋转处理。（9）根据（1）到（8）中任一项所公开的图像处理装置，进一步包括成像单元，生成包括通过成像光学系统输入的光束的通道信息和光量信息的光束信息；以及图像分割单元，从所述成像单元中生成的所述光束信息中生成具有不同视点的多个视点图像。（10）根据（9）中所公开的图像处理装置，进一步包括视点旋转角设置单元，设置所述视点旋转角，其中，所述视点旋转角设置单元设置所述成像单元相对于重力方向或初始方向中的任一个的角度、在所述成像单元内成像的图像旋转时变为与参考图像最相似的图像的角度、或用户指定的角度作为所述视点旋转角。（11）根据（1）到（10）中任一项所公开的图像处理装置，进一步包括：图像解码单元，对通过对视点不同的多个视点图像进行编码处理所生成的编码信号执行解码处理，其中，所述图像解码单元将通过对编码信号执行解码处理所获得的、包括不同视点的多个视点图像的图像信号输出到所述图像选择单元。本公开所包含的主题与2012年3月16日于日本专利局提交的日本在先专利申请JP2012-059736内所公开的主题相关，该案之全文以引用的方式并入本文中。