图像处理装置、图像处理方法、以及信息处理装置的制造方法
【技术领域】
[0001] 本技术涉及图像处理装置、图像处理方法、以及信息处理装置，并且具体地涉及能 够用简单配置获得高分辨率视点图像和视差图的图像处理装置、图像处理方法、以及信息 处理装置。
【背景技术】
[0002] 已知存在通过具有不同视点的多个图像测量距测量目标（物体）的距离的技术。 例如，在专利文献1中公开了使用称作立体匹配的技术的距离计算方法。
[0003] 根据这样的立体匹配的技术，在基于沿着图像内的水平方向（H-方向）或垂直方 向（V-方向）的多个视点图像计算距离的情况下，获得视点图像之间的相位差作为对应距 离的值。通过依次移动局部区域（单位区域）以在水平方向上进行比较获得相位差，并且 检测在比较范围内具有相关性最高的单位区域的视点图像之间的位置位移（像素位移、视 差）。可根据沿着图像内的某个角度方向的多个视点图像计算位置位移。此外，可对每个像 素测量视差，因此，可以获得与输入图像的分辨率相等的视差分布图（视差图）。
[0004] 引用列表
[0005] 专利文献
[0006] 专利文献 I : JP 2011-171858 A
【发明内容】
[0007] 由本发明要要解决的问题
[0008] 然而，视差并不会一直都是高度精确的，因为视差仅仅是距离信息。因此，通常用 作照片的预定视点的视点图像必须为高分辨率，但仅用于生成视差的视点图像不必为高分 辨率。
[0009] 鉴于上述情况制作本技术并且本技术旨在用简单配置获得高分辨率视点图像和 视差图。
[001 0] 解决问题的技术方案
[0011] 根据本技术第一方面的图像处理装置是包括以下的图像处理装置：分辨率转换单 元，被配置为将以第一分辨率成像的第一视点图像和以低于第一分辨率的第二分辨率成像 的第二视点图中的一个视点图像的分辨率转换为另一视点图像的分辨率，并且生成具有相 同分辨率的第一视点图像和第二视点图像；以及生成单元，被配置为基于具有相同分辨率 并通过分辨率转换单元生成的第一视点图像与第二视点图像之间的相关值来生成视差图。
[0012] 根据本技术第一方面的图像处理方法对应于根据本技术的第一方面的图像处理 装置。
[0013] 根据本技术第一方面，以第一分辨率成像的第一视点图像和以低于第一分辨率的 第二分辨率成像的第二视点图像中的一个视点图像的分辨率被转换为另一视点图像的分 辨率，并且生成具有相同分辨率的第一视点图像和第二视点图像，并且基于具有相同分辨 率的第一视点图像和第二视点图像之间的相关值来生成另一视差图。
[0014] 根据本技术第二方面的信息处理装置是包括以下的信息处理装置：成像单元，包 括第一成像元件，被配置为成像具有第一分辨率的第一视点图像；以及第二成像元件，被配 置为成像具有低于第一分辨率的第二分辨率的第二视点图像；分辨率转换单元，被配置为 使通过第一成像元件成像的第一视点图像和通过第二成像元件成像的第二视点图像中的 一个视点图像的分辨率转换为另一视点图像的分辨率，以及生成具有相同分辨率的第一视 点图像和第二视点图像；以及生成单元，被配置为基于具有相同分辨率并通过分辨率转换 单元生成的第一视点图像和第二视点图像之间的相关值来生成视差图。
[0015] 根据本技术第二方面，提供了第一成像元件和第二成像元件，其中第一成像元件 被配置为成像具有第一分辨率的第一视点图像；以及第二成像元件被配置为成像具有低于 第一分辨率的第二分辨率的第二视点图像，通过第一成像元件成像的第一视点图像和通过 第二成像元件成像的第二视点图像中一个视点图像的分辨率被转换为另一视点图像的分 辨率，并且生成具有相同的分辨率的第一视点图像和第二视点图像，并且此外，基于具有相 同分辨率的第一视点图像和第二视点图像之间的相关值来生成视差图。
[0016] 根据本技术，能够用简单配置获得高分辨率视点图像和视差图。
【附图说明】
[0017] 图1是示出根据应用本技术的信息处理装置的实施方式的示例性硬件配置的框 图。
[0018] 图2是示出组成成像单元的相机模块的示例性配置的示意性立体图。
[0019] 图3是成像单元的示意性立体图。
[0020] 图4是示出成像的视点图像的实例的示图。
[0021] 图5是示出图像处理单元的第一示例性配置的框图。
[0022] 图6是用于描述图5的图像处理单元中生成插补图像的处理流程的示图。
[0023] 图7是示出在通过图5的分辨率转换单元转换分辨率之后的示例性视点图像的示 图。
[0024] 图8是用于描述图6中的立体匹配处理的示图。
[0025] 图9是用于描述图6中的视差图的分辨率转换的示图。
[0026] 图10是用于描述图6中的视差图的分辨率转换的示图。
[0027] 图11是用于描述图6中的视点插补处理的示图。
[0028] 图12是用于描述图6中的视点插补处理的示图。
[0029] 图13是示出成像视点图像和插补图像的摄像机阵列的示图。
[0030] 图14是成像单元的侧视图，示出了由成像单元接收的光束的光束矢量。
[0031] 图15是成像单元的侧视图，示出视点图像和插补图像的光束矢量。
[0032] 图16是用于描述显影处理的示图。
[0033] 图17是用于描述显影处理的示图。
[0034] 图18是用于描述图1中的信息处理装置中的图像处理的流程图。
[0035] 图19是用于描述图18的分辨率增加处理的细节的流程图。
[0036] 图20是示出图像处理单元的第二示例性配置的框图。
[0037] 图21是用于描述图20的图像处理单元中生成插补图像的处理流程的示图。
[0038] 图22是示出在通过图20的分辨率转换单元转换分辨率之后的示例性视点图像的 示图。
[0039] 图23是用于描述在CPU用作图20的图像处理单元的情况下的图像处理的流程 图。
[0040] 图24是示出根据应用本技术的实施方式的系统的示例性配置的示图。
[0041] 图25是示出图24中的服务器的示例性硬件配置的示图。
[0042] 图26是用于描述在图25中的服务器中处理的流程图。
[0043] 图27是示出图24中的网络终端的示例性硬件配置的框图。
[0044] 图28是示出设置GUI的实例的示意图。
[0045] 图29是示出系统中基本操作的流程的顺序图。
[0046] 图30是用于描述向服务器上传视点图像的流程图。
[0047] 图31是用于描述显影目标图像的流程图。
[0048] 图32是用于描述视差和株度的不图。
【具体实施方式】
[0049] 在下文中，将参考附图描述根据本技术的实施方式。
[0050] 〈第一实施方式〉
[0051] (根据一个实施方式的信息处理装置的示例性硬件配置）
[0052] 图1是示出根据应用本技术的信息处理装置的实施方式的示例性硬件配置的框 图。
[0053] 信息处理装置10包括成像单元11、显示单元12、存储单元13、通信单元14、以及 CPU 15〇
[0054] 成像单元11拍摄静止图像和移动图像。尤其是，根据实施方式，成像单元11由能 够捕捉物体的多个视点图像的摄像机阵列形成。成像单元11以高分辨率在中心视点使多 个视点图像中的图像成像，并且以低分辨率在外围视点使视点图像成像，外围视点是中心 视点以外的视点。
[0055] 显示单元12是例如使用IXD (液晶显示器）、OELD (有机电致发光显示器）、CRT (阴 极射线管）等的显示装置。显示单元12被用于例如显示基于在成像单元11捕捉的多个视 点图像生成的对象预览图像，设置显影处理所需的显影参数并且显示通过在CPU 15中算 术运算处理生成的最终目标图像。
[0056] 存储单元13是非易失性存储器，诸如HDD (硬盘驱动）、闪速存储器（SSD (固态驱 动））、以及其他固态存储器。存储单元13存储由成像单元11捕捉的多个视点图像、多个显 影参数、插补图像和通过CPU 15中的算术运算处理生成的最终图像、各种类型的程序等。 可以通过通信单元14下载存储在存储单元13中的显影参数，并可从安装在未示出的槽中 的存储卡中读取出显影参数。
[0057] 通信单元14被配置为能够与网络（未示出）上的服务器装置和外部网络终端通 信。
[0058] CPU 15执行存储在存储单元13中的程序，从而控制成像单元11、显示单元12、存 储单元13、和通信单元14的操作。更具体地，CPU 15用作图像处理单元等，其被配置为基 于多个视点图像生成用于插补多个视点图像的多个插补图像，并且根据通过用户使用插补 图像和视点图像选择的显影参数显影目标图像。
[0059] (成像单元的示例性配置）
[0060] 成像单元11由多个相机模块排列在相同平面上的矩阵中的摄像机阵列（多视点 摄像机）形成。图2是示出组成成像单元11的相机模块21的示例性配置的示意性立体图， 并且图3是成像单元11的示意性立体图。
[0061] 相机模块21由固态图像感测装置形成，诸如CMOS(互补金属氧化物半导体）和 CXD (电荷耦合器件）传感器。
[0062] 在图3中，示出在相同平面上排列具有Θ度的视场角的相机模块21的 3(行）X3(列）的实例，但相机模块21的阵列和数目显然不限于此。例如，用于外围视点 的相机模块21可以排列在使中心视点的相机模块位于正中的八角形的角。
[0063] 在以下描述中，从上面数排在第一行的九个相机模块21中的三个相机模块21按 从物体左边开始称作相机模块Cll、C12、C13。以同样方式，从上面数第二行中的三个相机 模块从物体左边开始称作C21、C22、C23。从上面数第三排中的三个相机模块从物体左边开 始称作 C31、C32、C33。
[0064] 成像单元11通过用每个相机模块21同时拍摄物体获取对应多个相机模块21的 每个位置（视点）的物体的视点图像。所获得的视点图像用于图像处理单元30中或者存 储在存储单元13中。
[0065] 应注意，放置在中心处的相机模块C22由分辨率高于放置于其周围的相机模块 Cll至C13、C21、C23、以及C31至C33的相机模块形成。因此，如图4所示，相机模块C22捕 捉的在中心视点的视点图像G22的分辨率与通过相机模块Cll至C13、C21、C23、以及C31 至C33成像的外围视点的视点图像Gll至G13、G21、G23、以及G31至G33的分辨率相比较 尚。
[0066] 具有第一分辨率Rl的相机模块C22主要用于捕获高分辨率视点图像的物体，并且 具有第二分辨率R2的相机模块Cll至C13、C21、C23、以及C31至C33仅被用以获得视差图。
[0067] 在本说明书中，相机模块C22具有第一