务器504。
[0244] 在步骤ST412中，网络终端502通过使用不同于所选择的可供选择的显影参数的 可供选择的显影参数确定是否显影要显影的当前图像。
[0245] 例如，在用户改变显影参数的情况下，在步骤ST412中确定通过使用与所选择的 可供选择的显影参数不同的可供选择的显影参数执行显影。然后，处理返回至步骤ST408。 因此，将新选择的可供选择的显影参数传输到服务器504。
[0246] 另一方面，在用户不改变显影参数的情况下，在步骤ST412中确定未通过使用与 所选择的可供选择的显影参数不同的可供选择的显影参数执行显影。然后，处理返回至步 骤 ST405。
[0247] 在步骤ST505中服务器504确定是否从网络终端502接收显影参数。在步骤ST505 中确定未接收显影参数的情况下，处理结束。
[0248] 另一方面，在步骤ST505中确定接收显影参数的情况下，在步骤ST506中服务器 504根据显影参数生成具有第二分辨率R2的最终图像。更具体地，服务器504执行从步骤 ST22至ST24的处理。换言之，服务器504执行插补处理并且将在N个视点的所上传视点 图像转换成高密度光束矢量的信息，并且进一步使用显影参数执行光学模拟以生成最终图 像。
[0249] 在步骤ST507中，服务器504通知网络终端502生成最终图像（目标图像），并且 然后将最终图像传输到网络终端502。
[0250] 在步骤ST414中，网络终端502确定是否存在任何完成显影的终端图像，换言之， 服务器504是否告知生成最终图像。在步骤ST414中确定不存在完成显影的最终图像的情 况下，处理结束。
[0251] 在步骤ST414中确定存在完成显影的最终图像的情况下，在步骤ST415中网络终 端502从服务器504下载显影的最终图像。
[0252] 在步骤ST416中，网络终端502在显示单元544上显示下载的最终图像。因此，用 户能够浏览最终图像。在这点上，例如，在显示单元544上显示用于选择是否保存最终图像 的保留⑶I。
[0253] 在步骤ST417中，网络终端502根据用户对保留GUI的触摸操作确定是否保存最 终图像。在步骤ST417中确定不保存最终图像的情况下，处理返回至步骤ST414,并且执行 后续处理。
[0254] 在步骤ST417中确定保存最终图像的情况下，在步骤ST418中网络终端502确定 用户选择的可供选择的显影参数是否是收费的的显影参数。
[0255] 在步骤ST418中确定显影参数是收费的的情况下，网络终端502显示要求同意对 显示单元544收费的消息。然后，在步骤ST419中，网络终端502确定用户是否同意根据用 户的触摸操作收费。
[0256] 在步骤ST419中确定不同意收费的情况下，未保存最终图像并且处理返回至步骤 ST414,并且重复后续处理。
[0257] 另一方面，在步骤ST419中确定同意收费的情况下，在步骤ST420中网络终端502 执行电子结算处理，并且处理进行至步骤ST421。
[0258] 此外，在步骤ST418中确定显影参数不是收费的的情况下，处理进行至步骤ST421 且不执行电子结算处理。
[0259] 在步骤ST421中，网络终端502保存网络终端502的非易失性存储器543或服务 器504的存储单元528中所下载的最终图像。
[0260] 在服务器504再次接收不同种的显影参数的情况下，再次执行上述处理以生成最 终图像（二次显影）。在这种情况下，网络终端502再次执行上述处理并保存最终图像并且 必要时执行电子结算处理。
[0261 ] 如上所述，根据第二实施方式，服务器504用作图像处理单元30 (450)。因此，甚至 在与在中心视点的视点图像的分辨率相比要在外围视点成像的视点图像的分辨率较低的 情况下，服务器504能够获得在中心视点的高分辨率视点图像和视差图。
[0262] 因此，系统500通过使用具有简单配置的成像装置501能够获得高分辨率视点图 像和视差图，在简单配置中，与在中心视点的相机模块21的分辨率相比，在外围视点的相 机模块21的分辨率较低。因此，能够减小制造成本。
[0263] 此外，由于服务器504执行插补处理，能够用少量的相机模块21生成在大数目的 视点的视点图像，并且能够重建基于用户期望的显影参数显影的目标图像。
[0264] 根据第二实施方式，利用在云上的服务器504显影（重建）由成像装置501成像 的目标图像。由于这种情况，没必要在成像装置501中执行大量算术运算处理，诸如插补处 理和显影处理，并且能够实现成像装置501的低成本和低电耗。此外，由于成像装置501与 用作浏览器的网络终端502分开，可容易地携带成像装置501。由于这种情况，能够使用成 像装置501进行灵活的拍摄。
[0265] 〈对本说明书中的视差图的说明〉
[0266] 图32是用于描述（视差）和深度的示图。
[0267] 如图32所示，在由位于位置Cl的相机cl和放置于位置C2的相机c2拍摄物体M 的彩色图像的情况下，由如下表达式（a)定义物体M的深度Z，该深度是从相机cl (c2)在深 度方向的距离。
[0268] Z = (L/d) X f ... (a)
[0269] 应注意，L是位置Cl和位置C2在水平方向上的距离（以下简称相机之间的距离）。 此外，d是通过从距离ul中减去距离u2获得的值，也就是，视差。距离ul是在水平方向上 从彩色图像的中心到由相机cl拍摄的彩色图像上的物体M的位置的距离，以及距离u2是 在水平方向上从彩色图像的中心到由相机c2拍摄的彩色图像上的物体M的位置的距离。此 夕卜，应注意，f是相机cl的焦距，并且相机cl和相机c2的焦距与在表达式（a)中的相同。
[0270] 如在表达式（a)中所示，唯一转换了视差d和深度Z。因此，表示深度Z的图像可 以取代根据第一和第二实施方式的视差图。在下文中，表示深度Z的图像和视差图整体称 作深度图像。
[0271] 深度图像是表示视差d或深度Z的图像，并且对于深度图像的像素值，可以采用通 过标准化视差d获得的值、通过标准化深度Z的倒数1/Z获得的值等而非直接采用视差d 或深度Z。
[0272] 通过如下示出的表达式（b)能够获取通过用8位（0至255)标准化视差d获得的 值。应注意，标准化视差d的位的数目不限于8位，并可以是其他位数，诸如10位和12位。
[0273] [数学公式1]
[0274]
【主权项】
1. 一种图像处理装置，包括： 分辨率转换单元，被配置为将以第一分辨率成像的第一视点图像和以低于所述第一分 辨率的第二分辨率成像的第二视点图像中的一个视点图像的分辨率转换为另一视点图像 的分辨率，并且生成具有相同分辨率的所述第一视点图像和所述第二视点图像；以及 生成单元，被配置为基于具有所述相同分辨率并通过所述分辨率转换单元生成的所述 第一视点图像与所述第二视点图像之间的相关值来生成视差图。
2. 根据权利要求1所述的图像处理装置，其中 所述分辨率转换单元将所述第一视点图像的分辨率转换为所述第二分辨率，并且 所述生成单元基于具有所述第二分辨率并通过所述分辨率转换单元生成的所述第一 视点图像与所述第二视点图像之间的相关值来生成具有所述第二分辨率的所述视差图。
3. 根据权利要求2所述的图像处理装置，其中，所述生成单元将所述视差图的分辨率 转换为所述第一分辨率。
4. 根据权利要求3所述的图像处理装置，其中，所述生成单元基于具有所述第一分辨 率的所述第一视点图像将所述视差图的分辨率转换为所述第一分辨率。
5. 根据权利要求4所述的图像处理装置，其中，所述生成单元基于目标像素与邻近所 述目标像素的相邻像素之间的具有所述第一分辨率的所述第一视点图像的像素值差来确 定所述目标像素的所述视差图的像素值，并且所述目标像素是具有所述第一分辨率的像 素，并且是具有所述第一分辨率的所述第一视点图像的边缘区域而不是具有所述第二分辨 率的所述第一视点图像的边缘区域。
6. 根据权利要求1所述的图像处理装置，其中 所述分辨率转换单元将所述第二视点图像的分辨率转换为所述第一分辨率，并且 所述生成单元基于具有所述第一分辨率并通过所述分辨率转换单元生成的所述第一 视点图像与所述第二视点图像之间的相关值来生成具有所述第一分辨率的所述视差图。
7. 根据权利要求1所述的图像处理装置，进一步包括： 插补处理单元，被配置为基于由所述生成单元生成的所述视差图和所述第一视点图像 生成在对应于所述第一视点图像和所述第二视点图像的视点之间的视点的插补图像；以及 显影处理单元，被配置为通过使用所述第一视点图像、所述第二视点图像、所述插补图 像、以及规定光学系统的参数，生成由所述光学系统虚拟成像的图像。
8. -种图像处理方法，包括以下步骤： 将以第一分辨率成像的第一视点图像和以低于所述第一分辨率的第二分辨率成像的 第二视点图像中的一个视点图像的分辨率转换为另一视点图像的分辨率，并且生成具有相 同分辨率的所述第一视点图像和所述第二视点图像；以及 基于具有通过在转换所述分辨率的步骤中的处理而生成的所述相同分辨率的所述第 一视点图像和所述第二视点图像之间的相关值来生成视差图。
9. 一种信息处理装置，包括： 成像单元，包括第一成像元件，被配置为成像具有第一分辨率的第一视点图像；以及第 二成像元件，被配置为成像具有低于所述第一分辨率的第二分辨率的第二视点图像； 分辨率转换单元，被配置为将通过所述第一成像元件成像的所述第一视点图像和通过 所述第二成像元件成像的所述第二视点图像中的一个视点图像的分辨率转换为另一视点 图像的分辨率，并且生成具有相同分辨率的所述第一视点图像和所述第二视点图像；以及 生成单元，被配置为基于具有所述相同分辨率并通过所述分辨率转换单元生成的所述 第一视点图像和所述第二视点图像之间的相关值来生成视差图。
10.根据权利要求9所述的信息处理装置，其中，所述第二成像元件被布置在所述第一 成像元件的周围。
【专利摘要】本技术涉及借助于简单配置能够获取高分辨率视点图像和视差图的图像处理装置、图像处理方法、以及信息处理装置。分辨率转换单元将以第一分辨率成像的中心视点的视点图像的分辨率转换成以低于第一分辨率的第二分辨率成像的外围视点的外围图像的分辨率，并且以相同的分辨率生成中心视点的视点图像和外围视点和视点图像。相关值计算单元基于具有相同的分辨率的以中心视点的视点图像和外围视点的视点图像之间的相关值生成视差图。本技术可应用于信息处理装置。
【IPC分类】G06T3-40, G06T1-00, H04N13-02
【公开号】CN104584545
【申请号】CN201380044211
【发明人】早坂健吾, 井藤功久
【申请人】索尼公司
【公开日】2015年4月29日
【申请日】2013年8月16日
【公告号】US20150248744, WO2014034444A1