图像处理设备、图像处理方法以及摄像设备与流程

本发明涉及图像处理设备、图像处理方法以及摄像设备，更特别地涉及能够使用距离信息来压缩图像数据的图像处理设备、图像处理方法以及摄像设备。

背景技术：

在传输运动图像时，要传输的数据量随着移动图像的分辨率或帧速率(framerate)变高而变大，并且在无法保证足够的通信频带的情况下，出现帧丢失(framedrop)。为了防止帧丢失，必须降低分辨率或帧速率等。

一些诸如数码相机和数码摄像机等摄像设备包括使用例如tof系统来测量至被摄体的距离的测距传感器(例如参见专利文献1)。

引用列表

专利文献

专利文献1：公开号为2014-138290的日本专利申请

技术实现要素：

技术问题

专利文献1提出利用由测距传感器获得的关于被摄体的距离信息对拍摄的图像进行模糊去除处理(blurremovalprocessing)，但是没有公开使用距离信息来压缩图像数据的技术。

本发明是鉴于上述情况而做出的，并且本发明的目的在于能够使用距离信息来压缩图像数据。

技术方案

根据本发明的第一方面的图像处理设备包括图像处理单元，所述图像处理单元基于由测距传感器获得的距离信息将预定图像的图像区域划分成至少两个区域，并对所述图像的所述两个区域中的至少一个区域执行图像处理，使得所述两个区域的图像质量不同。

根据本发明的第二方面的图像处理方法包括：图像处理设备基于由测距传感器获得的距离信息将预定图像的图像区域划分成至少两个区域，并且对所述图像的所述两个区域中的至少一个区域执行图像处理，使得所述两个区域的图像质量不同。

在本发明的第一和第二方面中，基于由测距传感器获得的距离信息将预定图像的图像区域划分成至少两个区域，并且对所述图像的所述两个区域中的至少一个区域执行图像处理，使得所述两个区域的图像质量不同。

根据本发明的第三方面的摄像设备包括：摄像传感器，其拍摄被摄体的图像；测距传感器，其获取关于所述被摄体的距离信息；以及图像处理单元，其基于由所述测距传感器获得的所述距离信息将由所述摄像传感器获得的图像的图像区域划分成至少两个区域，并且对所述图像的所述两个区域中的至少一个区域执行图像处理，使得所述两个区域的图像质量不同。

在本发明的第三方面中，基于由所述测距传感器获得的所述距离信息将由所述摄像传感器获得的图像的图像区域划分成至少两个区域，并且对所述图像的所述两个区域中的至少一个区域执行图像处理，使得所述两个区域的图像质量不同。

所述图像处理设备和所述摄像设备可以是独立的设备，或者可以是构成单个设备的内部块。

本发明的有利效果

根据本发明的第一至第三方面，能够使用距离信息来压缩图像数据。

应注意，这里描述的效果不必是限制性的，并且可以获得在本发明中描述的任何效果。

附图说明

图1是示出根据本发明的图像处理系统的构造示例的框图。

图2是示出摄像设备的第一构造示例的框图。

图3是示出摄像设备的第二构造示例的框图。

图4是说明由图像处理单元执行的分辨率转换处理的图。

图5是说明分辨率转换处理之后的用于合成第一图像和第二图像的合成处理的图。

图6是说明帧速率转换处理的图。

图7是示出在低帧速率侧插入黑图像的情况下的示例的图。

图8是说明分辨率/帧速率转换处理的图。

图9是说明摄像设备的图像发送处理的流程图。

图10是说明图9所示的步骤s6的图像质量转换处理的流程图。

图11是说明接收设备的图像接收处理的流程图。

图12是说明在发送一个图像的情况下的图像发送处理的流程图。

图13是说明在接收一个图像的情况下的图像接收处理的流程图。

图14是示出根据本发明的计算机的一个实施例的构造示例的框图。

具体实施方式

以下，将说明用于实施本发明的构造(下文将其称为实施例)。应注意，说明将按以下顺序给出。

1.系统构造示例

2.摄像设备的第一构造示例

3.摄像设备的第二构造示例

4.图像处理的说明

5.使用流程图的说明

6.结论

7.根据本发明的计算机的说明

<1.系统构造示例>

图1是示出根据本发明的图像处理系统的构造示例的框图。

图1所示的图像处理系统1包括摄像设备11、接收设备13和显示设备14，并且摄像设备11和接收设备13经由网络12连接。

例如，摄像设备11由单镜头反射式数码相机、无反光镜数码相机、可更换镜头数码相机、小型数码相机、数码摄像机等构成，拍摄被摄被摄体的图像，并生成作为结果的图像。此外，摄像设备11可以是消费者相机、广播相机或监视相机。此外，摄像设备11可以是诸如移动设备、游戏设备和包括作为其功能的一部分的摄像功能的智能手机等电子设备。

摄像设备11对所拍摄的图像执行用于减少要发送的数据量的预定图像处理，并且经由网络12将经过图像处理的图像发送到接收设备13。例如，网络12由因特网、电话网络、卫星通信网络、lan(局域网)、wan(广域网)等构成。

接收设备13经由网络12接收从摄像设备11发送的图像，并将接收的图像输出到显示设备14以进行显示。此外，接收设备13执行预定图像处理(例如基于被添加至被发送的图像中的附加信息来合成多个所接收的图像的合成处理等)，并将处理后的图像发送到显示设备14以进行显示。

<2.摄像设备的第一构造示例>

图2是示出摄像设备11的第一构造示例的框图。

摄像设备1包括控制单元31、光学系统32、发光单元33、测距传感器34、摄像传感器35、图像处理单元36、存储单元37、通信单元38、显示单元39以及操作单元40。

例如，控制单元31包括诸如cpu(中央处理单元)和mpu(微处理单元)等算术处理单元和外围电路等，并且读出并执行被记录在存储单元37中的预定控制程序，从而控制摄像设备11的整体操作。

例如，控制单元31控制构成光学系统32的各种透镜(例如聚焦透镜、变焦透镜和相机抖动校正透镜)的透镜位置，并控制发光单元33的光发射的打开/关闭。可替代地，控制单元31控制摄像传感器35和测距传感器34的摄像操作，并使图像处理单元36执行预定图像处理。

光学系统32由各种透镜(例如聚焦透镜、变焦透镜和相机抖动校正透镜)构成，并在控制单元31的控制下移动到预定位置。

发光单元33包括例如发射ir光(红外光)的led(发光二极管)光源，并且在控制单元31的控制下打开/关闭ir光的发射。发光单元33能够以预定发光模式(打开/关闭重复模式)发射ir光。

例如，测距传感器34用作接收从发光单元33发射的ir光的光接收单元，并使用飞行时间(tof：timeofflight)系统来测量至被摄体的距离。在tof系统中，测量直到从发光单元33发射的ir光被被摄体的表面反射回来时经过的时间，并基于经过的时间测量至被摄体的距离。使用tof系统的测距传感器34能够高速地(在短周期内)生成距离信息，并且因为它使用ir光，所以即使在黑暗的地方也能够生成距离信息，而与周边亮度无关。

例如，测距传感器34由二维地布置有形成二极管的各个像素的摄像装置(图像传感器)构成，并且通过针对每个像素测量在接收到ir光之前的经过时间，不仅可以测量被摄体的一个点的距离，而且还可以测量各个部分的距离。作为上述的测量经过时间的方法，存在有脉冲照射ir光并直接测量光被被摄体表面反射回来之前的时间的方法、调制ir光并基于照射期间的光的相位与被反射回来的光的相位之间的相位差进行计算的方法等。

由测距传感器34测量的距离信息被提供到图像处理单元36。

发光单元33和测距传感器34构成距离信息获取单元41，距离信息获取单元41获取关于由摄像传感器35拍摄的图像中包括的被摄体的距离信息。应注意，由距离信息获取单元41执行的获取关于被摄体的距离信息的方法不限于tof系统。例如，可以使用结构光方法(structurelightmethod)等来获取关于被摄体的距离信息。结构光方法是通过将特定设计的光图案投射至被摄体的表面上并分析被投射的图案的变形来估计至被摄体的距离的方法。

此外，也可以基于由测距传感器34接收的ir光的光量来生成ir图像，并将以预定周期更新的ir图像之间的偏差量用作相机抖动校正中的校正量。

例如，摄像传感器35由包括二维摄像区域的诸如ccd(电荷耦合器件)传感器和cmos(互补金属氧化物半导体)传感器等摄像装置构成。在控制单元31的控制下，摄像传感器35拍摄被摄体的图像，生成图像数据，并且将图像数据提供到图像处理单元36。

基于从测距传感器34提供的距离信息，图像处理单元36对从摄像传感器35提供的拍摄图像执行预定图像处理。应注意，摄像传感器35的各像素的像素位置与测距传感器34的各像素的像素位置之间的对应关系(即，摄像传感器35与测距传感器34之间的位置关系)被预先校正并存储在存储单元37中。

图像处理单元36还执行将从摄像传感器35提供的图像数据转换为可由显示单元39显示的预定显示格式的图像信号并将图像信号提供到显示单元79的处理、将图像数据转换为预定文件格式的图像数据并将其记录在存储单元37中的处理等。

例如，存储单元37由诸如半导体存储器等存储介质构成，并存储由摄像传感器35拍摄的静止图像和运动图像。此外，存储单元37还存储由控制单元31执行的程序、用于指示摄像传感器35与测距传感器34之间的位置关系的校正信息等。

在控制单元31的控制下，通信单元38与其它设备交换预定数据、程序等。例如，通信单元38将经过图像处理单元36的预定图像处理的拍摄图像的图像数据发送到接收设备13。

显示单元39由诸如lcd(液晶显示器)显示器和有机el(电致发光)显示器等平板显示器构成，并显示由摄像传感器35拍摄的图像(运动图像或静止图像)。此外，显示单元39还显示表示关注目标区域的af窗口等。显示单元39能够实时地执行由摄像传感器35拍摄的实时取景图像(liveviewimage)的显示及被记录在存储单元37中的记录图像的显示等。

例如，操作单元40包括诸如快门按钮等硬件按键和使用层叠在显示单元39上的触摸面板的软件按键，接收由用户执行的预定操作，并且将其操作信号提供到控制单元31。例如，用户触摸显示单元39上显示的实时取景图像的预定位置，并且作为操作单元40的触摸面板检测用户的触摸位置。因此，选定拍摄图像中的关注目标区域或关注区域，并将其提供到控制单元31。

<3.摄像设备的第二构造示例>

图3是示出摄像设备11的第二构造示例的框图。

在图3中，与图2所示的第一构造示例中的部件对应的部件由相同的附图标记表示，并且适当地省略其说明。

通过将图3所示的第二构造示例与图2所示的第一构造示例比较，在第二构造示例中，在距离信息获取单元41中省略了发光单元33。

第一构造示例中的测距传感器34的测距系统是所谓的主动型测距系统，该系统通过接收从发光单元33发射的光的测距传感器34来测量至被摄体的距离。

另一方面，第二构造示例中的测距传感器34的测距系统是所谓的被动型测距系统，该系统不需要发光单元33就可以测量至被摄体的距离。

被动型测距传感器34包括均接收可见光的第一摄像装置43a和第二摄像装置43b，并且第一摄像装置43a和第二摄像装置43b布置在水平方向(横向)上并同时彼此隔开预定间隔。测距传感器34使用所谓的立体相机系统根据由第一摄像装置43a和第二摄像装置43b拍摄的两个图像来测量至被摄体的距离。

应注意，测距传感器34的第一摄像装置43a和第二摄像装置43b可以是接收ir光的摄像装置。在这种情况下，无论外围亮度如何，都可以测量至被摄体的距离。

可替代地，也可能存在以下构造：测距传感器34仅包括一个摄像装置(第一摄像装置43a和第二摄像装置43b中的任一个)，测距传感器34布置为在水平方向(横向)上与摄像传感器35隔开预定间隔，并且测距传感器34使用由测距传感器34拍摄的图像和由摄像传感器35拍摄的图像来测量至被摄体的距离。

因为测距传感器34和摄像传感器35都可以由摄像装置构成，所以可以采用如下的集成构造，在该集成构造中，测距传感器34形成在第一基板上，摄像传感器35形成在第二基板上，并且第一基板和第二基板层叠在一起。

如上所述，摄像设备11是具有拍摄被摄体的图像的摄像功能和获取有关被摄体的距离信息的测距功能的设备。根据摄像设备11的测距功能，可以针对由摄像功能获取的拍摄图像的各像素以一对一的方式获取距离信息。对于该测距功能，可以使用主动型或被动型测距系统，或者可以使用包括主动型和被动型两者的混合型测距系统。

<4.图像处理的说明>

<分辨率转换处理的示例>

接着，将参照图4说明由图像处理单元36执行的分辨率转换处理。

拍摄图像61被从摄像传感器35提供到图像处理单元36，并且作为距离信息的深度图62也被从测距传感器34提供到图像处理单元36。例如，假定拍摄图像61是具有60fps(帧/秒)帧速率和4k(3840*2160)分辨率的运动图像。例如，深度图62是如下的数据，该数据以拍摄图像61的像素为单位将由测距传感器34测量的距离信息表示为灰阶(grayscale)，从而随着距离增加而采取更暗的值。

用户触摸显示单元39上显示的实时取景图像的预定区域，以选定拍摄图像61中的关注区域81。操作单元40检测用户的触摸位置，并将检测到的图像的位置信息提供到控制单元31。被提供到控制单元31的图像的位置信息被从控制单元31提供到图像处理单元36。

图像处理单元36根据从控制单元31提供的由用户选定的图像的位置信息和从测距传感器34提供的距离信息(深度图62)来指定由用户选定的关注区域81。具体地，图像处理单元36在由用户选定的位置周围检测包括相同距离信息的目标区域，并且将检测到的区域确定为关注区域81。将拍摄图像61的除关注区域81之外的区域设定为非关注区域82。

应注意，选定关注区域81的方法不限于本示例。例如，当用户触摸显示单元39上显示的实时取景图像的预定区域时，可以在显示单元39上显示触摸位置的距离信息，使得用户可以通过使用数字小键盘等输入所显示的距离信息来选定关注区域81。可替代地，用户可以将关注区域81选定为矩形区域。

接着，图像处理单元36生成两个图像，即第一图像91和第二图像92，第一图像91中的关注区域81具有与拍摄图像61的分辨率相同的高分辨率(第一分辨率)，第二图像92中的非关注区域82具有比拍摄图像61的分辨率低的分辨率(第二分辨率)。

例如，如图4所示，图像处理单元36生成两个图像，即第一图像91和第二图像92，第一图像91具有与拍摄图像61的分辨率相同的4k分辨率，第二图像92具有比拍摄图像61的分辨率低的fhd(fullhd，1920*1080)分辨率。

因为仅需要保证关于第一图像91的关注区域81的图像信息，所以第一图像91中的非关注区域82的各个像素的像素值被替换为同一值。类似地，因为仅需要保证关于第二图像92的非关注区域82的图像信息，所以第二图像92中的关注区域81的各个像素的像素值被替换为同一值。在本实施例中，将各个像素的像素值替换为同一值的处理被称为掩蔽处理(maskingprocessing)。

如上所述，图像处理单元36基于由测距传感器34获取的距离信息将拍摄图像61划分为第一区域(关注区域81)和第二区域(非关注区域82)，并执行分辨率转换处理以生成两个图像，其中，分辨率被转换成使得分辨率在第一区域与第二区域之间不同。

所生成的两个图像被从摄像设备11的通信单元38发送到接收设备13，并且在接收设备13侧合成所接收的两个图像。

参照图5，将说明接收设备13合成从摄像设备11发送的第一图像91和第二图像92的合成处理。

在假定拍摄图像61是运动图像的情况下，图5示出8个连续帧的第一图像91-1至91-8和第二图像92-1至92-8以及通过分别合成相应的第一图像91和第二图像92获得的合成图像93-1至93-8。

在接收设备13执行合成两个图像的合成处理的情况下，将用于关联两个待合成的图像的帧合成信息作为附加信息添加至从摄像设备11发送的第一图像91和第二图像92。

在转换第一图像91和第二图像92的分辨率的情况下，例如，如图5所示，将“帧识别号+划分数+子帧识别号”作为帧合成信息添加至第一图像91和第二图像92中的每者。这里，帧对应于拍摄图像61，且子帧对应于第一图像91和第二图像92。“帧识别号”是摄像设备11执行分辨率转换处理之前的拍摄图像61的识别号，并且还对应于在合成处理之后获得的合成图像93的识别号。“划分数”对应于通过执行分辨率转换处理的摄像设备11从单个拍摄图像61生成的图像的数量，并且在这种情况下“划分数”为“2”。“子帧识别号”是用于识别通过执行分辨率转换处理的摄像设备11从单个拍摄图像61生成的两个图像的号码，并且在这种情况下，“1”被分配给第一图像91，且“2”被分配给第二图像92。

接收设备13基于被添加至图像的帧合成信息来识别待合成的两个图像，即第一图像91和第二图像92，并且通过合成这些图像来生成合成图像93。

具体地，接收设备13合成第一图像91-1和第二图像92-1以生成合成图像93-1，并且合成第一图像91-2和第二图像92-2以生成合成图像93-2。之后，类似地生成合成图像93-3、93-4、...。

合成图像93具有4k分辨率，并且通过将合成图像中的相应位置处的4个像素分配至一个fhd像素的插值来生成。

<帧速率转换处理的示例>

在图4和5所示的示例中，从拍摄图像61生成的第一图像91和第二图像92具有不同的分辨率。接着，将说明帧速率不同的示例。

图6示出由执行帧速率转换处理的摄像设备11生成的第一图像91和第二图像92以及通过合成这些图像获得的合成图像93。

图像处理单元36基于由测距传感器34获取的距离信息将拍摄图像61划分成第一区域(关注区域81)和第二区域(非关注区域82)，并且执行帧速率转换处理以生成两个图像，在该处理中，帧速率被转换成使得帧速率在第一区域与第二区域之间不同。

具体地，图像处理单元36生成两个图像，即第一图像91和第二图像92，第一图像91具有与拍摄图像61的帧速率相同的帧速率(60fps)，第二图像92具有比拍摄图像61的帧速率低的帧速率(30fps)。

第一图像91的非关注区域82和第二图像92的关注区域81上的执行用于将该区域中的各个像素的像素值替换为固定值的掩蔽处理的要点类似于上述的分辨率转换处理。

如图6所示，在假定对于具有高帧速率的第一图像91，图像处理单元36具有当前生成的8帧的第一图像91-1至91-8的情况下，对于具有上述帧速率的一半的第二图像92，生成4帧的第二图像92-1至92-4。

图像处理单元36生成作为帧合成信息的“帧识别号+划分数+子帧识别号+重复数”，并将其添加至第一图像91和第二图像92中的每者。“重复数”表示添加有帧合成信息的图像被重复使用的次数。

因为第二图像92-1的“重复数”是“2”，所以第二图像92-1被用于两次合成处理。换句话说，接收设备13合成第一图像91-1和第二图像92-1以生成合成图像93-1，并然后合成第一图像91-2和第二图像92-1以生成合成图像93-2。类似地，接收设备13合成第一图像91-3和第二图像92-2以生成合成图像93-3，并然后第一图像91-4和第二图像92-2以生成合成图像93-4。

<黑图像(blackimage)插入处理的示例>

接着，参考图7，将说明在参考图6所述的帧速率转换处理中在低帧速率侧插入黑图像的情况的示例。应注意，在图7的示例中，第一图像91和第二图像92也具有不同的分辨率，但即使在相同的分辨率的情况下也可以执行类似的处理。

在图6的帧速率转换处理中，可能存在如下的情况：由运动引起的帧之间的图像偏差作为阴影出现，这取决于高帧速率侧上的被摄体的运动。为了在视觉上消除由该图像偏差引起的阴影，通过在接收设备13侧在低帧速率侧插入黑图像来生成合成图像93。

类似于图6，图像处理单元36生成两个图像，即具有高帧速率(60fps)的第一图像91和具有低帧速率的第二图像92(30fps)。所生成的两个图像被发送到接收设备13。

作为插入黑图像的情况下的帧合成信息，将“帧识别号+划分数+子帧识别号+发送帧数”添加至第一图像91和第二图像92中的每者。“发送帧数”表示在由帧识别号标示的每个帧中被从摄像设备11发送到接收设备13的帧的总数。例如，在具有帧识别号“1”的帧中，因为第一图像91-1和第二图像92-1这两个图像被发送，所以发送帧数变成“2”，并且在具有帧识别号“2”的帧中，因为只发送一个图像(即第一图像91-2)，所以发送帧数变成“1”。

在帧合成信息的“划分数”为“2”并且“发送帧数”为“2”的情况下，接收设备13合成第一图像91和第二图像92，以生成合成图像93。另一方面，在帧合成信息的“划分数”为“2”并且“发送帧数”为“1”的情况下，接收设备13合成高帧速率侧的第一图像91和黑图像，以生成合成图像93。

在图7所示的示例中，合成第一图像91-1和第二图像92-1以生成合成图像93-1，并合成第一图像91-2和黑图像以生成合成图像93-2。可以通过黑图像的像素值补偿第一图像91-2的非关注区域82的像素值来生成合成图像93-2。

以这种方式，在执行帧速率转换处理的情况下，可以在低帧速率侧插入待与具有高帧速率的第一图像91合成的黑图像。

<分辨率/帧速率转换处理的示例>

图8示出用于生成第一图像91和第二图像92的分辨率/帧速率转换处理的示例，在该处理中，针对拍摄图像61，分辨率和帧速率都被转换。

在图8中，添加帧合成信息的方法类似于图6所示的帧速率转换处理的方法，并且待合成的第一图像91与第二图像92之间的关联类似于帧速率转换处理的关联。

在通过分辨率/帧速率转换处理来合成第一图像91和第二图像92的合成处理中，将在与图5所示的分辨率转换处理对应的合成处理中已经执行的通过高分辨率的四重像素来插值出低分辨率像素的处理添加至通过上述的帧速率转换处理来合成第一图像91和第二图像92的合成处理。

<阶调数(gradationcount)转换处理的示例>

接着，将说明用于给出由拍摄图像61生成的第一图像91与第二图像92之间的阶调数的不同的阶调数转换处理。

图像处理单元36基于由测距传感器34获取的距离信息将拍摄图像61划分成第一区域(关注区域81)和第二区域(非关注区域82)，并且执行阶调数转换处理以生成两个图像，在该处理中，阶调数被转换成使得阶调数在第一区域与第二区域之间不同。

例如，图像处理单元36生成两个图像，即具有与拍摄图像61的阶调数相同的阶调数(32位)的第一图像91和具有比拍摄图像61的阶调数低的阶调数(16位)的第二图像92。

对第一图像91的非关注区域82和第二图像92的关注区域81执行掩蔽处理的要点类似于上述的分辨率转换处理等。

已接收具有不同阶调数的第一图像91和第二图像92的接收设备13生成合成图像93，并且将其显示在显示设备14上，其中，合成图像93将第一图像91的像素值用于关注区域81并将第二图像92的像素值用于非关注区域82。

应注意，图像处理单元36也能够执行将阶调数的转换和分辨率或帧速率的转换适当地进行组合的转换处理。

<5.使用流程图的说明>

<图像发送处理流程>

接着，参照图9的流程图，将说明用于将由摄像设备11拍摄的图像发送到接收设备13的图像发送处理。在摄像设备11中，拍摄图像的实时取景图像被显示在显示单元39上。例如，当用户通过触摸实时取景图像的预定区域来选定拍摄图像61中的关注区域81时，开始图9的处理。

首先，在步骤s1中，操作单元40检测用户的触摸位置并接收关注区域的选定。由用户选定的图像的位置信息经由控制单元31被提供到图像处理单元36。

在步骤s2中，在控制单元31的控制下，测距传感器34接收从发光单元33发射的ir光以生成距离信息，并将距离信息提供到图像处理单元36。

在步骤s3中，在控制单元31的控制下，摄像传感器35拍摄被摄体的图像以生成拍摄图像61，并将拍摄图像61提供到图像处理单元36。

在步骤s4中，图像处理单元36基于从测距传感器34提供的距离信息来针对拍摄图像61指定关注区域81。具体地，在拍摄图像61中，图像处理单元36在用户在实时取景图像中选定的位置周围检测包括相同距离信息的目标区域，并将检测到的区域确定为关注区域81。此外，图像处理单元36将拍摄图像61的除关注区域81之外的区域设置为非关注区域82。

在步骤s5中，如图4所示，图像处理单元36生成第一图像91和第二图像92，在第一图像91中，对非关注区域82执行了掩蔽处理，在第二图像92中，对关注区域81执行了掩蔽处理。在这个阶段，第一图像91和第二图像92与拍摄图像61的不同仅在于存在或不存在掩蔽处理。

在步骤s6中，图像处理单元36执行图像质量转换处理，以将分辨率、帧速率和阶调数中的至少一者转换成在第一图像91与第二图像92之间不同。

这里，例如，在执行转换处理时，由用户在设定屏幕等上选定来预先确定分辨率、帧速率和阶调数中的哪些在第一图像91和第二图像92之间变得不同。也可以允许用户能够针对第一图像91和第二图像92中的每者设置分辨率、帧速率和阶调数。

图10是说明在图9的步骤s6中执行的图像质量转换处理的细节的流程图。

应注意，如同在参照图4至8说明的示例中，在拍摄图像61和第一图像91具有相同的分辨率、帧速率和阶调数而不管是否存在掩蔽处理的情况下，仅对第二图像92执行下面的步骤s21至s27的处理。

另一方面，例如，如同在拍摄图像61的分辨率为8k(7680*4320)的示例中，在第一图像91的分辨率、帧速率或阶调数不同于拍摄图像61的分辨率、帧速率或阶调数的情况下，第一图像91的分辨率为4k，并且第二图像92的分辨率是fhd，则对第一图像91和第二图像92两者执行下面的步骤s21至s27的处理。

在图像质量转换处理中，在步骤s21中，图像处理单元36首先判断是否执行分辨率转换。

在步骤s21中判断出执行分辨率转换的情况下，处理进入步骤s22，并且图像处理单元36执行用于转换第一图像91或第二图像92的分辨率的分辨率转换处理。

另一方面，在步骤s21中判断出不执行分辨率转换的情况下，跳过步骤s22的处理。

接着，在步骤s23中，图像处理单元36判断是否执行阶调数转换。

在步骤s23中判断出执行阶调数转换的情况下，处理进入步骤s24，并且图像处理单元36执行用于转换第一图像91或第二图像92的阶调数的阶调数转换处理。

另一方面，在步骤s23中判断出不执行阶调数转换的情况下，跳过步骤s24的处理。

接着，在步骤s25中，图像处理单元36判断是否要执行帧速率转换。

在步骤s25中判断出执行帧速率转换的情况下，处理进入步骤s26，并且图像处理单元36执行用于转换第一图像91或第二图像92的帧速率的帧速率转换处理。

另一方面，在步骤s25中判断出不执行帧速率转换的情况下，跳过步骤s26的处理。

接着，在步骤s27中，图像处理单元36生成帧合成信息，并将帧合成信息添加至第一图像91和第二图像92中的每者。

一旦结束步骤s27的处理，图9的步骤s6的图像质量转换处理结束，并且处理返回到图9以进入步骤s7。

在步骤s7中，通信单元38将由图像处理单元36生成的第一图像91和第二图像92发送到接收设备13。第一图像91和第二图像92的图像数据还包括帧合成信息。

在步骤s8中，控制单元31判断是否结束发送。例如，在用户进行停止发送拍摄图像的操作的情况下或预定时段内的图像的发送结束的情况下，在步骤s8中判断出将要结束发送。

在步骤s8中判断出不结束发送的情况下，处理返回步骤s2，并重复上述步骤s2至s8的处理。因此，针对接下来拍摄的拍摄图像61生成第一图像91和第二图像92，并将第一图像91和第二图像92发送到接收设备13。

另一方面，在步骤s8中判断出结束发送的情况下，图9的图像发送处理结束。

<图像接收处理流程>

接下来，参照图11的流程图，将说明与摄像设备11的图像发送处理对应的由接收设备13执行的图像接收处理。

首先，在步骤s41中，接收设备13接收(获取)从摄像设备11发送的第一图像91和第二图像92。

在步骤s42，基于被添加至所接收的第一图像91和第二图像92中的每者的帧合成信息，接收设备13合成第一图像91和第二图像92，以由此生成合成图像93。

在步骤s43中，接收设备13将所生成的合成图像93输出到显示设备14以进行显示。

在步骤s44中，接收设备13判断是否结束接收。在步骤s44中，例如，在没有从摄像设备11发送图像的情况下或者在执行结束图像接收的操作的情况下，判断出将要结束接收。

在步骤s44中判断出不结束接收的情况下，处理返回步骤s41，并且重复上述步骤s41至s44的处理。因此，接收接下来从摄像设备11发送的第一图像91和第二图像92，并且生成合成图像93并将其显示在显示设备14上。

另一方面，在步骤s44中判断出将要结束接收的情况下，图11的图像接收处理结束。

在上述的摄像设备11的图像发送处理和接收设备13的图像接收处理中，摄像设备11生成并发送第一图像91和第二图像92，并且接收设备13接收并合成第一图像91和第二图像92并将其显示在显示设备14上。

应注意，可以在摄像设备11侧上执行合成第一图像91和第二图像92的处理。具体地，摄像设备11可以根据所生成的第一图像91和第二图像92生成合成图像93并将其发送，从而接收设备13接收合成图像93并将其显示在显示设备14上。

<在生成并发送单个图像的情况下的图像发送处理流程>

在图像质量转换处理没有转换帧速率的情况下，不需要根据拍摄图像61生成第一图像91和第二图像92这两个图像，并且可以生成并发送针对拍摄图像61转换分辨率和阶调数中的至少一者的单个图像。

图12是说明在拍摄图像61发送单个图像的情况下的图像发送处理的流程图。

因为图12所示的图像发送处理的步骤s61至s64的处理与图9所示的图像发送处理的步骤s1至s4的处理相同，所以省略其说明。

在步骤s65中，对拍摄图像61的关注区域81和非关注区域82执行参照图10说明的图像质量转换处理。应注意，在图10的步骤s25中，判断出不执行帧速率转换，并且省略步骤s27中的帧合成信息的生成。

在步骤s66中，通信单元38将经过步骤s65的图像质量转换处理的拍摄图像61发送到接收设备13。

在步骤s67中，控制单元31判断是否结束发送。在判断出结束发送的情况下，结束图像发送处理。另一方面，在步骤s67中判断出不结束发送的情况下，处理返回步骤s62，并且重复上述的步骤s62至s67的处理。

<在生成并发送单个图像的情况下的图像接收处理流程>

图13是说明在拍摄图像61发送单个图像的情况下接收设备13的图像接收处理的流程图。

首先，在步骤s81中，接收设备13接收(获取)被从摄像设备11发送并经过图像质量转换处理的拍摄图像61。

然后，在步骤s82中，接收设备13将所接收的经过图像质量转换处理的拍摄图像61输出到显示设备14，并使其显示在显示设备14上。

在步骤s83中，控制单元31判断是否结束接收。在判断出结束接收的情况下，结束图像接收处理。另一方面，在步骤s83中判断出不结束接收的情况下，处理返回步骤s81，并且重复上述步骤s81至s83的处理。

如上所述，在图像质量转换处理不执行帧速率转换的情况下，将在针对由摄像传感器35获得的拍摄图像61的关注区域81和非关注区域82中的至少一者对分辨率和阶调数中的至少一者执行图像质量转换处理之后获得的拍摄图像61发送到接收设备13，并且接收设备13使所接收的拍摄图像61原样地显示在显示设备14。

例如，在不执行帧速率转换的情况下，可以由用户根据操作模式的设置来确定是发送两个图像还是发送单个图像。

<6.结论>

在图1所示的图像处理系统1中，摄像设备11至少包括测距传感器34和摄像传感器35，基于由测距传感器34获得的距离信息将由摄像传感器35获得的拍摄图像61的图像区域划分为关注区域81和非关注区域82这两个区域，并对关注区域81和非关注区域82中的至少一者执行图像处理使得这两个区域具有不同的图像质量。

作为图像处理，执行使分辨率、阶调数和帧速率中的至少一者在关注区域81与非关注区域82之间不同的图像质量转换处理。

例如，摄像设备11的图像处理单元36生成两个图像，即第一图像91和第二图像92，第一图像91中的关注区域81的分辨率被设定为第一分辨率(例如，与拍摄图像61相同的分辨率)，第二图像92中的非关注区域82的分辨率被设定为低于第一分辨率的第二分辨率。

可替代地，图像处理单元36生成单个图像，其中，该单个图像的关注区域81的分辨率被设定为第一分辨率(例如，与拍摄图像61相同的分辨率)，且非关注区域82的分辨率被设定为低于第一分辨率的第二分辨率。

可替代地，例如，图像处理单元36生成两个图像，即第一图像91和第二图像92，第一图像91中的关注区域81的阶调数被设定为第一阶调数(例如，与拍摄图像61相同的阶调数)，第二图像92中的非关注区域82的阶调数被设定为低于第一阶调数的第二阶调数。

可替代地，图像处理单元36生成单个图像，该单个图像的关注区域81的阶调数为第一阶调数(例如，与拍摄图像61相同的阶调数)，且非关注区域82的阶调数为低于第一阶调数的第二阶调数。

可替代地，例如，图像处理单元36生成两个图像，即第一图像91和第二图像92，第一图像91中的关注区域81的帧速率为第一帧速率(例如，与拍摄图像61相同的帧速率)，第二图像92中的非关注区域82的帧速率为低于第一帧速率的第二帧速率。

在生成两个图像的情况下，对第一图像91的非关注区域82执行掩蔽处理，并且对第二图像92的关注区域81执行掩蔽处理。

因为图像处理单元36的图像质量转换处理是用于减小非关注区域82的分辨率、阶调数和帧速率中的至少一者的处理，所以即使在两个图像(第一图像91和第二图像92)根据单个拍摄图像61生成并发送的情况下，发送数据量也会减少。

以数字影院的单个4k标准(数字影院倡导组织4k)图像为例，将讨论数据量压缩效果。

如同在图5所示的示例中，将讨论摄像设备11从单个4k拍摄图像61生成两个图像(即第一图像91和第二图像92，第一图像91的关注区域81的分辨率为4k，且第二图像92的非关注区域82的分辨率为fhd)的情况。

单个4k图像的位数变为：36位(阶调数12位×相应的rgb)*4096(像素)*2160(像素)＝318,504,960位。

当计算第一图像91和第二图像92两个图像的总位数时，假设单个拍摄图像61的面积的50％是关注区域81，剩余的50％是非关注区域82，则确定318,504,960位*0.5(第一图像91)+318,504,960位*0.5/4(第二图像92)＝199,065,600位。

因此，待发送的数据量可以被压缩到大约199,065,600/318,504,960＝62.5％以用于发送。

如上所述，根据图像处理单元36的图像处理，可以使用距离信息来压缩图像数据并发送图像数据。该压缩技术是一种不需要时间轴方向上的信息的压缩技术，与使用关于运动矢量、帧间预测、运动补偿等的时间轴方向上的信息的压缩技术(例如mpeg2和mpeg4)不同。

在图像处理单元36的运动图像压缩中，由于不需要时间轴方向上的相邻帧的信息，并且执行使用距离信息的相同帧内的压缩，所以可以实时压缩并发送图像。

例如，在通过降低图像的局部区域的分辨率来执行马赛克处理(模糊处理)的情况下，在过去需要执行诸如后处理等处理，但因为本发明的图像处理能够使分辨率实时转换以进行发送，所以马赛克处理后的图像的实时发送也变得可能。

此外，因为图像处理是在相同帧内进行的，并且不存在与相邻帧的图像相关性，所以还可以使用通过合成预定时间处的第一图像91和在该时间之后的几帧的时间处的第二图像92获得的合成图像来生成运动图像。

尽管仅在上述示例中给出了对运动图像的说明，但是由于在同一帧内进行图像处理，所以毫无疑问，本发明同样适用于静止图像。

此外，尽管已经在拍摄图像61(即，关注区域81和非关注区域82)被划分为两个区域的示例中给出了说明，但是在上述示例中，还可以将拍摄图像61划分为三个或者更多个区域，以执行图像处理，使得至少一个区域的图像质量不同于与其它区域的图像质量。

<7.根据本发明的计算机的说明>

由控制单元31、图像处理单元36等执行的上述一系列处理可以通过硬件或软件来执行。在通过软件执行该一系列处理的情况下，构成软件的程序被安装在计算机(例如，微型计算机)中。

图14是示出安装了用于执行上述一系列处理的程序的计算机的实施例的构造示例的框图。

程序可以被预先记录在作为计算机的内置记录介质的硬盘205或rom203中。

可替代地，程序可以被存储(记录)在可移除记录介质211中。这种可移除记录介质211可以被设置为所谓的套装软件。这里，可移除记录介质211的示例包括软盘、cd-rom(光盘只读存储器)、mo(磁光)盘、dvd(数字多功能光盘)、磁盘、半导体存储器等。

应注意，除了如上所述地将程序从可移除记录介质211安装在计算机中之外，该程序还可以经由通信网络或广播网络下载到计算机并安装在内置硬盘205中。换句话说，例如，程序可以通过用于数字卫星广播的人造卫星从下载站点无线传输到计算机，或者经由诸如lan(局域网)和因特网等网络有线地传输到计算机。

其中，计算机包括cpu(中央处理单元)202，并且输入/输出接口210经由总线201连接到cpu202。

当用户通过操作输入单元207经由输入/输出接口210输入命令时，cpu202相应地执行存储在rom(只读存储器)203中的程序。可替代地，cpu202将存储在硬盘205中的程序加载到ram(随机存取存储器)204中并执行该程序。

因此，cpu202执行根据上述流程图的处理或通过上述框图的构造执行的处理。然后，cpu202根据需要经由输入/输出接口210输出来自输出单元206的处理结果或将其从通信单元208发送，例如，并将其记录在硬盘205上等。

应注意，输入单元207由键盘、鼠标和传声器等构成。此外，输出单元206由lcd(液晶显示器)、扬声器等构成。

在本说明书中，由计算机根据程序执行的处理不一定需要按照流程图所述的顺序按时间顺序执行。换句话说，由计算机根据程序执行的处理也包括并行或单独执行的处理(例如，并行处理或按被摄体处理)。

此外，程序可以由单个计算机(处理器)处理，或者由多个计算机以分布式方式处理。此外，程序可以被发送到远程计算机并被执行。

应注意，在本说明书中，术语“系统”是指一组的多个组成元件(设备、模块(组件)等)，所有组成元件是否被容纳在同一壳体中是无关紧要的。因此，容纳在不同壳体中并且经由网络连接的多个设备以及将多个模块被容纳在单个壳体中的单个设备都被称为系统。

本发明的实施例不限于上述实施例，并且可以在不脱离本发明的主旨的情况下进行各种修改。

例如，可以采用将上述实施例的全部或部分组合的构造。

例如，在本发明中，可以采用云计算构造，其中一个功能由多个设备经由网络共享并协同处理。

此外，上述流程图中所述的各个步骤除了由单个设备执行之外，还可以由多个设备共享和执行。

此外，在单个步骤中包括多个处理的情况下，除了由单个设备执行之外，包括在单个步骤中的多个处理还可以由多个设备共享和执行。

应注意，本说明书中所述的效果仅仅是示例，并且不应该受到限制，并且还可以获得除了在本说明书中所述的效果以外的效果。

应注意，本发明也可以采取以下构造。

(1)一种图像处理设备，其包括：

图像处理单元，其基于由测距传感器获得的距离信息将预定图像的图像区域划分成至少两个区域，并对所述图像的所述两个区域中的至少一个区域执行图像处理，使得所述两个区域的图像质量不同。

(2)根据(1)所述的图像处理设备，其中，

所述图像处理单元执行作为所述图像处理的分辨率转换处理，所述分辨率转换处理转换分辨率，使得所述两个区域的分辨率不同。

(3)根据(2)所述的图像处理设备，其中，

所述两个区域包括第一区域和第二区域，并且

所述图像处理单元执行用于生成两个图像的处理，所述两个图像包括第一图像和第二图像，所述第一图像中的所述第一区域的分辨率为第一分辨率，所述第二图像中的所述第二区域的分辨率为低于所述第一分辨率的第二分辨率。

(4)根据(2)所述的图像处理设备，其中，

所述两个区域包括第一区域和第二区域，并且

所述图像处理单元执行用于生成一个图像的处理，在所述一个图像中，所述第一区域的分辨率为第一分辨率，且所述第二区域的分辨率为低于所述第一分辨率的第二分辨率。

(5)根据(1)～(4)中任一项所述的图像处理设备，其中，

所述图像处理单元执行作为所述图像处理的阶调数转换处理，所述阶调数转换处理转换阶调数，使得所述两个区域的阶调数不同。

(6)根据(5)所述的图像处理设备，其中，

所述两个区域包括第一区域和第二区域，并且

所述图像处理单元执行用于生成两个图像的处理，所述两个图像包括第一图像和第二图像，所述第一图像中的所述第一区域的阶调数为第一阶调数，所述第二图像中的所述第二区域的阶调数为小于所述第一阶调数的第二阶调数。

(7)根据(5)所述的图像处理设备，其中，

所述两个区域包括第一区域和第二区域，并且

所述图像处理单元执行用于生成一个图像的处理，在所述一个图像中，所述第一区域的阶调数为第一阶调数，且所述第二区域的阶调数为低于所述第一阶调数的第二阶调数。

(8)根据(1)～(7)中任一项所述的图像处理设备，其中，

所述图像处理单元执行作为所述图像处理的帧速率转换处理，所述帧速率转换处理转换帧速率，使得所述两个区域的帧速率不同。

(9)根据(8)所述的图像处理设备，其中，

所述两个区域包括第一区域和第二区域，并且

所述图像处理单元执行用于生成两个图像的处理，所述两个图像包括第一图像和第二图像，所述第一图像中的所述第一区域的帧速率为第一帧速率，所述第二图像中的所述第二区域的帧速率为小于所述第一帧速率的第二帧速率。

(10)根据(1)～(9)中任一项所述的图像处理设备，其中，

所述两个区域包括第一区域和第二区域，并且

所述图像处理单元生成用于将第一图像和第二图像彼此关联的帧合成信息并将所述帧合成信息添加至所述第一图像或所述第二图像，所述第一图像中的所述第一区域已被执行第一图像处理，所述第二图像中的所述第二区域已被执行第二图像处理。

(11)根据(1)～(10)中任一项所述的图像处理设备，其中，

所述测距传感器为主动型测距传感器。

(12)根据(1)～(10)中任一项所述的图像处理设备，其中，

所述测距传感器为被动型测距传感器。

(13)根据(1)～(10)中任一项所述的图像处理设备，其还包括：

所述测距传感器；以及

摄像传感器，其拍摄被摄体的图像，

其中，所述预定图像是由所述摄像传感器拍摄的图像。

(14)一种图像处理方法，其包括：

图像处理设备基于由测距传感器获得的距离信息将预定图像的图像区域划分成至少两个区域，并且对所述图像的所述两个区域中的至少一个区域执行图像处理，使得所述两个区域的图像质量不同。

(15)一种摄像设备，其包括：

摄像传感器，其拍摄被摄体的图像；

测距传感器，其获取关于所述被摄体的距离信息；以及

图像处理单元，其基于由所述测距传感器获得的所述距离信息将由所述摄像传感器获得的图像的图像区域划分成至少两个区域，并且对所述图像的所述两个区域中的至少一个区域执行图像处理，使得所述两个区域的图像质量不同。

附图标记列表

1图像处理系统11摄像设备

13接收设备14显示设备

31控制单元32光学系统

33发光单元34测距传感器

35摄像传感器36图像处理单元

38通信单元39显示单元

40操作单元41距离信息获取单元

61拍摄图像62深度图

81关注区域82非关注区域

91第一图像92第二图像

93合成图像202cpu

203rom204ram

205硬盘206输出单元

207输入单元208通信单元

209驱动器