图像处理装置以及图像处理程序的制作方法

1.本发明涉及对由拍摄部拍摄到的影像的各帧进行处理的图像处理装置以及图像处理程序。


背景技术：

2.搭载有电子式的手抖校正功能的相机正在广泛普及。在电子式的手抖校正功能中，为了抵消相机的手抖，使从拍摄范围剪切的视场角的范围自适应地移动，生成降低了抖动的图像。在电子式的手抖校正中，进行控制，以尽可能固定视场角内的被摄体的位置。然而，当视点由于相机的移动而移动时，视场角内的构图改变，对象物与背景的位置关系的观察方式改变。
3.专利文献1公开了以下技术：将对被摄体空间从不同的多个视点拍摄到的视差图像进行合成，合成与视点变化前的图像接近的图像的技术。但是，在该技术中，对于一个微透镜需要包括多个像素的拍摄元件，光学系统变得复杂。
4.现有技术文献
5.专利文献
6.专利文献1：日本特开2016-42662号公报。


技术实现要素：

7.本实施方式是鉴于这样的状况而完成的，其目的在于提供一种即使拍摄视点抖动也电子地生成包含构图在内的稳定的影像的技术。
8.为了解决上述课题，本实施方式的某个方式的图像处理装置包括：影像获取部，获取由拍摄部拍摄到的影像；移动量确定部，根据用于检测对所述拍摄部施加的振动的传感器的输出信号、或者所获取的影像的帧间的差分，确定基于对所述拍摄部施加的振动的所述拍摄部的移动量；对象物检测部，从所获取的影像的帧内，检测应关注对象物；距离确定部，根据来自用于测量距离的传感器的输出信号、或者帧内的所述对象物的大小，确定从所述拍摄部到所述对象物的距离；矢量强度调整部，调整用于消除由所述振动引起的抖动的校正矢量的强度；剪切位置决定部，决定用于从所获取的影像的各帧剪切规定尺寸的图像的剪切位置，所述剪切位置决定部使所述剪切位置按照所述校正矢量移动，根据所述校正矢量的强度，分别决定用于对象物的剪切位置和用于背景的剪切位置；以及图像合成部，对从用于所述对象物的剪切位置剪切的所述对象物的图像数据和从用于所述背景的剪切位置剪切出的除所述对象物以外的背景的图像数据进行合成。
9.另外，将以上构件的任意组合、本实施方式的表现在装置、方法、系统、记录介质、计算机程序等之间变换后的方式，作为本实施方式的方式也是有效的。
10.根据本实施方式，即使拍摄视点抖动，也能够以电子方式生成包含构图在内的稳定的影像。
附图说明
11.图1是示出本发明的实施方式1的拍摄装置的结构的图。
12.图2的(a)～(c)是用于说明实施方式1的图像处理装置进行的合成图像生成处理的具体例的图(之一)。
13.图3的(a)～(c)是用于说明实施方式1的图像处理装置进行的合成图像生成处理的具体例的图(之二)。
14.图4是示出本发明的实施方式2的拍摄装置的结构的图。
15.图5的(a)～(c)是用于说明实施方式2的图像处理装置进行的合成图像生成处理的具体例的图(之一)。
16.图6的(a)～(c)是用于说明实施方式2的图像处理装置进行的合成图像生成处理的具体例的图(之二)。
17.图7的(a)和(b)是用于说明实施方式2的图像处理装置进行的合成图像生成处理的具体例的图(之三)。
18.图8是示出本发明的实施方式3的拍摄装置的结构的图。
19.图9的(a)～(c)是用于说明实施方式1、3的图像处理装置进行的总剪切范围的限制处理的具体例的图。
具体实施方式
20.图1是示出本发明的实施方式1的拍摄装置1的结构的图。拍摄装置1既可以是单体的摄像机，也可以是搭载于智能手机、平板电脑、笔记本pc等信息设备的相机模块。
21.实施方式1所涉及的拍摄装置1包括拍摄部10、振动检测传感器11以及图像处理装置20。拍摄部10包括透镜、固体拍摄元件、信号处理电路。固体拍摄元件例如能够使用cmos(complementary metal oxide semiconductor，互补金属氧化物半导体)图像传感器或ccd(charge coupled devices，电荷耦合器件)图像传感器。固体拍摄元件将经由透镜入射的光转换为电影像信号，并输出至信号处理电路。信号处理电路对从固体拍摄元件输入的影像信号实施a/d转换、噪声去除等信号处理，并输出到图像处理装置20。
22.振动检测传感器11检测对拍摄部10施加的振动，并输出到图像处理装置20。振动检测传感器11例如能够使用陀螺仪传感器。陀螺仪传感器分别检测在拍摄部10的横摆方向和俯仰方向上施加的振动作为角速度。
23.图像处理装置20包括影像获取部21、图像识别部22、对象物检测部23、对象物追踪部24、运动矢量检测部25、剪切位置决定部27、振动信息获取部28、移动量确定部29、剪切部30、图像合成部31以及像素增补部32。这些构件能够通过硬件资源与软件资源的协作、或者仅通过硬件资源来实现。作为硬件资源，能够利用cpu、rom、ram、gpu(graphics processing unit，图形处理单元)、dsp(digital signal processor，数字信号处理器)、isp(image signal processor，图像信号处理器)、asic(application specific integrated circuit，专用集成电路)、fpga(field-programmable gate array，现场可编程门阵列)、其他lsi。作为软件资源，能够利用固件等程序。
24.影像获取部21获取由拍摄部10拍摄到的影像。振动信息获取部28获取振动检测传感器11的输出信号作为振动分量信息。移动量确定部29对由振动信息获取部28获取的输出
信号进行积分来确定拍摄部10的移动量。例如，移动量确定部29对由振动信息获取部28获取的横摆方向和俯仰方向的角速度信号分别进行积分，计算拍摄部10的横摆方向和俯仰方向的移动角度。
25.此外，移动量确定部29也可以在根据帧间的差分检测到除了由后述的图像识别部22识别出的对象物以外的、背景区域的整体一律向相同的方向移动的情况下，将该背景区域的整体的移动量确定为拍摄部10的移动量。在该情况下，即使省略振动检测传感器11，也能够估计基于施加于拍摄部10的振动的、拍摄部10的移动量。如果省略振动检测传感器11，则能够削减成本。
26.移动量确定部29生成用于抵消所确定的拍摄部10的移动量的校正矢量。即，生成在拍摄部10抖动的方向上具有与拍摄部10的移动量相同量的校正量的校正矢量。移动量确定部29将所生成的校正矢量输出至剪切位置决定部27。在拍摄部10理想地静止的情况下，校正矢量的值为零。
27.图像识别部22在由影像获取部21获取的影像的帧内搜索对象物。图像识别部22具有对拍摄有特定的对象物的多个图像进行学习而生成的特定的对象物的识别器作为词典数据。特定的对象物例如以人物的面部、人物的全身、动物(例如狗、猫)的面部、动物的全身、交通工具(例如铁路车辆)等为对象。
28.图像识别部22使用各对象物的识别器来在影像的帧内搜索。在对象物的识别中，例如能够使用hog(histograms of oriented gradients，定向梯度直方图)特征量。此外，也可以使用haar-like特征量、lbp(local binary patterns，局部二进制模式)特征量等。在帧内存在对象物的情况下，图像识别部22用矩形的检测框增补该对象物。
29.对象物检测部23决定是否将由图像识别部22识别出的对象物检测为应关注对象物。应关注对象物是被估计为拍摄装置1的用户(拍摄者)所关注的被摄体的对象物。
30.对象物检测部23基于以下的判断基准中的任意一个或多个的组合，决定是否将识别出的对象物作为被摄体。(a)是否是比规定的尺寸大的对象物，(b)是否是位于帧内的中央区域的对象物，(c)对象物是人物还是动物，(d)到对象物的距离是否小于规定值(到对象物的距离的估计方法在后面叙述)，(e)是否没有被对象物遮挡的部分，(f)对象物的运动是否比规定值小(运动的检测方法在后面叙述)。
31.在帧内识别出多个对象物的情况下，对象物检测部23可以将满足上述的判断基准的对象物全部检测为被摄体，也可以基于下述的判断基准中的任意一个或多个的组合来选定一个被摄体。(a)’是否是帧内最大的对象物、(b)’是否是帧内位于最中央的对象物、(d)’是否到对象物的距离最近、(f)’是否是运动的对象物中运动最小的对象物。
32.这些判断基准基于如下经验法则：拍摄者关注的被摄体的大部分在帧内占据大的区域的、位于帧的中央的、位于景深的近前侧的、拍摄者通过拍摄装置1追踪被摄体而使帧内的运动变小。
33.另外，在拍摄装置1的取景器画面为触摸面板式的情况下，对象物检测部23也可以将映在取景器画面内的对象物中的、由拍摄装置1的用户触摸的对象物决定为被摄体。
34.对象物追踪部24在后续的帧内追踪图像识别部22识别出的对象物。在对象物的追踪中，例如能够使用粒子滤波器或平均移动法(mean shift)。追踪的对象物可以是由图像识别部22识别出的全部对象物，也可以仅是由对象物检测部23检测为应关注对象物的对象
物。另外，在被摄体的选定基准中使用了对象物的运动的情况下，需要追踪由图像识别部22识别出的全部对象物。
35.运动矢量检测部25检测影像的帧间的应关注对象物的移动量作为该对象物的运动矢量。该运动矢量表示该对象物的运动的正矢量(追踪矢量)。
36.剪切位置决定部27决定用于从影像的各帧剪切规定尺寸的图像的剪切位置。剪切位置决定部27从由固体拍摄元件的全部像素拍摄到的全部拍摄范围中，决定剪切一部分区域而显示或记录的图像的范围。
37.在本实施方式中，采用电子式的手抖校正功能。在电子式的手抖校正功能中，为了抵消拍摄装置1的手抖，使从整个拍摄范围剪切的视场角的位置自适应地变化。另外，在本实施方式中，还采用被摄体跟踪功能。在被摄体追踪功能中，针对被摄体的运动，改变从整个拍摄范围剪切的视场角的位置，使得视场角内的被摄体的位置尽可能固定。这样，在本实施方式中，进行基于电子式的手抖校正功能和被摄体追踪功能的实时的视场角剪切。
38.剪切位置决定部27从移动量确定部29获取校正矢量，从运动矢量检测部25获取应关注对象物的位置和运动矢量。剪切位置决定部27分别决定应关注对象物的剪切位置和背景的剪切位置。
39.剪切位置决定部27使参照帧的对象物用的剪切位置按照将校正矢量和对象物的运动矢量合成后的合成矢量移动，决定当前帧的对象物用的剪切位置。
40.在参照帧为前帧的情况下，校正矢量成为用于消除前帧与当前帧之间的拍摄部10的运动的校正矢量，对象物的运动矢量成为表示前帧与当前帧之间的对象物的运动的运动矢量。在参照帧是对象物的追踪开始时的帧的情况下，校正矢量成为用于消除追踪开始时的帧与当前帧之间的拍摄部10的运动的校正矢量，对象物的运动矢量成为表示追踪开始时的帧与当前帧之间的对象物的运动的运动矢量。
41.剪切位置决定部27使参照帧的背景用的剪切位置按照校正矢量移动，并决定当前帧的背景用的剪切位置。在参照帧为前帧的情况下，校正矢量成为用于消除前帧与当前帧之间的拍摄部10的运动的校正矢量。在参照帧是对象物的追踪开始时的帧的情况下，校正矢量是用于消除追踪开始时的帧与当前帧之间的拍摄部10的运动的校正矢量。
42.剪切位置决定部27也可以使当前帧的对象物用的剪切位置按照对象物的运动矢量移动，来决定背景用的剪切位置。在该情况下，对象物的运动矢量成为表示追踪开始时的帧与当前帧之间的运动的运动矢量。
43.剪切部30从对象物用的剪切位置的图像数据中仅截取该对象物的图像数据。剪切部30从背景用的剪切位置的图像数据剪切除该对象物以外的背景的图像数据。图像合成部31将剪切的该对象物的图像数据与剪切的背景的图像数据合成。
44.详细的说明如后述，但在帧内设定多个应关注对象物的情况下，有可能在合成后的图像内产生缺陷像素。在该情况下，像素增补部32基于在空间上或者时间上与该缺失像素接近的至少1个有效像素，对合成后的图像内的缺陷像素进行增补。
45.图2的(a)～(c)是用于说明实施方式1的图像处理装置20的合成图像生成处理的具体例的图(之一)。图3的(a)～(c)是用于说明实施方式1的图像处理装置20进行的合成图像生成处理的具体例的图(之二)。
46.如图2的(a)所示，剪切位置决定部27默认地在帧f0内的中央设定剪切位置c0。对
象物检测部23在帧f0内检测对象物ob1作为应关注对象物。对象物追踪部24开始对象物ob1的追踪。在图2的(a)所示的例子中，对象物ob1向左方向移动。并且，由于拍摄者的手抖，拍摄部10向上方移动。
47.如图2的(b)所示，剪切位置决定部27在当前帧f1中，使参照帧f0的剪切位置c0按照手抖的校正矢量和对象物ob1的运动矢量的合成矢量移动，决定对象物ob1用的剪切位置c1。
48.如图2的(c)所示，剪切位置决定部27使当前帧f1的对象物ob1用的剪切位置c1按照对象物ob1的运动矢量的逆矢量移动，决定背景用的剪切位置c2。
49.如图3的(a)所示，剪切部30从当前帧f1的对象物ob1用的截取位置c1的图像数据截取对象物ob1的图像数据。如图3的(b)所示，剪切部30从当前帧f1的背景用的截取位置c2的图像数据截取除了对象物ob1的图像数据以外的背景的图像数据。如图3的(c)所示，图像合成部31将截取到的对象物ob1的图像数据与截取到的背景的图像数据合成而生成新的合成图像ic。
50.如以上说明的那样，根据实施方式1，在从整个拍摄范围追踪被摄体而剪切视场角时，分别剪切被摄体用的视场角和背景用的视场角，对背景用的视场角实施背景模糊的校正。在校正背景模糊之后，可以通过合成被摄体的视场角和背景的视场角来抑制背景模糊。此时，针对被摄体用的视场角和背景用的视场角这两者实施手抖的校正。由此，能够生成在视场角整体中抑制了抖动的影像。
51.因此，能够鲜明地捕捉被摄体并生成自然的背景的影像。例如，在起居室中拍摄猫的情况下，由于猫通过被摄体追踪功能被追踪，所以猫的晃动被抑制。进而，背景也不会根据猫的运动而突然运动，能够拍摄自然背景的影像。此外，即使在拍摄者进行摇摄的情况下，也抑制了背景的运动，因此，可以避免成为难以识别拍摄了什么的影像。另外，详细内容后述，但在被摄体为多个的情况下，也能够将多个被摄体尽可能地收敛于一张视场角。此外，通过将用于抵消手抖的校正矢量的强度乘以与被摄体的运动矢量相同的强度，能够拍摄虚拟背景那样的背景静止的影像。另外，也能够制作能够在虚拟背景中使用的素材。
52.图4是示出本发明的实施方式2的拍摄装置1的结构的图。实施方式2所涉及的拍摄装置1包括拍摄部10、振动检测传感器11、距离检测传感器12以及图像处理装置20。实施方式2的图像处理装置20包括影像获取部21、图像识别部22、对象物检测部23、矢量强度调整部26、剪切位置决定部27、振动信息获取部28、移动量确定部29、剪切部30、图像合成部31、像素增补部32、距离信息获取部33以及距离确定部34。
53.以下，对与实施方式1的不同点进行说明。距离检测传感器12是用于检测位于拍摄方向的物体距拍摄部10的距离的传感器。距离检测传感器12例如能够使用tof(time of flight，飞行时间)传感器。tof传感器的代表性的有超声波传感器(声纳)、lidar(light detection and ranging，光探测和测距)。超声波传感器向拍摄方向发送超声波，测量到接收其反射波为止的时间，检测到位于拍摄方向的物体为止的距离。lidar向拍摄方向照射激光，计测直到接受其反射光为止的时间，检测到位于拍摄方向的物体为止的距离。
54.距离信息获取部33获取距离检测传感器12的输出信号作为距离信息。距离确定部34根据所获取的距离信息，生成与由拍摄部10拍摄到的可见光图像对应的距离图像。
55.距离确定部34也可以通过图像识别来估计从拍摄部10到拍摄在帧内的对象物的
距离。例如，作为词典数据登记的对象物的一般的大小、在帧内拍摄到的该对象物的大小、从拍摄部10到该对象物的距离的关系预先通过表格或者函数来规定。距离确定部34基于在帧内由图像识别部22识别出的对象物的大小，参照该表或该函数，估计从拍摄部10到该对象物的距离。在该情况下，即使省略距离检测传感器12，也能够估计到拍摄在帧内的对象物的距离。如果省略距离检测传感器12，则能够削减成本。
56.另外，距离确定部34在能够从自动对焦调整部(图中未示出)获取从拍摄部10到拍摄在帧内的对象物的距离的情况下，也可以使用从自动对焦调整部获取的距离。另外，在拍摄部10由双眼构成的情况下，距离确定部34也可以基于由双眼的拍摄部10拍摄到的影像间的视差，来估计到在帧中拍摄到的对象物为止的距离。
57.在实施方式2中省略了被摄体追踪功能。因此，基本上不需要计算对象物的运动矢量，在实施方式2中，从图像处理装置20中省略了对象物追踪部24和运动矢量检测部25。
58.在实施方式2中也采用电子式的手抖校正功能。即，为了抵消拍摄装置1的手抖，自适应地移动从整个拍摄范围剪切的视场角的位置。在实施方式2中，追加了用于调整用于消除手抖的校正矢量的强度的矢量强度调整部26。
59.矢量强度调整部26从移动量确定部29获取校正矢量，从距离确定部34获取到该对象物的距离。矢量强度调整部26根据从距离确定部34获取的到该对象物的距离来调整从移动量确定部29获取的校正矢量的强度。矢量强度调整部26在到该对象物的距离越近时将校正矢量的强度设定得越强，在到该对象物的距离越远时将校正矢量的强度设定得越弱。
60.例如，预先通过表或函数规定手抖动量、从拍摄部10到对象物的距离、在该帧内拍摄到的该对象物的手抖引起的移动量之间的关系。该关系也可以基于设计者的实验、模拟而导出。矢量强度调整部26根据距离确定部34获取的从拍摄部10到对象物的距离，参照该表或该函数，调整从移动量确定部29获取的校正矢量的强度。
61.在实施方式2中，剪切位置决定部27从对象物检测部23获取应关注对象物的位置，从矢量强度调整部26获取该对象物的校正矢量。剪切位置决定部27通过按照校正矢量移动参考帧(例如，前一帧)的剪切位置来确定当前帧的剪切位置。此时，剪切位置决定部27根据对象物和背景的校正矢量的强度，分别决定对象物用的剪切位置和背景用的剪切位置。
62.在帧内设定有多个应关注对象物的情况下，剪切位置决定部27按每个应关注对象物决定剪切位置。例如，在帧内第一对象物和位于比该第一对象物靠里侧的第二对象物被检测为应关注对象物的情况下，矢量强度调整部26将第一对象物的校正矢量的强度设定得比第二对象物的校正强度强。
63.另外，关于背景的校正矢量，可以不调整校正矢量的强度而直接使用，也可以由矢量强度调整部26调整其强度。例如，也可以根据距离的划分将整体的背景分割为多个背景，矢量强度调整部26对分割后的每个背景调整校正矢量的强度。另外，矢量强度调整部26也可以基于到构成背景的各物体的距离的代表值(例如，平均值、中央值或众数)来调整校正矢量的强度。
64.图5的(a)～(c)是用于说明实施方式2的图像处理装置2 0进行的合成图像生成处理的具体例的图(之一)。图6的(a)～(c)是用于说明实施方式2的图像处理装置20进行的合成图像生成处理的具体例的图(之二)。图7的(a)～(b)是用于说明实施方式2的图像处理装置20进行的合成图像生成处理的具体例的图(之三)。
65.如图5的(a)所示，剪切位置决定部27默认地在帧f0内的中央设定剪切位置c0。对象物检测部23在帧f0内检测第一对象物ob1和第二对象物ob2作为应关注对象物。从拍摄部10观察，第二对象物ob2存在于第一对象物ob1的里侧，在帧f0内，第二对象物ob2的一部分被第一对象物ob1遮挡。
66.图5的(b)示出了从图5的(a)所示的状态起由于拍摄者的手抖而使拍摄部10向右移动的状态。图5的(b)示出了电子式的手抖校正功能关闭的情况。在该情况下，剪切位置c0不变，第一对象物ob1和第二对象物ob2向视场角的左侧移动。
67.此时，由于拍摄部10向右移动，视点向右移动，由此，第一对象物ob1与第二对象物ob2的相对位置关系的观察方式改变。具体而言，在当前帧f1内，靠近视点的第一对象物ob1比远离视点的第二对象物ob1向左大幅移动。即，与手抖前的参照帧f0相比，在当前帧f1中，第一对象物ob1与第二对象物ob2的重叠部分变大，第二对象物ob2被第一对象物ob1遮挡的部分变大。
68.图5的(c)示出了电子式的手抖校正功能开启的情况、且使参照帧f0的剪切位置c0按照手抖的校正矢量单纯地向左移动的情况。通过剪切位置c0的移动，在当前帧f1的剪切位置c0’，第一对象物ob1和第二对象物ob2配置于视场角的中央。然而，与参照帧f0相比，当前帧f1内的第一对象物ob1和第二对象物ob2的构图改变。
69.与此相对，图6的(a)～(c)分别决定第一对象物ob1、第二对象物ob2、背景的剪切位置。如图6的(a)所示，剪切位置决定部27使参照帧f0的剪切位置c0按照第一对象物ob1的修正矢量移动，决定第一对象物ob1用的剪切位置c1。如图6的(b)所示，剪切位置决定部27使参照帧f0的剪切位置c0按照第二对象物ob2的修正矢量移动，决定第二对象物ob2用的剪切位置c2。如图6的(c)所示，剪切位置决定部27使参照帧f0的剪切位置c0按照背景的修正矢量移动，决定背景用的剪切位置c3。
70.如图7的(a)所示，剪切部30从第一对象物ob1用的截取位置c1的图像数据截取第一对象物ob1的图像数据，从第二对象物ob2用的截取位置c2的图像数据截取第二对象物ob2的图像数据，从背景用的截取位置c3的图像数据截取除了第一对象物ob1和第二对象物ob2之外的背景的图像数据。图像合成部31将截取到的第一对象物ob1的图像数据、截取到的第二对象物ob2的图像数据以及截取到的背景的图像数据合成而生成新的合成图像ic。
71.新生成的合成图像ic内的第一对象物ob1和第二对象物ob2的构图与参照帧f0的截取位置c0内的第一对象物ob1和第二对象物ob2的构图相同。即，能够进行拍摄部10犹如没有移动那样的虚拟的视点变换。
72.根据当前帧f1新生成的合成图像ic内的第一对象物ob1与第二对象物ob2的重复部分比在当前帧f1中实际拍摄到的第一对象物ob1与第二对象物ob2的重复部分少。因此，在新生成的合成图像ic中，在两者的重复部分的差分的区域中产生像素缺失。即，被第一对象物ob1遮挡的一部分区域成为缺陷像素区域rm。
73.像素增补部32基于在空间上或者时间上接近该缺陷像素区域rm的至少1个有效像素来增补该缺陷像素区域rm的像素。作为第一增补方法，像素增补部32从在当前帧f1中与缺陷像素区域rm相邻的周边像素生成增补像素。
74.例如，像素增补部32对缺陷像素区域rm内的各像素分配与最接近各像素的有效像素相同的像素。例如，像素增补部32也可以对缺陷像素区域rm内的像素分配与缺陷像素区
域rm相邻的多个有效像素的代表值。另外，也可以按照缺陷像素区域rm内的每个像素，确定接近的周边的多个有效像素，计算该特定的多个有效像素的代表值。
75.例如，像素增补部32也可以从缺陷像素区域rm的左右或上下相邻的有效像素中，对其间的缺陷像素区域rm内的多个像素进行插值。例如也可以以线为单位进行线性插值。此时，也可以附加渐变而对缺陷像素区域rm内的多个像素进行插值。在赋予渐变的情况下，多个像素间的色差可以均匀，也可以使各像素间的色差具有按照一定的规则的变化(例如，指数函数的变化)。
76.作为第二增补方法，像素增补部32在时间上与当前帧f1接近的多个帧中，搜索在与当前帧f1的缺陷像素区域rm对应的区域(以下，简称为对应区域)中存在有效像素的帧，基于搜索到的帧内的对应区域的有效像素，增补当前帧f1的缺陷像素区域rm的像素。
77.例如，像素增补部32将在对应区域存在有效像素的帧中的、与当前帧f1在时间上最相邻的帧内的对应区域的有效像素增补到当前帧f1的缺陷像素区域rm。例如，像素增补部32确定在对应区域存在有效像素的帧中的、对应区域内的有效像素的代表值与在当前帧f1中存在缺陷部分的第二对象物ob2的区域内的像素的代表值最接近的帧。像素增补部32将所确定的帧内的对应区域的有效像素增补到当前帧f1的缺陷像素区域rm。
78.作为第三增补方法，像素增补部32估计在当前帧f1中存在缺陷部分的第二对象物ob2的本来的形状，将缺陷像素区域rm划分为第二对象物ob2的区域和背景的区域，按每个区域增补像素。
79.在图7的(b)所示的例子中，像素增补部32在第二对象物ob2的外周与缺陷像素区域rm的外周相交的2点间划直线l1。像素增补部32在缺陷像素区域rm中将直线l1的左侧区域rm2估计为第二对象物ob2的区域，将直线l1的右侧区域rm1估计为背景的区域。
80.像素增补部32基于第二对象物ob2的有效像素来增补缺陷像素区域rm的左侧区域rm2内的像素。此时，能够在将参照范围设为第二对象物ob2的有效像素的范围内的基础上，使用第一增补方法。像素增补部32基于与右侧区域rm1接近的背景的有效像素来增补缺陷像素区域rm的右侧区域rm1内的像素。此时，能够在将参照范围设为背景的有效像素的范围内的基础上，使用第一增补方法。
81.如以上说明的那样，根据实施方式2，在同一帧内分别对被摄体和背景进行手抖校正。此时，通过根据距拍摄部10的距离来改变被摄体和背景的校正强度，能够在维持帧内的构图的同时校正手抖。另外，在由于剪切位置的移动而产生了像素缺失区域的情况下，通过对在空间上或者时间上接近的像素进行增补，能够降低图像的不自然。如上所述，尽管发生了手抖，也能够生成犹如拍摄装置1静止那样的影像。
82.图8是示出本发明的实施方式3的拍摄装置1的结构的图。实施方式3所涉及的拍摄装置1包括拍摄部10、振动检测传感器11、距离检测传感器12以及图像处理装置20。实施方式3的图像处理装置20包括影像获取部21、图像识别部22、对象物检测部23、对象物追踪部24、运动矢量检测部25、矢量强度调整部26、剪切位置决定部27、振动信息获取部28、移动量确定部29、剪切部30、图像合成部31、像素增补部32、距离信息获取部33以及距离确定部34。
83.以下，对与实施方式1、2的不同点进行说明。在实施方式3中，与实施方式1同样地，采用了被摄体追踪功能和电子式的手抖校正功能双方。在实施方式3中，矢量强度调整部26从运动矢量检测部25获取应关注对象物的运动矢量，从距离确定部34获取到该对象物的距
离。矢量强度调整部26根据从距离确定部34获取的到该对象物的距离，调整从运动矢量检测部25获取的应关注对象物的运动矢量的强度。矢量强度调整部26到该对象物的距离越近，将该对象物的运动矢量的强度设定得越强，到该对象物的距离越远，将该对象物的运动矢量的强度设定得越弱。
84.例如，预先通过表格或函数来规定对象物的实际的运动所引起的移动量、从拍摄部10到对象物的距离、以及相对于对象物的实际的运动的帧内的对象物的移动量的关系。该关系也可以基于设计者的实验、模拟而导出。矢量强度调整部26根据从距离确定部34获取的从拍摄部10到对象物的距离，参照该表或该函数，调整从运动矢量检测部25获取的该对象物的运动矢量的强度。
85.在实施方式3中，剪切位置决定部27按照手抖的校正矢量和由矢量强度调整部26调整后的对象物的运动矢量的合成矢量使参照帧的剪切位置移动，决定对象物用的剪切位置(参照图2的(b))。以下的处理与实施方式1相同。
86.如上所述，有时在帧内设定多个应关注对象物。此时，存在多个对象物向不同的方向移动的情况。在该情况下，合成了各对象物用的视场角的图像内的构图有时与实际的构图较大地偏离。因此，也可以对多个剪切位置的合成前的总剪切范围施加限制。
87.图9的(a)～(c)是用于说明实施方式1、3的图像处理装置20进行的总剪切范围的限制处理的具体例的图。如图9的(a)所示，剪切位置决定部27默认地在帧f0内的中央设定剪切位置c0。对象物检测部23在帧f0内检测第一对象物ob1和第二对象物ob2作为应关注对象物。对象物追踪部24开始第一对象物ob1和第二对象物ob2的追踪。在图9的(a)所示的例子中，第一对象物ob1向左方向移动，第二对象物ob2向右方向移动。并且，由于拍摄者的手抖，拍摄部10向上方移动。
88.如图9的(b)所示，剪切位置决定部27在当前帧f1中，使参照帧f0的剪切位置c0按照手抖的校正矢量和第一对象物ob1的运动矢量的合成矢量移动，决定第一对象物ob1用的剪切位置c1。同样地，剪切位置决定部27在当前帧f1中，使参照帧f0的剪切位置c0按照手抖的校正矢量和第二对象物ob2的运动矢量的合成矢量移动，决定第二对象物ob2用的剪切位置c2。
89.在图9的(b)所示的例子中，第一对象物ob1用的剪切位置c1与第二对象物ob2用的剪切位置c2的合成前的总剪切范围的宽度w1变宽。若将剪切位置c1内的第一对象物ob1的图像数据、剪切位置c2内的第二对象物ob2的图像数据、背景用的剪切位置(在图9的(b)中未示出)内的背景数据合成，则第一对象物ob1和第二对象物ob2双方完全收敛于合成图像内的视场角。但是，生成第一对象物ob1与第二对象物ob2的位置关系比实际更接近的图像，与实际的位置关系的背离变大。
90.因此，对总剪切范围设置限制。具体而言，在总剪切范围内设定宽度上限wt和高度上限ht。矢量强度调整部26在帧内检测到多个对象物的情况下，调整多个对象物中的至少一个对象物的运动矢量的强度，使得收敛于总剪切范围的限制。
91.在图9的(c)所示的例子中，矢量强度调整部26以满足总剪切范围的宽度上限wt的方式减弱第二对象物ob2的运动矢量的强度。具体而言，矢量强度调整部26减弱第二对象物ob2的运动矢量的强度，以使第一对象物ob1用的剪切位置c1和第二对象物ob2用的剪切位置c2’的合成前的总剪切范围的宽度w1’与总剪切范围的宽度上限wt一致。在该情况下，第
二对象物ob2的一部分从合成图像内的视场角偏离。
92.另外，矢量强度调整部26也可以不减弱第二对象物ob2的运动矢量的强度，而减弱第一对象物ob1的运动矢量的强度，也可以减弱第一对象物ob1和第二对象物ob2的运动矢量双方的强度。
93.减弱运动矢量的强度的对象物也可以是优先级低的对象物。也可以是，尺寸越大的对象物则优先级被设定得越高。另外，也可以在帧内越靠近中央的对象物则优先级被设定得越高。另外，距离拍摄部10的距离越近的对象物的优先级也可以设定得越高。另外，也可以是，越是运动小的对象物，则优先级被设定得越高。另外，也可以将这些基准的多个组合使用。
94.总剪切范围的宽度上限wt和高度上限ht的值也可以由用户进行设定变更。将宽度上限wt和高度上限ht的值设定得越大，所有对象物收敛于合成图像内的视场角的概率越高。另一方面，将宽度上限wt和高度上限ht的值设定得越小，则修正的强度越弱，能够降低从实际的构图的背离。
95.如以上说明的那样，根据实施方式3，起到实施方式1和实施方式2双方的效果。即，能够在视场角整体中抑制抖动，生成视场角内的构图自然的影像。另外，实施方式2也能够理解为在实施方式3中被摄体静止的情况下的例子。
96.以上，基于实施方式对本发明进行了说明。本领域技术人员当理解该实施方式为例示，其各构件、各处理过程的组合可以有各种变形例，并且这样的变形例也在本发明的范围内。
97.在上述图9的(a)～(c)中，说明了在帧内设定多个应作为跟踪对象的对象物的例子。关于这一点，也可以将在帧内识别出的多个对象物中的一个以上的对象物设定为应作为跟踪对象的对象物，将剩余的对象物设定为不作为跟踪对象的对象物。在该情况下，将不作为跟踪对象的对象物作为背景进行处理。
98.在上述的实施方式1-3中，说明了在拍摄中实时地调整截取视场角来生成合成图像的例子。关于这一点，也可以预先记录全部拍摄范围的影像数据和各帧时刻的传感器信息，在拍摄结束后，读出所记录的全部拍摄范围的影像数据和各帧时刻的传感器信息，执行上述实施方式1-3的合成图像生成处理。在该情况下，也可以不是在拍摄装置1内，而是在其他图像再现装置(例如，pc或智能手机)中执行合成图像生成处理。
99.工业实用性
100.本发明能够利用于搭载有电子式的手抖校正功能的相机。
101.符号说明：
102.1 拍摄装置
103.10 拍摄部
104.11 振动检测传感器
105.12 距离检测传感器
106.20 图像处理装置
107.21 影像获取部
108.22 图像识别部
109.23 对象物检测部
110.24 对象物追踪部
111.25 运动矢量检测部
112.26 矢量强度调整部
113.27 剪切位置决定部
114.28 振动信息获取部
115.29 移动量确定部
116.30 剪切部
117.31 图像合成部
118.32 像素增补部
119.33 距离信息获取部
120.34 距离确定部