图像处理设备和图像处理方法
【专利摘要】本发明涉及一种图像处理设备和图像处理方法。该图像处理设备包括：分割单元，用于在画面上将摄像单元连续拍摄到的多个帧图像各自分割成多个区域；运动矢量检测单元，用于针对所述多个帧图像的各分割区域来检测运动矢量；分离单元，用于基于平遥检测单元所检测到的所述图像处理设备的平遥速度和所述运动矢量检测单元所检测到的运动矢量，将用于表示被摄体的运动的被摄体矢量与用于表示背景的运动的背景矢量进行分离；以及识别单元，用于通过基于与距离检测单元针对所述多个帧图像的各分割区域所检测到的被摄体的距离有关的信息对所述被摄体矢量进行加权，来识别被摄体区域。
【专利说明】
图像处理设备和图像处理方法
技术领域
[0001 ]本发明设及用于辅助摇摄拍摄的技术。
【背景技术】
[0002] 已知摇摄技术为用于表示针对移动被摄体的速度感的拍摄技术。由于用户平摇照 相机W追随被摄体的运动，因此运种拍摄技术W使移动被摄体表现出静止而背景表现出移 动的方式来拍摄该被摄体。根据要拍摄的被摄体的移动速度，通过将曝光时间调整得长于 普通曝光时间来进行普通摇摄。
[0003] 在摇摄拍摄中，用户需要进行平摇W追随被摄体的运动，如果平摇速度太高或太 低、由此造成了平遥速度和被摄体的移动速度之间的差，则将经常出现被摄体的图像同样 模糊的情况。为了解决运个问题，提出了用于通过移动校正手抖动所用的移位透镜来消除 被摄体的移动速度和平摇速度之间的差的技术，作为用于辅助用户进行摇摄拍摄的技术。 例如，日本特开2006-317848公开了用于摇摄拍摄的如下结构，在该结构中，通过巧螺仪传 感器来检测设备的抖动，基于图像的运动矢量来检测被摄体，计算用于将所检测的被摄体 定位在图像中央的校正量，W及通过移动光轴移位透镜来进行校正。日本特开2003-279848 公开了如下结构，在该结构中，将图像分割成多个区域，并基于针对各区域所检测的被摄体 亮度和被摄体距离、拍摄倍率W及被摄体移动分布来检测主被摄体。
[0004] 然而，在上述的日本特开2006-317848所公开的技术中，通过巧螺仪传感器来检测 设备的抖动，并基于图像的运动矢量来检测被摄体。因此，例如在被摄体正接近用户或者存 在多个被摄体的情况下，存在W下问题:可能检测到具有相似大小和方位的多个运动矢量， 并且很难抑制位于用户期望表现出静止的位置处的被摄体的模糊。
[0005] 同样，在日本特开2003-279848所公开的技术中，如果用户试图在存在多个移动被 摄体的情况下进行摇摄拍摄，则由于该技术没有考虑照相机的平摇的影响，因而在照相机 的平摇速度与被摄体的移动速度不同的情况下，将会很难适当地检测到用户期望表现出静 止的被摄体。
【发明内容】
[0006] 本发明正是考虑了上述问题而做出的，并且在要进行摇摄拍摄的情况下，使得能 够在不会发生模糊的情况下更精确地拍摄用户期望表现出静止的被摄体。
[0007] 根据本发明的第一个方面，提供了一种图像处理设备，包括:分割单元，用于在画 面上将摄像单元连续拍摄到的多个帖图像各自分割成多个区域;运动矢量检测单元，用于 针对所述多个帖图像的各分割区域来检测运动矢量;分离单元，用于基于平遥检测单元所 检测到的所述图像处理设备的平遥速度和所述运动矢量检测单元所检测到的运动矢量，将 用于表示被摄体的运动的被摄体矢量与用于表示背景的运动的背景矢量进行分离；W及识 别单元，用于通过基于与距离检测单元针对所述多个帖图像的各分割区域所检测到的被摄 体的距离有关的信息对所述被摄体矢量进行加权，来识别被摄体区域。
[000引根据本发明的第二个方面，提供了一种图像处理方法，包括W下步骤:分割步骤， 用于在画面上将摄像单元连续拍摄到的多个帖图像各自分割成多个区域;运动矢量检测步 骤，用于针对所述多个帖图像的各分割区域来检测运动矢量;分离步骤，用于基于平遥检测 单元所检测到的设备的平遥速度和所述运动矢量检测步骤中所检测到的运动矢量，将用于 表示被摄体的运动的被摄体矢量与用于表示背景的运动的背景矢量进行分离；W及识别步 骤，用于通过基于与距离检测单元针对所述多个帖图像的各分割区域所检测到的被摄体的 距离有关的信息对所述被摄体矢量进行加权，来识别被摄体区域。
[0009] 通过W下参考附图对典型实施例的说明，本发明的其它特征将变得明显。
【附图说明】
[0010] 图1是示出根据本发明的第一实施例的摄像装置的基本结构的框图。
[0011] 图2是示出根据第一实施例的用于辅助摇摄拍摄的处理的流程图。
[0012] 图3A至3D是示出运动矢量的直方图中的变化的图。
[0013] 图4A至4E是示出用于将被摄体区域与背景区域进行判别的方法的图。
[0014] 图5A和5B是示出被摄体矢量区域的图。
[0015] 图6是示出根据第一实施例的距离映射和运动矢量的变化的图。
[0016] 图7是示出根据第一实施例的距离映射的可靠性表的图。
[0017] 图8A和8B是示出根据第一实施例的用于计算被摄体的移动量的方法的图。
[0018] 图9A和9B是示出根据第一实施例的有效场景的图。
[0019] 图10是示出根据第二实施例的用于辅助摇摄拍摄的处理的流程图。
[0020] 图11是示出根据第二实施例的距离映射和运动矢量的变化的图。
[0021] 图12A和12B是示出根据第二实施例的距离映射和运动矢量的可靠性表的图。
【具体实施方式】
[0022] W下将参考附图详细说明本发明的实施例。
[oou] 第一实施例
[0024] 图1是示出作为根据本发明的第一实施例的图像处理设备的摄像装置100的基本 结构的框图。摄像装置100不仅可W是诸如数字照相机或者数字摄像机等的照相机，还可W 是具有照相功能的诸如具有照相功能的移动电话或者具有照相机的计算机等的适合的电 子装置。
[0025] 在图1中，光学系统101包括透镜、快口和光圈，并且在CPU 103的控制下使用来自 被摄体的光在摄像元件102上形成图像。包括CCD图像传感器或者CMOS图像传感器等的摄像 元件102将经由光学系统101形成的图像的光转换成图像信号。诸如巧螺仪传感器等的角速 度传感器105检测表示摄像装置100的移动量的平摇角速度，将所检测到的平摇角速度转换 成电信号，并将转换得到的电信号发送至CPU 103。距离测量传感器106检测由摄像元件102 所拍摄到的被摄体的被摄体距离和散焦量(下文称为"距离映射"）（距离检测），将所检测到 的被摄体距离或者散焦量转换成电信号，并将转换得到的电信号发送至CPU 103。代替距离 测量传感器106,摄像元件102可W检测相位差或者对比度W获得焦点位置，并基于该焦点 位置获得被摄体距离。
[00%] CPU 103通过根据输入信号和预先存储的程序来控制构成摄像装置100的部件来 实现摄像装置100的功能。主存储装置104例如是诸如RAM等的用于临时存储数据的易失性 存储器，并且用作CPU 103所用的工作区。另外，存储在主存储装置104中的信息用在图像处 理设备107中，或者存储在存储介质108中等。二次存储装置109例如是诸如EEPROM等的用于 存储控制摄像装置100所用的程序（固件)或者各种类型的设置信息等的非易失性存储器， 并且被CPU 103所使用。
[0027] 存储介质108记录存储在主存储装置104中的所拍摄图像的数据等。注意，存储介 质108例如是半导体存储卡等，并被配置为能够从摄像装置100移除，并且通过将存储介质 108安装至个人计算机等可W读出存储在其中的数据。也就是说，摄像装置100具有针对存 储介质108的安装/移除机制和读取/写入功能。显示单元110显示摄像期间的取景器图像、 所拍摄图像和用于交互操作的GUI图像等。
[0028] 操作单元111是用于接受用户操作和将输入信息发送至CPU 103的输入装置组，并 且自然地可W包括例如按钮、杆和触摸面板等，还可W包括用于使用声音和视线等的输入 装置。注意，本实施例的摄像装置100具有要通过图像处理设备107应用至所拍摄图像的多 个图像处理模式，并且模式可W从操作单元111设置为摄像模式。除了被称作为所谓的显影 处理的图像处理W外，图像处理设备107还进行色调调整等。注意，可W通过CPU 103利用软 件来实现图像处理设备107的至少一些功能。
[0029] 注意，在图1中，摄像装置100是光学系统101与摄像装置的主体一体化地形成的装 置，但是也可W被配置为光学系统的部分可W从摄像装置的主体移除的镜头可更换拍摄系 统。
[0030] 图2是示出根据本实施例的用于辅助摇摄拍摄的操作的流程的流程图。注意，例如 可W通过半按下操作单元111的快口按钮等来使得该流程开始。另外，在通过实时取景或者 测光传感器等来连续获取多个帖图像的状态中进行用于辅助摇摄拍摄的该操作。
[0031] 首先，在步骤S201中，CPU 103检测由角速度传感器105所检测到的摄像装置100的 平摇角速度(平摇检测）。然后，在步骤S202中，CPU 103在画面上将由摄像元件102连续拍摄 到的各图像分割成多个块区域，并针对各块区域来检测由距离测量传感器106所检测到的 距离映射。与步骤S202类似地，在步骤S203中，CPU 103针对分割后的各块区域，使用图像处 理设备107来检测图像之间的运动矢量(矢量检测）。然后，将所检测到的运动矢量转换成摄 像面上的移动量v[mm]。
[0032] 在步骤S204中，CPU 103使用公式（1)将步骤S201中获得的摄像装置100的平摇角 速度O [rad/s]转换成摄像面上的图像之间的移动量L[mm]:
[0033] L = f ? 1:an( W/fps) ...(I)
[0034] 其中，f[mm]是焦距，fps[帖/秒]是图像获取间隔（W下称作"帖频"）。
[0035] 在步骤S205中，CPU 103使用图像处理设备107来基于步骤S203中所检测到的运动 矢量生成例如图3A中示出的直方图，该直方图的纵轴表示矢量块的数量，横轴表示矢量的 大小。
[0036] 在步骤S206中，CPU 103基于步骤S204中转换成移动量L[mm]的摄像装置100的角 速度CO [rad/s] W及步骤S205中生成的运动矢量的直方图，将表示被摄体的运动的矢量（W 下称作"被摄体矢量"）与表示背景的运动的矢量（W下称作"背景矢量"）进行判别（分离）。 例如，可W通过W下方法来进行被摄体的判别:将与步骤S204中转换成移动量L[mm]的摄像 装置100的角速度《^曰(1/3]接近的运动矢量判断为背景矢量，并且将接下来检测数量最多 的运动矢量判断为被摄体矢量。另外，如果摄像装置100的角速度《^3(1/3]高到一定程度， 则考虑到背景可能也在帖之间移动一定程度，因此也可W将小的运动矢量判断为被摄体矢 量。注意，在本文中，被摄体矢量和背景矢量是被转换成摄像面上的移动量的值。
[0037] 还存在一种使用步骤S202中所检测到的距离映射来进行被摄体的判别的方法。图 4A和4B示出从连续帖获取到的图像。在假设附图标记403表示沿着图像的右方向移动的被 摄体的情况下，在摇摄拍摄时背景402将在帖之间移动，因此针对块区域401所检测到的被 摄体距离在帖之间不同。另外，在假设图4C示出在任意帖中获取到的图像的情况下，与主被 摄体W不同方式移动的被摄体404模糊，因此不容易获得距离映射。因此，也可W将在帖之 间能够检测到相同距离映射的块区域判断为被摄体区域。
[0038] 如果分割后的块区域具有低对比度，则可能存在在步骤S202中不能检测到针对该 块区域的被摄体距离或者在步骤S203中不能检测到针对该块区域的运动矢量的情况，因此 期望定义一定程度较大的被摄体区域并且计算最终的被摄体速度。因此，在步骤S207中， CPU 103使用图像处理设备107,利用公式(2)来比较不能检测到被摄体距离和运动矢量的 块区域与邻接块区域之间的颜色比（R/G和B/G)(颜色比检测），并且如果差在预定阔值之 间，则判断为运些块区域是同一被摄体。
[0039] 阔值Rm< {(Ri/Gi)-(Ri-l/Gi-l)} < 阔值化
[0040] 阔值Bm< {(Bi/Gi)-(Bi-l/Gi-l)} < 阔值化--.(2)
[0041 ] W下将参考图4D和4E来说明图2的步骤S207中的处理。图4D和4E是示出给出帖中 的被摄体速度计算区域的示例的图。图4D的附图标记403表示沿着图像的右方向移动的被 摄体，并且附图标记405表示分割后的块区域。另外，图4E的附图标记406表示检测到被摄体 矢量的块区域，并且附图标记407表示不能检测到被摄体距离和运动矢量的区域。在假设针 对检测到被摄体矢量的最大连续块区域计算出最终的被摄体速度的情况下，将针对被摄体 后面的区域408来计算被摄体速度。然而，通过使用颜色来进行被摄体的判别，能够在包括 整个被摄体的区域409中计算被摄体速度。因此可W W上述的方式判别出被摄体。
[0042] W下将说明用于使用距离映射来对被摄体矢量进行加权的方法，该方法为本实施 例的特有特征。
[0043] 在图2的步骤S208中，CPU 103使用步骤S202中针对各块区域所检测到的距离映射 来对步骤S206中判断为被摄体矢量的运动矢量进行加权。
[0044] 将参考图3A至3D、图5A和5B、W及图6来说明步骤S208的处理。图3A至3D是示出给 出帖中的运动矢量的直方图的变化的图。注意，在本实施例中，仅图3A至3C用于说明。另外， 图5A和5B是示出给出帖中的被摄体矢量区域的图。最后，图6是示出图5A和5B所示的帖中的 被摄体速度计算区域的变化的图。
[0045] 在图6中，曰1至曰6示出距离映射中的散焦量，并且在焦点位置处散焦量为0,在被摄 体位于焦点位置的前方的情况下散焦量为负，并且在被摄体位于焦点位置的后方的情况下 散焦量为正。另外，将从焦点位置起的偏移量的大小表示为数字。在图6中，bl至b4示出运动 矢量，并且通过箭头的方向表示各运动矢量的方向，通过箭头的长度表示运动矢量的大小。
[0046] 图6的al示出针对如图5A所示的分割后的块区域501所检测到的距离映射，并且图 6的bl示出针对分割后的块区域的运动矢量。另外，图3A示出在纵轴表示"矢量块的数量"W 及横轴表示"矢量的大小"的直方图中的运动矢量分布。图3A的附图标记301表示步骤S204 中转换成摄像面上的移动量L[mm]的摄像装置100的角速度O [rad/s ]。
[0047]在图2的步骤S206中，CPU 103将具有与摄像装置100的角速度301的移动量几乎相 同的移动量的矢量302判断为背景矢量，并且将与背景矢量不同并且具有小的移动量的矢 量306判断为被摄体矢量。图6的曰2示出在由图5B的附图标记506(通过将区域503、504和505 组合来获得区域506)表示被判断为被摄体矢量306的块区域的情况下的距离映射，并且图6 的b2示出其运动矢量。注意，假设分别由图3A至3D的附图标记302 W及303至305来表示图5A 和5B的背景502和被摄体503至505的运动矢量。
[004引注意，在图3A至3D中，通过倾斜阴影来表示被摄体503的运动矢量303,通过交叉阴 影来表示被摄体504的运动矢量304,并且通过点来表示被摄体505的运动矢量305。运里，例 如在聚焦到被摄体503的情况下，即使与被摄体503相对应的汽车也会在汽车的各个运动矢 量中包括部分检测误差等。因此，如从图6的b2中与被摄体503相对应的部分清晰可见，运动 矢量的大小分布在和Omm的范围，并且在图3A中，倾斜阴影部分遍及运S个大小。 运同样适用于被摄体504,并且与被摄体504相对应的运动矢量304的大小分布在图34的- 3mm和-2mm的范围。另一方面，如图6的a2所示，与被摄体505相对应的运动矢量305的大小为 0,因此分布在图3A的Omm的位置处。
[0049] 图7是在使用距离映射对被摄体矢量进行加权时所用的可靠性表。根据图7的可靠 性表，与被摄体504相对应的（图6的a3的附图标记604所示的)块区域的散焦量为20，因此可 靠性为0%。另外，与被摄体505相对应的（图6的a3的附图标记605所示的）块区域的散焦量 为-10,因此可靠性为50%。也就是说，不将未对焦且模糊的被摄体判断为摇摄中期望表现 出静止的被摄体部分。注意，图7的阔值为示例，并且本发明不限于此。
[0050] 图3B、图6的曰4和图6的b3是示出图2的步骤S208的处理完成之后的状态的图。由于 与图5A和5B的被摄体504相对应的图6的曰3的块区域604的可靠性为0 %，因此如图3B的附图 标记307所示，将图3A的运动矢量304从被摄体矢量中排除。由于图6的a3的块区域605(也就 是说，与图5B的被摄体505相对应的块区域)的可靠性为50%，因此如图3B中所示，将包括在 被摄体矢量中的图3A的运动矢量305的块的数目减少一半。如上所述，使用距离映射进行被 摄体矢量的加权。
[0051] 在图2的步骤S209中，CPU 103使用图像处理设备107提取具有与焦点位置处的距 离映射和被摄体矢量相同的距离映射和被摄体矢量的连续区域。在本实施例中，假设如果 存在要提取的多个区域，则将提取最大的连续区域，但是也可W基于诸如画面的中央的构 图等的构图来判断要提取的区域。
[0化2] 将参考图3A至3D和图6的al至图6的b4来说明步骤S209的处理。图6的曰5的块区域 605不与位于焦点位置处的块区域邻接，因此判断为具有不同被摄体的运动矢量。因此，如 图3C的附图标记308所示，将图3B的运动矢量305从被摄体矢量中排除。
[0053] 如上所述，识别出最终的被摄体矢量区域，并且将包括在该被摄体矢量区域中的 运动矢量进行平均化，由此计算出被摄体矢量。
[0054] 在图2的步骤S210中，CPU 103使用图像处理设备107基于被摄体矢量来计算被摄 体速度。使用公式(3)将摄像面上的被摄体的移动量(被摄体矢量的大小)v[mm]转换成角速 度 〇v[rad/s]:
[0055] ?v = fpsX 化 D-I(VZ^f) ...(3)
[0056] 其中，v[mm]是帖之间的图像面上的被摄体的移动量(被摄体矢量的大小），f [mm] 是焦距，并且巧S[帖/秒]是帖频。然后使用公式(4)来计算被摄体的角速度《s[rad/s]:
[0057] c〇s = ( co + c〇v) ? ? ? (4)
[005引其中，W [rad/s]是摄像装置100的角速度，W v[rad/s]是帖之间的被摄体矢量的 角速度转换值。
[0059] W上述方式来计算被摄体速度。
[0060] 在步骤S211中，CPU 103判断是否要进行曝光操作。注意，运里判断包括在操作单 元111中的快口按钮是否被全按下（W下，判断SW2是否接通）。如果没有接通SW2,则CPU 103 W重复的方式进行步骤S201至S210的操作。如果SW2接通，则过程进入步骤S212。
[0061 ]在步骤S212中，CPU103在摄像元件102的曝光期间，基于步骤S210中计算出的被摄 体速度和摄像装置100的角速度之间的差值来操作光学系统101的移位透镜，并且辅助进行 摇摄拍摄。
[0062] 图8A和8B是示出被摄体不仅左右移动而且还上下移动、即被摄体距离也改变的情 况的示例的图。在图8A中，假设由附图标记801表示第n帖中的被摄体的位置，并且由附图标 记802表示第n+1帖中的被摄体的位置，由附图标记803表示与原始被摄体速度相对应的移 动量vO。然而，如果在假设被摄体距离固定的情况下检测被摄体的移动量，则将具有与图像 面上的移动量808(v2)相同的移动量的移动量804(vl)检测为被摄体的移动量。
[0063] 在图8B中，在假设SW2接通之前被摄体的移动量为vO、vl和v2并且SW2接通之后被 摄体的移动量、即曝光期间被摄体的移动量为vO'、vl'和v2'的情况下，即使在被摄体正W 恒定速度移动的情况下(vO = vO'），图像形成面上的移动量也将改变(v2辛v2'）。因此，为了 检测尽管被摄体距离固定而被摄体距离也改变的被摄体的移动量，需要预测SW2接通之后 被摄体的移动量VI'，而不是预测SW2接通之前被摄体的移动量VI。在本实施例中，由于使用 距离映射能够检测到被摄体距离化1、L2)，因此可W使用公式巧)来计算与原始被摄体速度 相对应的移动量vO:
[0064]
[00化] ..P)
[0066] 然后，使用上述计算的结果和公式(6)，计算出SW2接通之后的移动量VI'：
[0067]
[006引
[0069]
[0070] 通过基于使用移动量VI'所计算出的被摄体速度来操作移位透镜，即使在被摄体 不仅左右移动而且还上下移动的情况下也能够辅助进行摇摄拍摄。因此，在辅助用户进行 摇摄拍摄时，能够更精确地检测被摄体区域和被摄体速度。
[0071] 注意，在本实施例中，说明了如图9A所示从多个被摄体导出一个被摄体901的示 例。然而，同样在如图9B所示被摄体正接近用户、即同一被摄体具有被摄体距离相互不同的 区域的情况下，也可W使用与上述处理相同的处理来限制如附图标记902所示的计算被摄 体速度的区域。
[0072]另外，在本实施例中，说明了通过移位透镜来校正形成被摄体的图像的位置的示 例，但本发明不限于此，并且例如可W实现诸如使得摄像元件102自身偏移的形态等的形 态。
[007引第二实施例
[0074] 在第二实施例中，摄像装置的结构与图1示出的第一实施例的摄像装置100的结构 相同，因此运里省略对其的说明。
[0075] 图10是示出根据第二实施例的用于辅助摇摄拍摄的操作的流程的流程图。注意， 例如可W通过半按下操作单元111的快口按钮等来使得该流程开始。另外，在通过实时取景 或者测光传感器等来连续获取多个帖图像的状态中进行用于辅助摇摄拍摄的该操作。
[0076] 首先，在步骤SlOOl中，CPU 103获得由用户使用操作单元111设置的距离测量位 置。注意，步骤S201至S207与第一实施例的图2的步骤S201至S207相同，因此运里省略对其 的说明。
[0077] W下将说明用于使用距离测量位置和距离映射来对运动矢量进行加权W及用于 计算被摄体矢量的方法，该方法是本实施例的特有特征。
[0078] 在步骤S1002中，CPU 103检测具有与步骤SlOOl所获得的距离测量位置（由图11的 附图标记1101表示)处的距离映射和运动矢量相对应的距离映射和运动矢量的块区域。在 步骤S1003中，CPU 103使用步骤S1002中检测到的块区域的距离映射和运动矢量来对另一 块的距离映射和运动矢量进行加权。
[0079] 将参考图3A至3D、5A和5B、图11的al至图11的b4、W及图12A和12B来说明步骤 S1002和S1003的操作的细节。图3A至3D是示出给出帖中的运动矢量的直方图的变化的图。 注意，在本实施例中，仅3A和3D用于说明。另外，图5A和5B是示出给出帖中的被摄体矢量区 域的图。另外，图11是示出图5A和5B所示的帖中的被摄体速度计算区域的变化的图。在图11 中，曰1至曰4示出被摄体距离与作为基准的距离测量位置的差值，并且bl至b4示出运动矢量。 最后，图12A和12B示出对被摄体矢量进行加权时所用的可靠性表。图12A示出使用距离映射 的可靠性表，并且图12B示出使用运动矢量的可靠性表。
[0080] 与第一实施例相同，图3A至3D的附图标记306表示被摄体矢量，并且图5B的附图标 记506(通过将区域503、504和505组合来获得区域506)表示被判断为被摄体矢量的块区域。 另外，分别由图3A至3D的附图标记302 W及303至305来表示图5A和5B的背景502的运动矢量 W及被摄体503至505的运动矢量。另外，图11的al示出被判断为被摄体矢量的块区域506的 距离映射，并且图11的bl示出被判断为被摄体矢量的块区域506的运动矢量。
[0081] 在假设图11的al的附图标记1101表示距离测量位置的情况下，在图11的al的块区 域604中，被摄体距离的差值为20,因此根据图12A的距离映射的可靠性表具有0%的可靠 性。另外，在块区域605中，被摄体距离的差值为-10,因此具有50%的可靠性。运里，在图11 的曰2中示出了根据距离映射的可靠性表的加权结果。注意，"X"表示可靠性为0%，7"表示 可靠性为50 %。
[0082] 同样地，根据图12B的运动矢量的可靠性表，图11的bl的块区域604的可靠性为 〇%，并且在公式(7)的条件下，块区域605的可靠性为50%。运里，在图11的b2中示出了根据 运动矢量的可靠性表的加权结果。注意，"X"表示可靠性为0%，7"表示可靠性为50%。
[0083] 块区域604:运动矢量的大小的差>b
[0084] 块区域605:运动矢量的大小的差= (a+b)/2…（7)
[0085] 然后，如公式(8)所给出那样，通过将距离映射的可靠性和运动矢量的可靠性相乘 来确定针对被摄体矢量的加权量。注意，在图11中的a3和b3示出针对被摄体矢量的加权量， 并且"X"表示可靠性为25 %，7"表示可靠性为50 %。
[0086] (被摄体矢量可靠性）=(距离映射可靠性）X (运动矢量可靠性）…化）
[0087] 因此，进行加权W检测具有与距离测量位置处的被摄体距离和运动矢量相似的被 摄体距离和运动矢量的块区域作为被摄体区域。注意，上述的使用距离映射和运动矢量的 加权方法为示例，并且本发明不限于此。目前已经说明了步骤S1002和S1003的细节。
[0088] 通过进行图10的步骤S1004的处理来提取与距离测量位置相连续的区域，排除图 11的块区域605,并且因此图11中的曰3和b3采取图11中的曰4和b4的形式。注意，除了将焦点 位置或者距离测量位置用作基准的不同之外，步骤S1004基本上与第一实施例中说明的图2 的步骤S209相同，因此运里省略对其的说明。
[0089] 图3D示出在图3A的状态中通过进行步骤S1003至S1004的处理而获得的结果。由于 图3A的运动矢量304所具有的距离映射的可靠性低并且运动矢量305对应于并未与距离测 量位置连续的区域，因此如图3D的附图标记309和310所示，将各运动矢量从被摄体矢量排 除。另外，通过进行基于如图11的曰4的附图标记603所示的可靠性的加权，能够如图3A至3D 的附图标记311所示减少对被摄体矢量影响的比例。
[0090] 在步骤S210中，CPU 103使用图像处理设备107基于如上所述加权的被摄体矢量来 计算被摄体速度。注意，用于计算被摄体速度的方法与第一实施例的方法相同，因此运里省 略了对其的说明。步骤S211和S212与第一实施例的相同，因此运里省略了对其的说明。通过 进行上述步骤，能够实现辅助摇摄拍摄。
[0091] 如上所述，能够从用作基准的距离测量位置检测被摄体矢量，因此使得能够更精 确地检测用户期望表现出静止的被摄体的区域中的被摄体速度。
[0092] 注意，本实施例说明了移位透镜用于校正形成被摄体的图像的位置的示例，但本 发明不限于此，并且可W通过例如使得摄像元件102自身偏移等的形态来实现。
[OOW] 其它实施例
[0094]本发明的实施例还可W通过如下的方法来实现，即，通过网络或者各种存储介质 将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中 央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。
[00%]尽管已经参考典型实施例描述了本发明，但是应该理解，本发明不局限于所公开 的典型实施例。所附权利要求书的范围符合最宽泛的解释，W包含所有运类修改、等同结构 和功能。
【主权项】
1. 一种图像处理设备，包括： 分割单元，用于在画面上将摄像单元连续拍摄到的多个帧图像各自分割成多个区域； 运动矢量检测单元，用于针对所述多个帧图像的各分割区域来检测运动矢量； 分离单元，用于基于平遥检测单元所检测到的所述图像处理设备的平遥速度和所述运 动矢量检测单元所检测到的运动矢量，将用于表示被摄体的运动的被摄体矢量与用于表示 背景的运动的背景矢量进行分离；以及 识别单元，用于通过基于与距离检测单元针对所述多个帧图像的各分割区域所检测到 的被摄体的距离有关的信息对所述被摄体矢量进行加权，来识别被摄体区域。2. 根据权利要求1所述的图像处理设备，其中，还包括： 计算单元，用于使用所识别出的所述被摄体区域的被摄体矢量来计算被摄体的速度。3. 根据权利要求2所述的图像处理设备，其中，还包括： 辅助单元，用于通过基于所计算出的被摄体的速度对用于校正图像模糊的模糊校正单 元的运动进行控制，来辅助进行摇摄拍摄。4. 根据权利要求3所述的图像处理设备，其中， 所述辅助单元基于所计算出的被摄体的速度和所述平遥速度之间的差来控制所述模 糊校正单元的运动。5. 根据权利要求1所述的图像处理设备，其中， 与被摄体的距离有关的信息是散焦量。6. 根据权利要求1所述的图像处理设备，其中，还包括： 获得单元，用于获得距离测量位置， 其中，所述识别单元基于所获得的所述距离测量位置来对所述被摄体矢量进行加权。7. 根据权利要求6所述的图像处理设备，其中， 所述识别单元基于与所述多个区域中对应于所述距离测量位置的区域中的被摄体的 距离有关的信息和与其它区域中的被摄体的距离有关的信息之间的差值来对所述被摄体 矢量进行加权。8. 根据权利要求6所述的图像处理设备，其中， 所述识别单元基于所述多个区域中对应于所述距离测量位置的区域中的运动矢量和 其它区域中的运动矢量之间的差值来对所述被摄体矢量进行加权。9. 根据权利要求6所述的图像处理设备，其中， 所述识别单元基于以所述距离测量位置作为基准的所述被摄体矢量连续的连续区域 来识别所述被摄体区域。10. 根据权利要求1所述的图像处理设备，其中，还包括： 颜色比检测单元，用于针对各分割区域来检测颜色比， 其中，所述识别单元通过将具有处于预定阈值内的颜色比的区域确定为属于同一被摄 体来识别所述被摄体区域。11. 一种图像处理方法，包括以下步骤： 分割步骤，用于在画面上将摄像单元连续拍摄到的多个帧图像各自分割成多个区域； 运动矢量检测步骤，用于针对所述多个帧图像的各分割区域来检测运动矢量； 分离步骤，用于基于平遥检测单元所检测到的设备的平遥速度和所述运动矢量检测步 骤中所检测到的运动矢量，将用于表示被摄体的运动的被摄体矢量与用于表示背景的运动 的背景矢量进行分离；以及 识别步骤，用于通过基于与距离检测单元针对所述多个帧图像的各分割区域所检测到 的被摄体的距离有关的信息对所述被摄体矢量进行加权，来识别被摄体区域。
【文档编号】H04N5/232GK105979135SQ201610141171
【公开日】2016年9月28日
【申请日】2016年3月11日
【发明人】朽木洋晃
【申请人】佳能株式会社