专利名称：帮助捕获图像的设备的制作方法
技术领域：
本发明总体涉及图像分析领域。更具体地，本发明涉及用于帮助捕获图像的设备 以及包括帮助设备的图像捕获设备。
背景技术：
目前，当摄影师拍摄场景时，除了经由摄像机取景器直接观察场景之外，摄影师必 须确保其正在拍摄的场景被正确框定的唯一方法是通过使用回传通道或通过使用眼动测 试(oculometric tests)。
经由取景器直接观察场景并不总是使得摄影师能够正确框定场景，尤其是在快速 运动(例如，体育场景)的情况下。摄影师也可能难以在场景包括许多感知兴趣区域的情 况下(例如，在全景中)确定如何框定该场景。回传通道的使用使得例如导向器(director)可以通知摄影师没有框定好图像。 然而，这种解决方案并不能令人满意到达到瞬时的程度。然而，眼动测试难度大且需要较长时间来设置。实际上，需要布置观察者的典型面 板。此外，这些测试的结果并不即时且需要较长的分析阶段。
发明内容
本发明的目的是补偿现有技术的至少一个缺点。本发明涉及一种用于帮助捕获图像的设备，包括-分析装置，适合于针对需要捕获的图像区域，来计算感知兴趣数据；-显示装置，适合于在图像上叠加至少一个图形指示符，所述图形指示符指示图像 中至少一个兴趣区域的位置。根据本发明的用于帮助捕获图像的设备通过为摄影师提供与其正在拍摄的场景 有关的更多信息而简化了拍摄。根据本发明的具体特性，分析装置适合于针对图像的每个像素来计算感知兴趣数 据项。根据本发明的具体方面，图形指示符叠加在图像上，使得图形指示符以图像中感 知兴趣数据最高的像素为中心。根据本发明的具体特性，图像被划分成像素块，分析装置适合于针对图像的每个 像素计算感知兴趣数据项。根据本发明的另一具体方面，图形指示符是指向至少一个块的箭头，所述块的感 知兴趣数据高于预定阈值。有利地，显示装置还适合于，根据与图形指示符所覆盖的图像区域相关联的感知 兴趣等级，来修改图形指示符的至少一个参数。根据实施例，感知兴趣等级等于，同图形指示符所覆盖的图像像素相关联的感知 兴趣数据之和与同图像的所有像素相关联的感知兴趣数据之和的比值。
根据实施例，图形指示符是圆形，所述圆形的厚度与感知兴趣等级成比例。图形指示符属于包括以下在内的组_ 圆形，_ 矩形，-箭头，以及_ 十字。本发明还涉及一种图像捕获设备，包括-根据前述任一项权利要求所述的用于帮助捕获图像的设备，以及-取景器，通过根据本发明的用于帮助捕获图像的设备在取景器上显示图形指示 符。根据本发明的图像捕获设备通过利用图形指示符通知摄影师如何定位摄像机以 使得所拍摄的图像以场景中的兴趣区域为中心，来帮助摄影师正确地框定其正在拍摄的场
旦
ο根据具体实施例，图像捕获设备适合于捕获第一预定格式的图像，其中，图形指示 符是限定与第一格式不同的第二预定格式的框。根据实施例示例，第一格式和第二格式属于包括以下在内的组-16/9格式，以及-4/3 格式。
参照附图，通过非限制性的实施例和实现方式，将更好地理解和说明本发明，附图 中图1示出了根据本发明的用于帮助捕获图像的设备；图2示出了计算感知兴趣数据的方法；图3示出了被划分成像素块的图像，其中每一个像素块与感知兴趣数据项相关 联；图4示出了其上叠加有箭头形的图形指示符的图像；图5示出了其上叠加有箭头形的四个图形指示符的图像；图6示出了其上叠加有圆形的两个图形指示符的图像；图7示出了其上叠加有矩形的两个图形指示符的图像；图8示出了其上叠加有表示图像显著性的热图的图像；图9示出了其上叠加有方形的图形指示符及其重心的图像；图10示出了根据本发明的图像捕获设备；图11示出了 16/9格式的图像以及4/3格式框形状的图形指示符；以及图12示出了 4/3格式的图像以及19/9格式框形状的图形指示符。
具体实施例方式图1示出了根据本发明的用于帮助捕获图像的设备。帮助捕获图像的设备包括分析模块20，适合于分析必须捕获的图像。更具体地，
4模块20分析图像的视觉内容，以计算感知兴趣数据。可以针对每个图像像素或针对图像像 素组(例如，像素块)，来计算感知兴趣数据项。有利地，感知兴趣数据用于确定图像中的兴 趣区域，即，吸引观察者注意力的区域。为此，基于编号1695288的于30/06/2005公开的欧洲专利EP04804828. 4中描述
的方法可以用于针对每个图像像素，来计算也被称作显著性值的感知兴趣数据。图2所示 的方法包括首先是空间建模步骤，然后是时间建模步骤。空间建模步骤包括3个步骤E201、E202和E203。在第一步骤E201期间，对入射 图像数据(例如，RGB分量)进行滤波，以使这些入射图像数据与视觉系统在观看图像时所 感知到的一致。实际上，步骤E201实现了对人类视觉系统进行建模的工具。这些工具考 虑以下事实人类视觉系统不以相同方式来察觉环境中不同视觉分量。通过使用对比敏感 度函数(CSF)以及通过使用分量内和分量间视觉掩蔽来仿真这种敏感度。更准确地，在步 骤E201期间，对于从图像的RGB分量推导出的Krauskopf对抗色空间区域的分量(A，Crl， Cr2)应用以下操作分层分解成感知通道(在图2中标记为DCP)，从而仿真视觉系统频率 铺叠(frequency tiling)。根据频谱，限定具有辐射频率范围和具体角度选择性的子带集 合。每个子带实际上可以被看作是，通过增加对特定频率和方位作出反应的视觉细胞而产 生的神经元图像。对于每个子带，在CSF功能之后应用掩蔽操作。然后执行分量内和分量 间视觉掩蔽操作。在第二步骤E202期间，从步骤E201得到的子带与高斯差(DoG)的闭运算符卷积。 E202步骤的目的是仿真视觉感知机制。该机制使得包含要提取的重要信息在内的视觉特性 (具体地，与环境相对的局部奇异性)能够产生对环境的有效表示。视觉细胞(不管是视 网膜视觉细胞还是皮层视觉细胞)的接收视野的组织完全满足这一需求。这些细胞是圆形 的，由具有眼动响应的中心和边缘构成。特别地，皮层细胞还具有优选方向。这种组织使这 些细胞具有对反差强烈响应以及对均勻区域不响应的特性。经由(有方向的或无方向的) 高斯差(DoG)来实现对这种类型细胞的建模。感知还在于强调对于解释信息来说重要的特 性。根据Gestaltist学派的原理，在DoG之后应用蝶形滤波器，以加强共线的、对齐的且小 的曲率轮廓。第三步骤E203包括构造空间显著性图。为此，通过以先验无关的方式对不同 元素进行分组或链接来执行对不同分量的熔合，以形成大脑可理解的图像。熔合可以基于 分量内竞争或基于分量间竞争，使得能够使用由不同视觉维度承载的信息(非彩色的或彩 色的)的互补和冗余。本身被划分为3个步骤E204、E205和E206的时间建模步骤基于以下观察在活动 的上下文中，运动的反差是最显著的视觉吸引物。因此，在固定背景上运动的对象或反之运 动背景上的固定对象吸引视觉注意力。为了确定这些反差，识别跟踪眼睛运动是极为重要 的。这些眼睛运动使得能够自然地补偿对象的运动。因此以视网膜帧表示的所考虑的运动 速度几乎为零。为了确定最相关的运动反差，从而有必要补偿认为起到主导作用的摄像机 固有运动。为此，在步骤E204，通过用于分层分解成感知通道的运动估计器来估计矢量场。 在步骤205，根据该矢量场，通过基于M估计器的鲁棒估计技术，来估计表示主导运动(例 如，平移运动)的完整细化参数模型。因此，在步骤E206计算视网膜运动。所述视网膜运 动等于局部运动与主导运动之间的差异。视网膜运动越强(还通过解释跟踪眼睛运动的最 大理论速度)，就有更多所讨论的区域吸引眼睛。然后，从视网膜运动中推导出与视网膜运动或与运动反差成比例的时间显著性。假定在固定干扰元素(或干扰项)当中检测运动对 象比相反情况更容易，则视网膜运动由场景的总运动量来调节。在步骤E207中合并空间和时间显著性图。融合步骤E207实现图内或图间竞争机 制。这种图可以以热图的形式来表示，所述热图指示具有高感知兴趣的区域。然而，本发明不限于在欧洲专利EP 04804828.4中描述的方法，该方法仅仅是 实施例。使得能够计算图像中的感知感知兴趣数据(例如，显著性图)的任何方法都是 合适的。例如，在Itti等人于1998年在IEEEtrans. on PAMI公开的题为“A model of saliency-based visual attentionfor rapid scene analysis’，白勺t·中白勺力^去胃以 被分析模块20用来分析图像。用于帮助捕获图像的设备1还包括显示模块30，显示模块30适合于在分析模块 20所分析的图像上叠加图像中至少一个兴趣区域(即，具有高感知兴趣数据项的区域)的 至少一个图形指示符。该图形指示符在图像上的位置以及可能地该图形指示符的几何特性 依赖于分析模块20所计算的感知兴趣数据。定位该图形指示符，使得该图形指示符指示图 像中感知兴趣高的至少一个区域的位置。根据变型，可以在图像上叠加多个图形指示符，每 个图形指示符指示图像中感知兴趣高的区域的位置。根据第一实施例，图形指示符是箭头。为了在图像中定位箭头，将所述图像划分成 不交叠的N个像素块。假定N= 16，如图3所示，针对每个块计算感知兴趣数据项。根据实 施例，感知兴趣数据项等于与所讨论的每个像素块相关联的感知兴趣数据之和。根据变型， 与块相关联的感知兴趣数据项等于所讨论的块中感知兴趣数据的最大值。根据另一变型， 与块相关联的感知兴趣数据项等于所讨论的块中感知兴趣数据的中值。在图3中，利用从 A到P的字母来标识感知兴趣数据。将这些数据之和与预定阈值TH相比较，以确定图像上 一个箭头或多个箭头的位置。根据实施例，应用以下算法如果A+B+C+D > ΤΗ，则将向上的箭头图形指示符置于图像的底部，指示图像的顶 部(即，第一行块)是高感知兴趣区域。如果Α+Ε+Ι+Μ> ΤΗ，则将向左的箭头图形指示符置于图像的右侧，指示图像的左 侧(即，第一列块)是高感知兴趣区域，如果Μ+Ν+0+Ρ > ΤΗ，则将向下的箭头图形指示符置于图像的顶部，指示图像的底 部(即，组后一行块)是高感知兴趣区域，如果D+H+L+P > ΤΗ，则如图4所示，将向右的箭头图形指示符置于图像的左侧，指 示图像的右侧(即，最后一列块)是高感知兴趣区域，如果(F+G+J+K) >ΤΗ，则图像的中心相对于图像的其余部分具有高感知兴趣。在 这种情况下，如图5所示，将指向图像中心的4个箭头叠加在图像上。这4个箭头可以由特 定图形指示符(例如，位于图像中心处的十字)来代替。然而，如果几乎整个图像具有高感知兴趣，则有利的是，向摄影师指示他必须执行 将摄像机移离目标的操作，以恢复在这种情况下高感知兴趣的区域。为此，在图像上叠加远 离图像而进行指向的4个箭头。根据另一实施例，如图6所示，图形指示符是在图像上透明地示出的可变尺寸的 圆盘。该图形指示符被置于图像中，使得该图形指示符以与最高感知兴趣的数据项相关联 的像素为中心。如果将若干图形指示符置于图像中，则这些图形指示符以与最高感知兴趣的数据相关联的像素为中心。根据本发明的具体特性，根据也被称作显著性等级的感知兴 趣等级，来修改图形指示符的至少一个特性。与图像区域相关联的显著性等级等于与属 于该区域的像素相关联的感知兴趣数据之和除以与整个图像的像素相关联的感知兴趣数 据之和。因此，可以根据该圆形内的显著性等级，来调节圆形的边缘的厚度。圆形的厚度越 大，则圆形内的图像区域相对于图像的其余部分就越显著。根据另一变型，如图7所示，圆 盘被替换成可变尺寸的矩形。在这种情况下，根据显著性覆盖等级，来修改矩形的宽度和/ 或长度。根据另一变型，如图8所示，图形指示符是图像上透明地示出的表示显著性图的热 图。热图的颜色根据感知兴趣数据的局部值而局部地变化。该热图表示显著性图。根据另一变型，图形指示符是预定尺寸的方形。例如，标识具有最感知兴趣数据项 的最显著的η个像素。计算这η个像素的重心，其中利用这些像素的相应感知兴趣数据来 对这些像素进行加权。然后将方形置于所显示的图像上(小方形被置于图9中打高尔夫球 的人的胃部)，使得该方块以重心为中心。参照图10，本发明还涉及一种图像捕获设备3，如，数字摄像机，图像捕获设备3包 括根据本发明的用于帮助捕获图像的设备1，取景器2以及输出接口 4。图像捕获设备包 括本领域技术人员公知的其他组件，如，图10中并未示出的存储器、用于传送数据的总线 等。使用图像捕获设备3来拍摄场景。摄影师通过取景器2来观察场景，更具体地，摄影师 通过取景器2来查看用于帮助捕获图像的设备1的模块10所分析的图像。然后，用于帮助 捕获图像的设备1的模块20在取景器2上显示至少一个图形指示符，所述图形指示符叠加 在通过取景器2显示的图像上。此外，然后由图像捕获设备3捕获通过取景器2显示的图 像，并将所述图像存储在图像捕获设备3的存储器中或通过输出接口 4直接发送至远程存 储模块或远程应用程序。在取景器2上显示这样的图形指示符，使得拍摄场景的摄影师能够移动其摄像 机，以便将所拍摄的场景的视觉上重要的区域作为取景器2上显示图像的中心。在图4中， 将向右的箭头置于图像的左侧。该箭头有利地通知拍摄高尔夫场景的摄影师高感知兴趣区 域(即，打高尔夫的人)位于图像的右侧。这通知摄影师其必须移动摄像机的方式，以使得 高感知兴趣区域位于所拍摄图像的中心。在图5中，4个箭头通知摄影师必须执行将摄像机 移离目标的操作。图形指示符有利地使得摄影师能够确保场景中高感知兴趣区域会呈现在所捕获 的图像中。这些图形指示符还使得摄影师能够确保这些区域位于所捕获的图像的中心。此 外，通过调节图形指示符的特定参数，这些图形指示符使得摄影师能够根据高感知兴趣区 域的相应显著性等级为这些高感知兴趣区域给出层次。根据具体实施例，图形指示符是预定尺寸的框。根据本发明，取景器2叠加在图像 上，使得取景器2以具有高感知兴趣的图像区域为中心。如图11所示，该图形指示符有利地 用于在16/9格式的捕获图像上呈现4/3格式的框。4/3格式的框是摄影师的辅助工具。实 际上，摄影师可以使用该附加信息来正确地框定场景，使得从图像捕获设备所捕获的16/9 格式产生的4/3格式的影片是相关的，即，显著地，场景中高感知兴趣区域也存在于4/3格 式的图像中。因此，该图形指示符使得在摄影师知道以16/9格式捕获的视频内容将随后被 转换成4/3格式时，摄影师可以改善拍摄。相反，在图12中，以4/3格式捕获图像，在取景 器2上显示叠加在图像上的16/9格式的框。当然，本发明不仅限于16/9和4/3格式。本发明还可以应用于其他格式。例如，当所拍摄的场景必须随后被转换成1/1格式以在例如 移动网络上广播时，可以将4/3格式的框替换成1/1格式的框。当然，本发明不限于上述实施例示例。具体地，本领域技术人员可以对所阐述的实 施例进行任何改变和组合，以从这些实施例的各个优点中获益。当然，可以使用除了上述指 示符以外的任何其他图形指示符，例如，椭圆形、平行四边形、十字形等等。此外，图形指示符可以以戳记显示在图像捕获设备外部的控制屏上，而不是显示 在图像捕获设备的取景器上。
权利要求
一种用于帮助捕获图像的设备(1)，包括 分析装置(20)，适合于针对需要捕获的图像区域，来计算感知兴趣数据； 显示装置(30)，适合于在图像上叠加至少一个图形指示符，所述图形指示符指示图像中感知兴趣数据高的至少一个区域的位置，所述至少一区域被称作兴趣区域，其中，显示装置(30)还适合于，根据与图形指示符所覆盖的图像区域相关联的感知兴趣等级，来修改所述至少一个图形指示符的至少一个参数。
2.根据权利要求1所述的设备，其中，所述分析装置(20)适合于针对所述图像的每个 像素，来计算感知兴趣数据项。
3.根据权利要求2所述的设备，其中，所述图形指示符叠加在所述图像上，使得所述图 形指示符以图像中感知兴趣数据最高的像素为中心。
4.根据权利要求1所述的设备，其中，所述图像被划分成像素块，所述分析装置(20)适 合于针对所述图像的每个像素，来计算感知兴趣数据项。
5.根据权利要求4所述的设备，其中，所述图形指示符是指向至少一个块的箭头，所述 至少一个块的感知兴趣数据高于预定阈值。
6.根据权利要求5所述的设备，其中，感知兴趣等级等于同图形指示符所覆盖的图像 像素相关联的感知兴趣数据之和与同图像的所有像素相关联的感知兴趣数据之和的比值。
7.根据权利要求5或6所述的设备，其中，图形指示符是圆形，所述圆形的厚度与感知 兴趣等级成比例。
8.根据权利要求1所述的设备，其中，图形指示符是透明的热图，所述透明的热图的颜 色根据感知兴趣数据的局部值而局部变化。
9.根据权利要求1所述的设备，其中，图形指示符属于包括以下在内的组-圆形，-矩形，-箭头，以及_十字。
10.一种图像捕获设备(3)，包括-根据前述任一项权利要求所述的用于帮助捕获图像的设备(1)，以及-取景器⑵，用于帮助捕获图像的设备(1)在所述取景器(2)上显示图形指示符。
11.根据权利要求10所述的设备，所述设备适合于捕获第一预定格式的图像，其中，所 述图形指示符是限定与第一格式不同的第二预定格式的框。
全文摘要
本发明涉及一种用于帮助捕获图像的设备(1)，包括分析装置(20)，适合于针对需要捕获的图像区域，来计算感知兴趣数据；显示装置(30)，适合于在图像上叠加至少一个图形指示符，所述图形指示符指示图像中至少一个兴趣区域的位置。本发明还涉及一种图像捕获设备，包括根据本发明的用于捕获图像的设备(1)。
文档编号G06K9/46GK101903828SQ200880121796
公开日2010年12月1日 申请日期2008年12月17日 优先权日2007年12月20日
发明者奥利维耶·勒默尔, 菲利普·古约泰尔, 让-克洛德·舍韦 申请人:汤姆森许可贸易公司