专利名称：用于定位图像中包含的图片的方法和设备的制作方法
技术领域：
本发明涉及计算机技术领域，更具体地涉及用于定位图像中包含的图片的方法和设备。
背景技术：
在计算机的多种应用中，例如在查看网络页面或者使用软件的应用中，计算机屏幕上显示的图像中通常包含一张或多 张独立的图片。在很多情况下，用户希望获取图像中的图片，而不关心屏幕中除图片外的其他信息。但是，网站或者软件本身通常不会主动、直接地向用户提供数据形式的图片。目前，上述问题的一种解决方式是使用屏幕打印工具(例如，Windows环境中的PrintScreen功能)获取整个屏幕的图像，继而使用图像编辑工具对该整个屏幕的图像进行处理，以获得图像中用户所需的独立图片。这种方式同时需要屏幕打印工具和图像编辑工具的支持，对设备要求较高，并且操作较繁琐。另外一种解决方式是交互式图片截取，例如现有聊天软件中使用的框定工具。用户可以使用该工具手动截取屏幕上的图片。但是，用户手动截取图片容易有操作误差，选取图片不准确，从而导致图片周围产生毛边。另外，在图像中包含很多独立图片的情况下，上述两种方式都需要用户进行大量繁琐的操作，很难快速获取图像中的图片。
发明内容
因此，目前需要一种自动、快速并且准确地获取图像中包含的图片的方法。为了解决上述问题之一，本发明公开了一种用于定位图像中包含的图片的方法和设备。根据本发明的一个方面，提供了一种用于定位图像中包含的图片的方法，包括响应于获取图片的指令，检测图像中的图片边缘；以及根据检测到的图片边缘，定位图像中包含的图片。根据本发明的另一方面，提供了一种用于定位图像中包含的图片的设备，包括边缘检测装置，用于响应于获取图片的指令，检测图像中的图片边缘；以及图片定位装置，用于根据检测到的图片边缘，定位图像中包含的图片。本发明提出的用于定位图像中包含的图片的方法和设备能够自动、快速地定位图像中包含的图片，简化用户操作，并且增加图片定位的准确性。
通过对结合附图所示出的实施方式进行详细说明，本发明的上述以及其他特征将更加明显，本发明附图中相同的标号表示相同或相似的元素。在附图中图I示出了根据本发明一个实施方式的用于定位图像中包含的图片的方法的流程图；
图2示出了可以应用本发明实施方式的方法的图像的一个示例；图3示出了可以应用本发明实施方式的方法的包含边框的图片的一个示例；图4示出了可以应用本发明实施方式的方法的并置图片的一个示例；图5示出了根据本发明一个实施方式的用于定位图像中包含的图片的设备的框图；以及图6示出了可以应用本发明实施方式的计算机系统的框图。
具体实施例方式在下文中，将参考附图通过实施方式对本发明提供的用于定位图像中包含的图片的方法和设备进行详细的描述。图I示出了根据本发明一个实施方式的用于定位图像中包含的图片的方法的流程图。应当理解，方法100中记载的各个步骤可以按照不同的顺序执行，和/或并行执行。此外，方法100可以包括附加的步骤和/或省略执行示出的步骤。本发明的范围在此方面不受限制。在步骤S101，响应于获取图片的指令，检测图像中的图片边缘。应当注意，本说明书中所称的图像包括可以在计算机屏幕上显示的各种图像，例如，用户浏览的网页、软件界面或者照片等的屏幕快照，以及由摄像头、照相机、摄录机等摄像设备或二维码读取器、扫描仪等图像读取设备产生的照片或者各种视频数据流或文件。图片是指图像中包含的相对独立的子部分，以上述图像类型为例，图片可以包括网页中嵌入的电影海报、软件界面上显示图表的区域以及照片背景中的宣传画等等。作为一个示例，可以根据图片与图像中其他部分的背景颜色、纹理的差异，或者根据图片边缘具有不同颜色或形状而检测到图片的边缘。在步骤S102，根据检测到的图片边缘，定位图像中包含的图片。例如，可以通过确定图片边缘所包围的区域来定位图片。根据本发明的一个实施方式，针对单色背景的情况，检测图片边缘可以使用单色边缘算法，例如可以包括扫描图像中的像素，例如可以按照像素读整个图像；检查每个像素的相邻像素是否颜色不同，如果颜色不同，则判断该像素是边缘像素；以及，如果具有连续的边缘像素，则构成边缘线。根据本发明的另一个实施方式，针对非单色背景的情况，检测图片边缘可以使用非单色边缘算法，例如可以包括扫描图像中的像素，例如可以按照像素读整个图像；查找每个像素的相邻像素的最大差异方向；将最大差异方向一致的连续像素确定为图片边缘。在上述示例算法中，可选地，可以将每个像素的相邻像素设置为横向和纵向各两个，构成四连通区域。也可以按照类似的方式构成八连通区域。另外可选地，可以设置边缘的噪声容差，如果一条边的噪声在容差以内，则判断这条边是图片边缘。上述示例边缘检测算法的复杂度较低，检测图片边缘所需的运算次数较少，因此速度较快，能够满足即时通信环境下的速度要求，获得良好的用户体验。以上示例边缘检测算法适用于检测常见的矩形图片以及旋转一定角度的矩形图片的边缘，但是这仅是本发明的实施方式的一个示例。在实际应用中，根据图片定位的不同需求，可以使用其他的扫描方式、连通区域设置和判断方式而检测到具有不同形状的图片，诸如圆形、菱形、平行四边形图片等。另外，也可以使用目前已有的边缘检测算法，例如Sobel算子等。在图片检测过程中，各种边缘检测算法可以独立使用也可以组合使用。根据本发明的一个实施方式，根据检测到的图片边缘定位图片可以基于边缘的闭合性，例如如果检测到的图片边缘构成一个闭合区域，则将该闭合区域定位为图片；或者如果图片边缘的延长线可以逐一相 连构成闭合区域，则将该闭合区域定位为图片；或者如果图片边缘的延长线端点邻近，则将边缘及延长线所包围的区域定位为图片。根据本发明的另一个实施方式，还可以根据图片边缘的夹角来定位图片。例如，如果试图定位矩形图片，则计算构成闭合区域的边缘或者边缘延长线之间的夹角，如果夹角均为90度，则判断该区域是图片。参考图2，其示出了可以应用本发明实施方式的方法的图像的一个示例。作为示例，图2所示图像是网页快照，使用上述实施方式的定位图片的方法，可以在无需用户的交互式操作的情况下定位该网页快照中诸如201的多个图片，如图2中虚线所示。本发明的用于定位图像中包含的多个图片的方法的实施方式提供了一种友好的用户截图解决方案，该方案可以自动、准确地定位图像中包含的图片，并且运算速度较快，能够满足即时通信环境下的速度要求，获得良好的用户体验。返回图1，根据本发明的一个实施方式，在步骤S103，根据所定位的图片的大小、纵横比和色调中的至少一个，对所定位的图片进行过滤。例如，如图2所示，图片定位过程可能会定位诸如按钮202、标题栏203等图片，但是这些图片一般是用户不希望获取的。在该实施方式中，通过设置图片大小阈值，可以过滤掉图2所示图像中的过小图片，诸如按钮202。备选地，通过设置图片的纵横比，可以过滤图2中的过窄图片，诸如标题栏203。本领域技术人员可以理解，也可以通过阈值设置来获得特定大小和纵横比的图片。根据本发明的一个实施方式，在步骤S104中，检测与所定位的图片相关联的边框，以及定位具有边框的图片以及去除边框的图片二者。参考图3，其示出了可以应用本发明实施方式的方法的包含边框的图片的一个示例。如图3所示，该方法可以同时定位具有边框的图片以及去除边框的图片，以供用户选择。继而，根据用户的指示来提供用户所需的图片，用户的指示例如可以通过鼠标位置来确定。作为一个示例，如果用户鼠标指向被包含的图片内部，则提供去除边框的图片，如果用户鼠标指向边框，则提供具有边框的图片。根据本发明的一个实施方式，在步骤S105，对所定位的图片中的两个或更多个图片进行合并。参考图4，其示出了可以应用本发明实施方式的方法的并置图片的一个示例。如图4所示，以上实施方式的图片定位方法可能将图4中的图片定位为两个图片401和402，而根据上下文判断，401和402实际上是一张图片。在这种情况下，可以在将401和402合并之后提供给用户。根据本发明的一个实施方式，对图片进行合并可以基于图片的相邻关系。例如，如果检测到两个图片的一条边重合或者相邻，诸如间距在预定范围内，则将两个图片合并。备选地，图片合并还可以基于图片的纵横比，如果相邻的多个图片中，其中一个或者多个图片的纵横比不在预先设置的纵横比范围内，则可以将其中多个图片合并。该预先设置的纵横比范围可以参考常规图片的纵横比。根据本发明的另一个实施方式，对图片进行合并可以基于图片中包含的内容的关联关系。例如，如果已经确定图片401与图片402相邻，则可以分别对图片401和402进行文本识别，如果其中一个图片中包含文本，则确定两个图片具有关联关系。备选地，可以进一步判断文本中包含的意义来确定两个图片是否关联。当然，将两个图片进行合并仅是本发明的一个示例，当图片中包含多个相关联的子图片时，本领域技术人员可以按照类似的方式合并多个图片。应当注意，步骤S103-S10 5仅是对所定位的图片进行进一步处理的可选示例。本领域技术人员可以理解，步骤S103-S105可以省略，也可以执行其中任一步骤或者几个步骤的组合。另外，在对图像中包含的图片进行定位之后，可以根据用户的指示来提供其中一个或多个或者全部的图片。用户指示例如鼠标位置、选定区域等等。备选地，可以为用户提供候选操作列表。上述用于定位图像中包含的图片的方法的实施方式能够自动、快速、准确地定位图片，并且通过各种设置自动选择所定位图片中对用户有价值的图片，产生良好的用户体验。对于第三方监控应用，本发明的方法的实施方式可以提取对于特定目的监控有价值的图片，避免产生大量无价值的图片造成通信和存储负担。图5示出了根据本发明一个实施方式的用于定位图像中包含的图片的设备的框图。该设备500包括边缘检测装置501，其用于响应于获取图片的指令，检测图像中的图片边缘；以及图片定位装置502，其用于根据检测到的图片边缘，定位图像中包含的图片。作为本发明的一个实施方式，边缘检测装置501进一步用于扫描图像中的像素，根据像素的邻近像素颜色和最大差异方向的至少一个来查找边缘像素，并且根据边缘像素的连续性和边缘噪声的至少一个来确定图片边缘。根据本发明的一个实施方式，图片定位装置502进一步用于根据图片边缘的闭合性和夹角的至少一个来定位图片。可选地，设备500还包括图片过滤装置503，其用于根据所定位的图片的大小、纵横比和色调中的至少一个，对所定位的图片进行过滤。可选地，设备500还包括边框定位装置504，其用于检测与所定位的图片相关联的边框，以及定位具有边框的图片以及去除边框的图片二者。可选地，设备500还包括图片合并装置505，其用于对所定位的图片中的两个或更多个图片进行合并。根据本发明的一个实施方式，上述合并基于以下至少一项图片的相邻关系；以及图片的纵横比。根据本发明的另一实施方式，合并基于图片中包含的内容的关联关系。例如，图片中包含的内容通过识别所述图片中的文本信息来确定。应当理解，设备500中记载的每个装置与参考图I描述的方法100中的每个步骤相对应。由此，上文针对图I描述的操作和特征同样适用于设备500及其中包含的装置，在此不再赘述。还应当理解，设备500可以利用各种方式来实现。例如，在某些实施方式中，设备500可以利用软件和/或固件模块来实现。此外，设备500也可以利用硬件模块来实现。现在已知或者将来开发的其他方式也是可行的，本发明的范围在此方面不受限制。图6示出了可以应用本发明实施方式的计算机系统的框图。如图6所示，计算机系统可以包括CPU(中央处理单元)601、RAM(随机存取存储器)602、ROM(只读存储器)603、系统总线604、硬盘控制器605、键盘控制器606、串行接口控制器607、并行接口控制器608、显示控制器609、硬盘610、键盘611、串行外部设备612、并行外部设备613和显示器614。在这些部件中，与系统总线604相连的有CPU 60URAM 602,ROM 603、硬盘控制器605、键盘控制器606、串行控制器607、并行控制器608和显示控制器609。硬盘610与硬盘控制器605相连，键盘611与键盘控制器606相连，串行外部设备612与串行接口控制器607相连，并行外部设备613与并行接口控制器608相连，以及显示器614与显示控制器609相连。应当理解，图6所述的结构框图仅仅为了示例的目的而示出的，而不是对本发明的限制。在某些情况下，可以根据需要增加或者减少其中的一些设备。特别地，除硬件实施方式之外，本发明的实施方式可以通过计算机程序产品的形式实现。例如，参考图I描述的方法100可以通过计算机程序产品来实现。该计算机程序产品可以存储在例如图6所示的RAM 602、ROM 603、硬盘610和/或任何适当的存储介质中，或者通过网络从适当的位置下载到计算机系统600上。计算机程序产品可以包括计算机代码部分，其包括可由适当的处理设备(例如，图6中示出的CPU 601)执行的程序指令。
本发明提出的用于定位图像中包含的图片的方法和设备能够自动、快速地定位图像中包含的图片，简化用户操作，并且增加图片定位的准确性。本发明所描述的用于定位图像中包含的图片的方法和设备的实施方式具有多种用途。例如，可以作为聊天软件中的截图工具，方便用户在聊天过程中，便捷地定位屏幕上浏览的图片，以便随后进行存储或者发送。另外，可以自动获取用户所浏览的网页中包含的图片内容，并进一步保存到本地或者发送至监控装置，以便进行各类监控，诸如家长监控、网吧监控和国家监控等。而且，本发明的实施方式可以应用于提取图片中包含的子图片，诸如照片背景中出现的宣传画等等。应当注意，本发明的实施方式可以通过硬件、软件或者软件和硬件的结合来实现。硬件部分可以利用专用逻辑来实现；软件部分可以存储在存储器中，由适当的指令执行系统，例如微处理器或者专用设计硬件来执行。本领域的普通技术人员可以理解上述的设备和方法可以使用计算机可执行指令和/或包含在处理器控制代码中来实现，例如在诸如磁盘、CD或DVD-ROM的载体介质、诸如只读存储器(固件)的可编程的存储器或者诸如光学或电子信号载体的数据载体上提供了这样的代码。本发明的设备及其模块可以由诸如超大规模集成电路或门阵列、诸如逻辑芯片、晶体管等的半导体、或者诸如现场可编程门阵列、可编程逻辑设备等的可编程硬件设备的硬件电路实现，也可以用由各种类型的处理器执行的软件实现，也可以由上述硬件电路和软件的结合例如固件来实现。应当注意，尽管在上文详细描述中提及了设备的若干装置或子装置，但是这种划分仅仅并非强制性的。实际上，根据本发明的实施方式，上文描述的两个或更多装置的特征和功能可以在一个装置中具体化。反之，上文描述的一个装置的特征和功能可以进一步划分为由多个装置来具体化。此外，尽管在附图中以特定顺序描述了本发明方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。相反，流程图中描绘的步骤可以改变执行顺序。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。虽然已经参考目前考虑到的实施方式描述了本发明，但是应该理解本发明不限于所公开的实施方式。相反，本发明旨在涵盖所附权利要求的精神和范围内所包括的各种修改和等同布置。以下权利要求的范围符合最广泛解释，以便包含所有这样的修改及等同结 构和功能。
权利要求
1.一种用于定位图像中包含的图片的方法，包括 响应于获取图片的指令，检测所述图像中的图片边缘；以及 根据检测到的所述图片边缘，定位所述图像中包含的图片。
2.根据权利要求I所述的方法，其中检测所述图像中的图片边缘进一步包括 扫描所述图像中的像素； 根据像素的邻近像素颜色和最大差异方向的至少一个来查找边缘像素；以及 根据所述边缘像素的连续性和边缘噪声的至少一个来确定所述图片边缘。
3.根据权利要求I所述的方法，其中定位所述图像中包含的图片包括 根据所述图片边缘的闭合性和夹角的至少一个来定位所述图片。
4.根据权利要求I所述的方法，还包括 根据所定位的图片的大小、纵横比和色调中的至少一个，对所定位的图片进行过滤。
5.根据权利要求I所述的方法，还包括 检测与所定位的图片相关联的边框；以及 定位具有所述边框的图片以及去除所述边框的图片二者。
6.根据权利要求I所述的方法，还包括 对所定位的图片中的两个或更多个图片进行合并。
7.根据权利要求6所述的方法，其中所述合并基于以下至少一项所述图片的相邻关系；以及所述图片的纵横比。
8.根据权利要求6所述的方法，其中所述合并基于所述图片中包含的内容的关联关系O
9.根据权利要求8所述的方法，其中所述图片中包含的内容通过识别所述图片中的文本信息来确定。
10.根据权利要求1-9任一项所述的方法，其中所述图像包括屏幕快照，所述图片为所述屏幕快照中的多个图片。
11.一种用于定位图像中包含的图片的设备，包括 边缘检测装置，用于响应于获取图片的指令，检测所述图像中的图片边缘；以及 图片定位装置，用于根据检测到的所述图片边缘，定位所述图像中包含的图片。
12.根据权利要求11所述的设备，其中所述边缘检测装置进一步用于 扫描所述图像中的像素； 根据像素的邻近像素颜色和最大差异方向的至少一个来查找边缘像素；以及 根据所述边缘像素的连续性和边缘噪声的至少一个来确定所述图片边缘。
13.根据权利要求11所述的设备，其中所述图片定位装置进一步用于 根据所述图片边缘的闭合性和夹角的至少一个来定位所述图片。
14.根据权利要求11所述的设备，还包括 图片过滤装置，用于根据所定位的图片的大小、纵横比和色调中的至少一个，对所定位的图片进行过滤。
15.根据权利要求11所述的设备，还包括 边框定位装置，用于检测与所定位的图片相关联的边框，以及定位具有所述边框的图片以及去除所述边框的图片二者。
16.根据权利要求11所述的设备，还包括 图片合并装置，用于对所定位的图片中的两个或更多个图片进行合并。
17.根据权利要求16所述的设备，其中所述合并基于以下至少一项所述图片的相邻关系；以及所述图片的纵横比。
18.根据权利要求16所述的设备，其中所述合并基于所述图片中包含的内容的关联关系O
19.根据权利要求18所述的设备，其中所述图片中包含的内容通过识别所述图片中的文本信息来确定。
20.根据权利要求11-19任一项所述的设备，其中所述图像包括屏幕快照，所述图片为所述屏幕快照中的多个图片。
全文摘要
本发明公开了一种用于定位图像中包含的图片的方法和设备。用于定位图像中包含的图片的方法包括响应于获取图片的指令，检测图像中的图片边缘；以及根据检测到的图片边缘，定位图像中包含的图片。本发明提出的用于定位图像中包含的图片的方法和设备能够自动、快速地定位图像中包含的图片，简化用户操作，并且增加图片定位的准确性。
文档编号G06K9/32GK102622595SQ201110035140
公开日2012年8月1日 申请日期2011年1月28日 优先权日2011年1月28日
发明者黄欢 申请人:北京千橡网景科技发展有限公司