对图像中多边形进行检测的方法及装置的制造方法
【专利摘要】本公开揭示了一种对图像中多边形进行检测的方法及装置，属于图片处理领域。所述对图像中多边形进行检测的方法包括：根据特征点在第i帧图像中的坐标以及在第i+1帧图像中的坐标，计算变换方程中参数的取值；利用该取值对变换方程中的参数进行赋值，根据赋值后的变换方程和检测出的指定类型多边形的顶点在第i帧图像中的坐标，计算指定类型多边形的顶点在第i+1帧图像中的坐标。本公开解决了智能设备仅适用于处理为数不多的图片的情况，而对于多张图片(比如视频)的处理，则无法及时向用户反馈图像的边界识别后的结果的问题；达到了在对视频处理时，实时输出指定类型多边形的坐标，及时向用户反馈图像中多边形进行边界识别后的结果。
【专利说明】
对图像中多边形进行检测的方法及装置
技术领域
[0001] 本公开设及图片处理领域，特别设及一种对图像中多边形进行检测的方法及装 置。
【背景技术】
[0002] 目前，用户可W使用智能设备当成扫描仪，对拍摄后图片中的文档、证件、海报等 图像进行边界识别。
[0003] 图像的边界识别是智能设备对图像进行全图检测的过程，而智能设备的计算能力 有限，在进行单张图片的边界识别时所花的处理时间较长，因此仅适用于处理为数不多的 图片的情况，而对于多张图片（比如视频）的处理，则无法及时向用户反馈图像的边界识别 后的结果。
【发明内容】
[0004] 本公开提供一种对图像中多边形进行检测的方法及装置。所述技术方案如下：
[0005] 根据本公开实施例的第一方面，提供一种对图像中多边形进行检测的方法，应用 于智能设备中，所述方法包括:对于视频中任意相邻的第i帖图像和第i+1帖图像，对所述第 i帖图像进行特征点检测，得到所述第i帖图像中特征点的坐标;对所述第i帖图像中特征点 的坐标进行跟踪，得到所述特征点在所述第i+1帖图像中的坐标;根据所述特征点在所述第 i帖图像中的坐标W及在所述第i+1帖图像中的坐标，计算变换方程中参数的取值，所述变 换方程用于根据所述第i帖图像中像素点的坐标计算所述像素点在所述第i帖图像中的坐 标;利用所述取值对所述变换方程中的所述参数进行赋值，根据赋值后的所述变换方程和 检测出的指定类型多边形的顶点在所述第i帖图像中的坐标，计算所述指定类型多边形的 顶点在所述第i + 1帖图像中的坐标。通过根据特征点在第i帖图像中的坐标W及在第i+1帖 图像中的坐标，计算变换方程中参数的取值，再根据参数被赋值后的变换方程和检测出的 指定类型多边形的顶点在所述第i帖图像中的坐标，计算指定类型多边形的顶点在第i+1帖 图像中的坐标，由于不需要对第i + 1帖图像进行全图扫描，而是通过计算得到第i + 1帖图像 中的指定类型多边形的顶点的坐标;解决了智能设备仅适用于处理为数不多的图片的情 况，而对于多张图片（比如视频）的处理，则无法及时向用户反馈图像的边界识别后的结果 的问题;达到了在对视频处理时，实时输出指定类型多边形的坐标，及时向用户反馈图像中 多边形进行边界识别后的结果。
[0006] 可选的，所述方法还包括：当所述第i帖图像为所述视频中的第一帖图像时，对所 述第i帖图像进行指定类型多边形的检测，获取所述第i帖图像中检测出的指定类型多边形 的顶点的坐标。
[0007] 可选的，所述计算所述指定类型多边形的顶点在所述第i+1帖图像中的坐标之后， 所述方法还包括:根据所述指定类型多边形的顶点在所述第i+1帖图像中的坐标，得到所述 指定类型多边形在所述第i+1帖图像中的初选边;对于所述指定类型多边形在所述第i+1帖 图像中的每条初选边，提取所述初选边所在的图像块，所述图像块包含所述指定类型多边 形的一条初选边;对于每个图像块，对所述图像块中的图像进行直线检测，获取所述图像块 中检测到的线段W及所述线段对应的端点坐标;确定出所述图像块中的标准线段，将所述 标准线段作为所述指定类型多边形在所述第i+1帖图像中的一条优选边;根据各个图像块 所对应的优选边，确定出所述第i+1帖图像中的优选指定类型多边形。通过提取第i+1帖图 像中指定类型多边形的初选边所在的图像块，检测图像块中是否存在比计算得到的初选边 更为准确的优选边，根据优选边确定出第i+1帖图像中的优选指定类型多边形，由于仅通过 计算来获取第i+1帖图像中指定类型多边形的坐标，可能会存在误差，对计算后得到的指定 类型多边形的各条边所在的图像块进行进一步的直线检测，使得优选出的优选指定类型多 边形的坐标更为精准，且智能设备仅需要在图像的指定范围内进行直线检测，因此还可W 提高智能设备判定优选边速度。
[0008] 可选的，所述确定出所述图像块中的标准线段，包括:对于所述图像块中检测到的 任一条线段，计算所述线段与所述图像块中的初选边的夹角，筛选出夹角小于预定夹角阔 值的线段;将筛选出的线段中长度最长的线段作为所述图像块中的标准线段。通过选取图 像块中与初选边基本平行的边中长度最长作为图像块中的标准线段，由于标准线段是基于 同一图像块中的初选边角度进行选取的，因此所选取的标准线段可W替代初选边作为指定 类型多边形的优选边。
[0009] 可选的，所述确定出所述第i+1帖图像中的优选指定类型多边形之后，所述方法还 包括:计算所述第i+1帖图像中所述优选指定类型多边形各个内角的角度；当各个内角中存 在至少一个内角的角度未位于预定角度范围内时，判定所述优选指定类型多边形不符合标 准;和/或，计算所述第i+1帖图像中所述指定类型多边形的面积，W及所述第i+1帖图像中 所述优选指定类型多边形与所述第i+1帖图像中所述指定类型多边形的交集面积;计算出 所述交集面积占所述第i+1帖图像中所述指定类型多边形的面积的比例；当所述比例未达 到预定比例阔值时，判定所述优选指定类型多边形不符合标准。通过将各个内角中存在至 少一个内角的角度未位于预定角度范围内的优选指定类型多边形，和/或，将覆盖指定类型 的多边形的部分较少的优选指定类型的多边形判定为不符合标准，由于可W通过计算优选 指定类型的多边形的内角角度和计算优选指定类型多边形覆盖指定类型多边形的范围两 种方法，来判定优选指定类型多边形是否存在较大误差，因此当通过计算得到指定类型多 边形的坐标误差较大时，对该指定多边形的初选边所在的图像块进行直线检测得到的优选 边会产生较大误差，导致在基于指定类型多边形进行进一步优选得到的优选指定类型多边 形也将存在较大误差。
[0010] 可选的，所述方法还包括：当所述优选指定类型多边形符合标准时，将所述优选指 定类型多边形的顶点坐标替换所述第i+1帖图像中所述指定类型多边形的顶点的坐标；当 所述优选指定类型多边形不符合标准时，对所述第i+1帖图像进行指定类型多边形检测，获 取所述第i+1帖图像中检测出的指定类型多边形的顶点的坐标。由于当不符合标准的优选 指定类型多边形时，说明指定类型多边形的坐标计算误差较大，因此将对第i+1帖图像进行 指定类型多边形检测的方式来获取第i+1帖中指定类型多边形的顶点的坐标，来准确获取 第i+1帖中指定类型多边形的顶点的坐标。
[0011] 根据本公开实施例的第二方面，提供一种对图像中多边形进行检测的装置，应用 于智能设备中，所述装置包括:检测模块，被配置为对于视频中任意相邻的第i帖图像和第i +1帖图像，对所述第i帖图像进行特征点检测，得到所述第i帖图像中特征点的坐标;跟踪模 块，被配置为对所述检测模块检测的所述第i帖图像中特征点的坐标进行跟踪，得到所述特 征点在所述第i+1帖图像中的坐标;第一计算模块，被配置为根据所述特征点在所述检测模 块检测的所述第i帖图像中的坐标W及在所述跟踪模块跟踪的所述第i+1帖图像中的坐标， 计算变换方程中参数的取值，所述变换方程用于根据所述第i帖图像中像素点的坐标计算 所述像素点在所述第i帖图像中的坐标;第二计算模块，被配置为利用所述第一计算模块计 算的所述取值对所述变换方程中的所述参数进行赋值，根据赋值后的所述变换方程和检测 出的指定类型多边形的顶点在所述第i帖图像中的坐标，计算所述指定类型多边形的顶点 在所述第i+1帖图像中的坐标。
[0012] 可选的，所述装置还包括:第一获取模块，被配置为当所述第i帖图像为所述视频 中的第一帖图像时，对所述第i帖图像进行指定类型多边形的检测，获取所述第i帖图像中 检测出的指定类型多边形的顶点的坐标。
[0013] 可选的，所述装置还包括:第二获取模块，被配置为所述第二计算模块计算计算所 述指定类型多边形的顶点在所述第i+1帖图像中的坐标之后，根据所述指定类型多边形的 顶点在所述第i+1帖图像中的坐标，得到所述指定类型多边形在所述第i+1帖图像中的初选 边;提取模块，被配置为对于所述第二获取模块获取的所述指定类型多边形在所述第i+1帖 图像中的每条初选边，提取所述初选边所在的图像块，所述图像块包含所述指定类型多边 形的一条初选边;第一确定模块，被配置为对于所述提取模块提取的每个图像块，对所述图 像块中的图像进行直线检测，获取所述图像块中检测到的线段W及所述线段对应的端点坐 标;确定出所述图像块中的标准线段，将所述标准线段作为所述指定类型多边形在所述第i +1帖图像中的一条优选边;第二确定模块，被配置为根据所述第一确定模块确定的各个图 像块所对应的优选边，确定出所述第i+1帖图像中的优选指定类型多边形。
[0014] 可选的，所述第一确定模块，还被配置为：对于所述图像块中检测到的任一条线 段，计算所述线段与所述图像块中的初选边的夹角，筛选出夹角小于预定夹角阔值的线段； 将筛选出的线段中长度最长的线段作为所述图像块中的标准线段。
[0015] 可选的，所述装置还包括:第一判定模块，被配置为所述第二确定模块确定出所述 第i+1帖图像中的优选指定类型多边形之后，计算所述第i+1帖图像中所述优选指定类型多 边形各个内角的角度；当各个内角中存在至少一个内角的角度未位于预定角度范围内时， 判定所述优选指定类型多边形不符合标准;第二判定模块，被配置为计算所述第i+1帖图像 中所述指定类型多边形的面积，W及所述第i+1帖图像中所述优选指定类型多边形与所述 第i+1帖图像中所述指定类型多边形的交集面积;计算出所述交集面积占所述第i+1帖图像 中所述指定类型多边形的面积的比例；当所述比例未达到预定比例阔值时，判定所述优选 指定类型多边形不符合标准。
[0016] 可选的，所述装置还包括:替换模块，被配置为当所述第二确定模块确定的所述优 选指定类型多边形符合标准时，将所述优选指定类型多边形的顶点坐标替换所述第i+1帖 图像中所述指定类型多边形的顶点的坐标;第=获取模块，被配置为当所述第二确定模块 确定出所述优选指定类型多边形不符合标准时，对所述第i+1帖图像进行指定类型多边形 检测，获取所述第i+1帖图像中检测出的指定类型多边形的顶点的坐标。
[0017]根据本公开实施例的第=方面，提供一种对图像中多边形进行检测的装置，应用 于智能设备中，所述装置包括：
[001引处理器；
[0019] 用于存储所述处理器可执行指令的存储器；
[0020] 其中，所述处理器被配置为：
[0021] 对于视频中任意相邻的第i帖图像和第i + 1帖图像，对所述第i帖图像进行特征点 检测，得到所述第i帖图像中特征点的坐标；
[0022] 对所述第i帖图像中特征点的坐标进行跟踪，得到所述特征点在所述第i+1帖图像 中的坐标；
[0023] 根据所述特征点在所述第i帖图像中的坐标W及在所述第i+1帖图像中的坐标，计 算变换方程中参数的取值，所述变换方程用于根据所述第i帖图像中像素点的坐标计算所 述像素点在所述第i帖图像中的坐标；
[0024] 利用所述取值对所述变换方程中的所述参数进行赋值，根据赋值后的所述变换方 程和检测出的指定类型多边形的顶点在所述第i帖图像中的坐标，计算所述指定类型多边 形的顶点在所述第i+1帖图像中的坐标。
[0025] 应当理解的是，W上的一般描述和后文的细节描述仅是示例性的，并不能限制本 公开。
【附图说明】
[0026] 此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施 例，并于说明书一起用于解释本公开的原理。
[0027] 图IA是根据一示例性实施例示出的一种对图像中多边形进行检测的方法的流程 图；
[0028] 图IB是根据一示例性实施例示出的对计算得到指定类型多边形的各条边进行优 化方法的流程图；
[0029] 图IC是根据一示例性实施例示出的提取指定类型多边形的初选边所在的图像块 的示意图；
[0030] 图ID是根据一示例性实施例示出的提取指定类型多边形的初选边所在的图像块 的示意图；
[0031] 图IE是根据一示例性实施例示出的对优选指定类型多边形进行误差判定方法的 流程图；
[0032] 图IF是根据一示例性实施例示出的提取指定类型多边形的初选边所在的图像块 的示意图；
[0033] 图2A是根据一示例性实施例示出的一种对图像中多边形进行检测的装置的框图；
[0034] 图2B是根据另一示例性实施例示出的一种对图像中多边形进行检测的装置的框 图；
[0035] 图3是根据一示例性实施例示出的一种用于对图像中多边形进行检测的装置的框 图。
【具体实施方式】
[0036] 运里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述设及 附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。W下示例性实施例 中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附 权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
[0037] 在实际应用中，用户可W使用智能设备当成扫描仪，对拍摄后图片中的文档、证 件、海报等图像进行边界识别。由于图像的边界识别是智能设备对图像进行全图检测的过 程，而智能设备的计算能力有限，在进行单张图片的边界识别时所花的处理时间较长。为了 能加快智能设备对图片边界进行识别的速度，本实施例中智能设备将不通过全图检测来获 取第i+1帖图像中指定类型多边形的顶点的坐标，而是通过计算的方式来获取第i+1帖图像 中指定类型多边形的顶点的坐标，W实现对图像中多边形边界的快速识别。下面结合图1A、 图1B、图化对图像中多边形进行检测的方法进行描述。
[0038] 图IA是根据一示例性实施例示出的一种对图像中多边形进行检测的方法的流程 图，该对图像中多边形进行检测的方法应用于智能设备中，该智能设备可W为移动电话，平 板设备、移动电脑等，如图IA所示，该对图像中多边形进行检测的方法包括W下步骤。
[0039] 在步骤101中，对于视频中任意相邻的第i帖图像和第i + 1帖图像，对该第i帖图像 进行特征点检测，得到该第i帖图像中特征点的坐标。
[0040] 运里所讲的特征点又称兴趣点、关键点，特征点是指线型要素或面状要素边界线 的拐点或折点。相较于图像的全图检测，图像的特征点检测的速度更快。
[0041] 角点是图像中最基本的一种特征点，因此运里所讲的特征点检测方式可W为 Kitchen-Rosenf eld角点检测J、化；rri S角点检测、KLT角点检测W及SUSAN角点检测等等，本 实施例不限定特征点检测方式的具体类型。
[0042] 智能设备在第i帖图像中建立坐标系后，对该第i帖图像进行特征点检测，得到该 第i帖图像中特征点的坐标。
[0043] 在步骤102中，对第i帖图像中特征点的坐标进行跟踪，得到该特征点在第i+1帖图 像中的坐标。
[0044] 在视频的连续图像帖中，任意相邻的第i帖图像和第i+1帖图像中的图像移动的范 围很小，因此可W在第i+1帖图像中对第i帖图像中的特征点进行跟踪，得到该特征点在第i + 1帖图像中的坐标。具体的，当智能设备通过特征点检测获取到第i帖图像中的特征点的坐 标后，可W在第i + 1帖图像中，对第i帖图像中特征点的坐标的周围预定范围内进行特征点 的跟踪，得到该特征点在第i+1帖图像中的坐标。
[0045] 运里所讲的特征点的跟踪算法可W为化T算法。
[0046] 运里所讲的周围预定范围可W为W特征点的坐标为中屯、周围10个像素的范围，当 然，运里所讲的10个像素可W被15个像素、20个像素等替换，本实施例不限定像素的具体数 量。
[0047] 在步骤103中，根据特征点在第i帖图像中的坐标W及在第i+1帖图像中的坐标，计 算变换方程中参数的取值。
[0048] 运里所讲的变换方程用于根据第i帖图像中像素点的坐标计算该像素点在该第i 帖图像中的坐标。
[0049] 运里所讲的变换方程中参数的取值是指单应变换矩阵H中参数的取值。
[0050] 假设一个单应矩阵是大小为3*3的矩阵H，满足给定一个点Pi= [Xl，yl，Wl]T，矩阵H 把点Pl映射成一个新的点口2=[枯，72，*2!^ =化1。由于口1和口2都是齐次坐标，口1和口2对应的图 像上的两个点分别去
[0051] 假设给定一个单应H=化u}，给它的元素乘上同一个数a,得到的新单应地和H作用 相同，因为新单应QH无非把齐次点Pl变成了齐次点叩2,叩2和P2对应的图像上的点相同，所 W -个单应中只有8个自由元素，一般令右下角的元素 h33=l来归一化。
[0052] 假设是求四对对应点单应矩阵的计算公式，由于8个未知数需要8个方程来求解， 之所W四对点能够求解，是因为一对点提供两个方程。假设特征点在第i帖图像中的坐标 [又1，71]哺在第1 + 1帖图像中的坐标[趴72]\它们的齐次坐标为：山，71，1]\[义2,72，1]哺 h33 = 1带到公式的H=化ij}，可W推导得到：
[0化3]
[0054] u=[hll hl2 hl3 h21 h22 h23 h31 h32]T
[0055] v=[x2 y2]T
[0056] 进而可W得到等价的矩阵形式:Au = v，其中：
[0057]
公式 Cl)
[005引如果有四对不共线匹配点对，运个方程组就能够垒到8行，存在唯一解，如果多于 四对点，比如有n对点，方程就垒到化行，用最小二乘法或SVD分解就可W求解H。
[0059] 由于点对中可能存在不少错误匹配，因此往往需要使用RANSAC算法剔除错误匹配 点对。
[0060] 在步骤104中，利用该取值对变换方程中的参数进行赋值，根据赋值后的变换方程 和检测出的指定类型多边形的顶点在第i帖图像中的坐标，计算指定类型多边形的顶点在 第i+1帖图像中的坐标。
[0061] 已知特征点在第i帖图像中的坐标和在第i + 1帖图像中的坐标后，可W对单应H = 化ij}中的参数进行赋值，得到Au = V中U的各个参数值，再将检测出的指定类型多边形的顶 点在第i帖图像中的坐标代入(xi，yi)中，利用公式(1)，计算出指定类型多边形的顶点在第i +1帖图像中的坐标(X2，y2)。
[0062] 运里所讲的指定类型多边形可W =角形、矩形和五边形等，本实施例不限定指定 类型多边形的边数。
[0063] 需要说明的是，当第i帖图像为视频中的第一帖图像时，对该第i帖图像进行指定 类型多边形的检测，获取该第i帖图像中检测出的指定类型多边形的顶点的坐标。
[0064] 由于指定类型多边形的顶点在第i帖图像中的坐标是根据该顶点在第i-1帖图像 中的坐标代入本实施例中的计算公式（1)得到的，当第i帖图像为视频中的第一帖图像时， 无法利用本实施例中的计算公式（I)计算该指定类型多边形的顶点在第一帖图像中的坐 标，因此需要对该第一帖图像进行指定类型多边形的检测，获取该第一帖图像中检测出的 指定类型多边形的顶点的坐标。
[0065] 综上所述，本公开实施例中提供的对图像中多边形进行检测的方法，通过根据特 征点在第i帖图像中的坐标W及在第i + 1帖图像中的坐标，计算变换方程中参数的取值，再 根据参数被赋值后的变换方程和检测出的指定类型多边形的顶点在所述第i帖图像中的坐 标，计算指定类型多边形的顶点在第i + 1帖图像中的坐标，由于不需要对第i + 1帖图像进行 全图扫描，而是通过计算得到第i+1帖图像中的指定类型多边形的顶点的坐标;解决了智能 设备仅适用于处理为数不多的图片的情况，而对于多张图片（比如视频）的处理，则无法及 时向用户反馈图像的边界识别后的结果的问题;达到了在对视频处理时，实时输出指定类 型多边形的坐标，及时向用户反馈图像中多边形进行边界识别后的结果。
[0066] 在一种可能实现的方式中，由于仅通过计算来获取第i + 1帖图像中指定类型多边 形的坐标，可能会存在误差，对计算后得到的指定类型多边形的各条边所在的图像块进行 进一步的直线检测，可W使得智能设备优选出的优选指定类型多边形的坐标更为精准。图 IB是根据一示例性实施例示出的对计算得到指定类型多边形的各条边进行优化方法的流 程图，如图IB所示，该对计算得到指定类型多边形的各条边进行优化方法包括W下步骤。
[0067] 在步骤105中，根据指定类型多边形的顶点在第i + 1帖图像中的坐标，得到该指定 类型多边形在该第i+1帖图像中的初选边。
[0068] 将指定类型多边形的顶点在第i + 1帖图像中的坐标相互连接，形成各条线段均不 相交的多边形，该多边形即为指定类型多边形，各个顶点所连接的线段即为指定类型多边 形的初选边。
[0069] 根据指定类型多边形的顶点在第i + 1帖图像中的坐标，可W判定出该指定类型多 边形在第i+1帖图像中的每条初选边的端点坐标。
[0070] 在步骤106中，对于指定类型多边形在第i + 1帖图像中的每条初选边，提取该初选 边所在的图像块。
[0071] 运里所讲的图像块中包含指定类型多边形的一条初选边，即该指定类型多边形有 多少条初选边，则该指定类型多边形对应有多少个图像块。本实施例不限定图像块的大小。
[0072] 图IC是根据一示例性实施例示出的提取指定类型多边形的初选边所在的图像块 的示意图，如图IC所示，当指定类型多边形为四边形时，四边形20的边21所在的图像块为图 像块21曰，边22所在的图像块为图像块22曰，边23所在的图像块为图像块23曰，边24所在的图 像块为图像块24曰。
[0073] 需要说明的是指定类型多边形的各条初选边所在的图像块的大小可W相同，也可 W不同。
[0074] 需要说明的是，本实施中W图像块为矩形进行举例说明，但本实施例并不限定图 像块的具体形状。
[0075] 在步骤107中，对于每个图像块，对图像块中的图像进行直线检测，获取该图像块 中检测到的线段W及该线段对应的端点坐标;确定出该图像块中的标准线段，将该标准线 段作为指定类型多边形在第i+1帖图像中的一条优选边。
[0076] 由于通过计算公式得到的指定类型多边形的各条初选边的坐标可能会存在误差， 为了使得指定类型多边形的各条边的坐标位置更加精准。对于每个图像块，智能设备可W 根据指定类型多边形各条初选边在第i+1帖图像中的坐标，对指定类型多边形的各条初选 边所在的图像块进行直线检测。
[0077] 由于对图像块进行直线检测后，可能从图像块中检测出各个方向的线段，对于各 个图像块中的初选边来说，与初选边的方向偏离较大的线段均可判定为干扰线段，因此智 能设备可W将干扰线段剔除。
[0078] 图ID是根据一示例性实施例示出的提取指定类型多边形的初选边所在的图像块 的示意图，如图ID所示，假设线段a为指定类型多边形的一条初选边，对线段a所在的图像块 30进行直线检测后，获取到线段b、线段C和线段d，其中线段b与线段a平行，线段d与线段a垂 直。由此可知，线段a和线段b之间不存在夹角，线段a和线段d之间的夹角为90°。延长线段C 后使得线段C与线段a相交形成的夹角0，由图可知夹角0小于90°，因此可W得到，检测到的 线段与初选边的夹角越大，该线段与初选边的方向偏离较大，检测到的线段与初选边的夹 角越小，该线段与初选边的方向偏离较小。因此，当智能设备获取该图像块中检测到的线段 W及该线段对应的端点坐标后，对于图像块中检测到的任一条线段，计算该线段与该图像 块中的初选边的夹角，筛选出夹角小于预定夹角阔值的线段。
[0079] 优选的，将筛选出的线段中长度最长的线段作为该图像块中的标准线段。
[0080] 需要说明的是，本实施例中所讲的线段与该图像块中的初选边的夹角是指线段与 该图像块中的初选边相交形成的不大于90°的角。
[0081] 在步骤108中，根据各个图像块所对应的优选边，确定出第i + 1帖图像中的优选指 定类型多边形。
[0082] 当指定类型多边形中各条初选边所在的图像块中均可W确定出优选边时，将各条 优选边首尾相连，形成一个各条线段均不相交的优选指定类型多边形。当指定类型多边形 中存在至少一条初选边所在的图像块中未确定出优选边时，将未确定出优选边的图像块中 的初选边作为优选边，与其他确定出的优选边首尾相连，形成一个各条线段均不相交的优 选指定类型多边形。
[0083] 在本实施例中，由于仅通过计算来获取第i+1帖图像中指定类型多边形的坐标，可 能会存在误差，对计算后得到的指定类型多边形的各条边所在的图像块进行进一步的直线 检测，使得优选出的优选指定类型多边形的坐标更为精准，且智能设备仅需要在图像的指 定范围内进行直线检测，因此还可W提高智能设备判定优选边速度。
[0084] 在一种可能实现的方式中，当通过计算得到指定类型多边形的坐标误差较大时， 对该指定多边形的初选边所在的图像块进行直线检测得到的优选边会产生较大误差，导致 在基于指定类型多边形进行进一步优选得到的优选指定类型多边形也将存在较大误差。图 化是根据一示例性实施例示出的对优选指定类型多边形进行误差判定方法的流程图，如图 化所示，可W通过计算优选指定类型的多边形的内角角度和计算优选指定类型多边形覆盖 指定类型多边形的范围两种方法，来判定优选指定类型多边形是否存在较大误差，该对优 选指定类型多边形进行误差判定方法包括W下步骤。
[0085] 第一种，计算优选指定类型的多边形内角角度的方法由下述步骤109至步骤110来 实现。
[0086] 在步骤109中，计算第i+1帖图像中优选指定类型多边形各个内角的角度。
[0087] 在步骤110中，当各个内角中存在至少一个内角的角度未位于预定角度范围内时， 判定该优选指定类型多边形不符合标准。
[0088] 运里所讲的预定角度范围由（预定角度基准+/-误差允许范围)得到，其中，预定角 度基准由当指定类型多边形为内角度数相同的指定类型多边形时的内角度数决定。指定类 型多边形的内角数量不同，该指定类型多边形对应的内角度数也不同。当指定类型多边形 为四边形时，该指定类型多边形的预定角度基准为90%该指定类型多边形对应的预定角度 范围可W为60°至120° (90°+/-30°)，当指定类型多边形为五边形时，该指定类型多边形的 预定角度基准为108°，该指定类型多边形对应的预定角度范围可W为68°至148° (108°+/- 40° )。本实施例不限定误差允许范围的具体度数。
[0089] 第二种，计算优选指定类型多边形覆盖指定类型多边形的范围的方法由下述步骤 111至步骤113来实现。
[0090] 在步骤111中，计算第i+1帖图像中该指定类型多边形的面积，W及该第i+1帖图像 中该优选指定类型多边形与该第i+1帖图像中该指定类型多边形的交集面积。
[0091] 运里所讲的第i + 1帖图像中该优选指定类型多边形与该第i+1帖图像中该指定类 型多边形的交集面积是指第i+1帖图像中该优选指定类型多边形覆盖该第i + 1帖图像中该 指定类型多边形的面积。
[0092] 在步骤112中，计算出该交集面积占该第i+1帖图像中该指定类型多边形的面积的 比例。
[0093] 图IF是根据一示例性实施例示出的提取指定类型多边形的初选边所在的图像块 的示意图，如图IF所示，假设该第i + 1帖图像中优选指定类型多边形40的面积用Sl表示，该 第i+1帖图像中指定类型多边形50的面积S2用表示，该优选指定类型多边形40与指定类型 多边形50的交集60面积用S3表示，则该交集60面积Sl占该第i+1帖图像中该指定类型多边 形50的面积的比例为S3/S1。
[0094] 在步骤113中，当比例未达到预定比例阔值时，判定该优选指定类型多边形不符合 标准。
[00%]当该优选指定类型多边形与该指定类型多边形距离较远或形状差异较大时，该优 选指定类型多边形与该指定类型多边形的交集面积较小，当该优选指定类型多边形与该指 定类型多边形距离较近或形状差异较小时，该优选指定类型多边形与该指定类型多边形的 交集面积较大。因此，当该交集面积占该第i+1帖图像中该指定类型多边形的面积的比例未 达到预定比例阔值时，判定该优选指定类型多边形不符合标准。
[0096] 需要说明的是，上述第一种方法(步骤109至步骤110)和第二种方法(步骤111至步 骤113)可W结合实施，也可W单独实施。当第一种方法和第二种方法结合实施时，本实施例 不限定两种方法的具体实施顺序。
[0097] 在步骤114中，当优选指定类型多边形符合标准时，将该优选指定类型多边形的顶 点坐标替换第i+1帖图像中该指定类型多边形的顶点的坐标。
[0098] 在步骤115中，当优选指定类型多边形不符合标准时，对第i + 1帖图像进行指定类 型多边形检测，获取该第i+1帖图像中检测出的指定类型多边形的顶点的坐标。
[0099] 当不符合标准的优选指定类型多边形时，说明指定类型多边形的坐标计算误差较 大，因此将对第i+1帖图像进行指定类型多边形检测的方式来获取第i+1帖中指定类型多边 形的顶点的坐标，来确保可W准确获取第i+1帖中指定类型多边形的顶点的坐标。
[0100] 在本实施例中，由于可W通过计算优选指定类型的多边形的内角角度和计算优选 指定类型多边形覆盖指定类型多边形的范围两种方法，来判定优选指定类型多边形是否存 在较大误差，因此当通过计算得到指定类型多边形的坐标误差较大时，对该指定多边形的 初选边所在的图像块进行直线检测得到的优选边会产生较大误差，导致在基于指定类型多 边形进行进一步优选得到的优选指定类型多边形也将存在较大误差。。
[0101] 下述为本公开装置实施例，可W用于执行本公开方法实施例。对于本公开装置实 施例中未披露的细节，请参照本公开方法实施例。
[0102] 图2A是根据一示例性实施例示出的一种对图像中多边形进行检测的装置的框图， 该对图像中多边形进行检测的装置应用于智能设备中，该智能设备可W为移动电话，平板 设备、移动电脑等，如图2A所示，该对图像中多边形进行检测的装置包括但不限于:检测模 块201、跟踪模块202、第一计算模块203和第二计算模块204。
[0103] 检测模块201，被配置为对于视频中任意相邻的第i帖图像和第i+1帖图像，对该第 i帖图像进行特征点检测，得到该第i帖图像中特征点的坐标。
[0104] 运里所讲的特征点又称兴趣点、关键点，特征点是指线型要素或面状要素边界线 的拐点或折点。相较于图像的全图检测，图像的特征点检测的速度更快。
[0105] 角点是图像中最基本的一种特征点，因此运里所讲的特征点检测方式可W为 Kitchen-Rosenf eld角点检测J、化；rri S角点检测、KLT角点检测W及SUSAN角点检测等等，本 实施例不限定特征点检测方式的具体类型。
[0106] 智能设备在第i帖图像中建立坐标系后，对该第i帖图像进行特征点检测，得到该 第i帖图像中特征点的坐标。
[0107] 跟踪模块202,被配置为对检测模块201检测的第i帖图像中特征点的坐标进行跟 踪，得到该特征点在第i+1帖图像中的坐标。
[0108] 在视频的连续图像帖中，任意相邻的第i帖图像和第i+1帖图像中的图像移动的范 围很小，因此可W在第i+1帖图像中对第i帖图像中的特征点进行跟踪，得到该特征点在第i + 1帖图像中的坐标。具体的，当智能设备通过特征点检测获取到第i帖图像中的特征点的坐 标后，可W在第i + 1帖图像中，对第i帖图像中特征点的坐标的周围预定范围内进行特征点 的跟踪，得到该特征点在第i+1帖图像中的坐标。
[0109] 运里所讲的特征点的跟踪算法可W为化T算法。
[0110] 运里所讲的周围预定范围可W为W特征点的坐标为中屯、周围10个像素的范围，当 然，运里所讲的10个像素可W被15个像素、20个像素等替换，本实施例不限定像素的具体数 量。
[0111] 第一计算模块203,被配置为根据特征点在检测模块201检测的第i帖图像中的坐 标W及在跟踪模块202跟踪的第i + 1帖图像中的坐标，计算变换方程中参数的取值，该变换 方程用于根据第i帖图像中像素点的坐标计算该像素点在该第i帖图像中的坐标。
[0112] 运里所讲的变换方程中参数的取值是指单应变换矩阵H中参数的取值。
[0113] 假设一个单应矩阵是大小为3*3的矩阵H，满足给定一个点pi=[xi，yi，wi]T，矩阵H 把点Pl映射成一个新的点口2=[枯，72，*2!^ =化1。由于口1和口2都是齐次坐标，口1和口2对应的图 像上的两个点分别是[甘.升]1和[责，-、户-Ji。
[0114] 假设给定一个单应H=化u}，给它的元素乘上同一个数a,得到的新单应地和H作用 相同，因为新单应QH无非把齐次点Pl变成了齐次点叩2,叩2和P2对应的图像上的点相同，所 W -个单应中只有8个自由元素，一般令右下角的元素 h33=l来归一化。
[0115] 假设是求四对对应点单应矩阵的计算公式，由于8个未知数需要8个方程来求解， 之所W四对点能够求解，是因为一对点提供两个方程。假设特征点在第i帖图像中的坐标 [又1，71]哺在第1 + 1帖图像中的坐标[趴72]\它们的齐次坐标为：山，71，1]\[义2,72，1]哺 h33 = 1带到公式的H=化ij}，可W推导得到：
[0116]
[0117] u=[hll hl2 hl3 h21 h22 h23 h31 h32]T [011 引 V=[x2 y2]T
[0119] 进而可W得到等价的矩阵形式:Au = v，其中：
[0120]
:魯式化
[0121] 如果有四对不共线匹配点对，运个方程组就能够垒到8行，存在唯一解，如果多于 四对点，比如有n对点，方程就垒到化行，用最小二乘法或SVD分解就可W求解H。
[0122] 由于点对中可能存在不少错误匹配，因此往往需要使用RANSAC算法剔除错误匹配 点对。
[0123] 第二计算模块204,被配置为利用第一计算模块203计算的该取值对变换方程中的 参数进行赋值，根据赋值后的变换方程和检测出的指定类型多边形的顶点在第i帖图像中 的坐标，计算指定类型多边形的顶点在第i+1帖图像中的坐标。
[0124] 已知特征点在第i帖图像中的坐标和在第i + 1帖图像中的坐标后，可W对单应H = 化ij}中的参数进行赋值，得到Au = V中U的各个参数值，再将检测出的指定类型多边形的顶 点在第i帖图像中的坐标代入(xi，yi)中，利用公式(1)，计算出指定类型多边形的顶点在第i +1帖图像中的坐标(X2，y2)。
[0125] 运里所讲的指定类型多边形可W =角形、矩形和五边形等，本实施例不限定指定 类型多边形的边数。
[0126] 在一种可能的实现方式中，请参见图2B，其是根据另一示例性实施例示出的一种 对图像中多边形进行检测的装置的框图，该对图像中多边形进行检测的装置应用于智能设 备中，该智能设备可W为移动电话，平板设备、移动电脑等，如图2B所示，该装置还包括:第 一获取模块205。
[0127] 第一获取模块205,被配置为当第i帖图像为视频中的第一帖图像时，对该第i帖图 像进行指定类型多边形的检测，获取该第i帖图像中检测出的指定类型多边形的顶点的坐 标。
[0128] 由于指定类型多边形的顶点在第i帖图像中的坐标是根据该顶点在第i-1帖图像 中的坐标代入本实施例中的计算公式（I)得到的，当第i帖图像为视频中的第一帖图像时， 无法利用本实施例中的计算公式（1)计算该指定类型多边形的顶点在第一帖图像中的坐 标，因此需要对该第一帖图像进行指定类型多边形的检测，获取该第一帖图像中检测出的 指定类型多边形的顶点的坐标。
[0129] 在一种可能的实现方式中，仍旧参见图2B所示，该装置还包括:第二获取模块206、 提取模块207、第一确定模块208和第二确定模块209。
[0130] 第二获取模块206,被配置为第二计算模块204计算指定类型多边形的顶点在第i+ 1帖图像中的坐标之后，根据该指定类型多边形的顶点在第i+1帖图像中的坐标，得到该指 定类型多边形在该第i+1帖图像中的初选边。
[0131] 将指定类型多边形的顶点在第i + 1帖图像中的坐标相互连接，形成各条线段均不 相交的多边形，该多边形即为指定类型多边形，各个顶点所连接的线段即为指定类型多边 形的初选边。
[0132] 根据指定类型多边形的顶点在第i + 1帖图像中的坐标，可W判定出该指定类型多 边形在第i+1帖图像中的每条初选边的端点坐标。
[0133] 提取模块207,被配置为对于第二获取模块206获取的指定类型多边形在第i+1帖 图像中的每条初选边，提取该初选边所在的图像块，该图像块包含该指定类型多边形的一 条初选边。
[0134] 该指定类型多边形有多少条初选边，则该指定类型多边形对应有多少个图像块。 本实施例不限定图像块的大小。
[0135] 需要说明的是指定类型多边形的各条初选边所在的图像块的大小可W相同，也可 W不同。
[0136] 需要说明的是，本实施中W图像块为矩形进行举例说明，但本实施例并不限定图 像块的具体形状。
[0137] 第一确定模块208,被配置为对于提取模块207提取的每个图像块，对图像块中的 图像进行直线检测，获取该图像块中检测到的线段W及该线段对应的端点坐标;确定出该 图像块中的标准线段，将该标准线段作为指定类型多边形在第i+1帖图像中的一条优选边。
[0138] 由于通过计算公式得到的指定类型多边形的各条初选边的坐标可能会存在误差， 为了使得指定类型多边形的各条边的坐标位置更加精准。对于每个图像块，智能设备可W 根据指定类型多边形各条初选边在第i+1帖图像中的坐标，对指定类型多边形的各条初选 边所在的图像块进行直线检测。
[0139] 由于对图像块进行直线检测后，可能从图像块中检测出各个方向的线段，对于各 个图像块中的初选边来说，与初选边的方向偏离较大的线段均可判定为干扰线段，因此智 能设备可W将干扰线段剔除。
[0140] 第二确定模块209,被配置为根据第一确定模块20如角定的各个图像块所对应的优 选边，确定出第i+1帖图像中的优选指定类型多边形。
[0141] 当指定类型多边形中各条初选边所在的图像块中均可W确定出优选边时，将各条 优选边首尾相连，形成一个各条线段均不相交的优选指定类型多边形。当指定类型多边形 中存在至少一条初选边所在的图像块中未确定出优选边时，将未确定出优选边的图像块中 的初选边作为优选边，与其他确定出的优选边首尾相连，形成一个各条线段均不相交的优 选指定类型多边形。
[0142] 在一种可能的实现方式中，仍旧参见图2B所示，该第一确定模块208,还被配置为：
[0143] 对于图像块中检测到的任一条线段，计算该线段与该图像块中的初选边的夹角， 筛选出夹角小于预定夹角阔值的线段;将筛选出的线段中长度最长的线段作为该图像块中 的标准线段。
[0144] 图ID是根据一示例性实施例示出的提取指定类型多边形的初选边所在的图像块 的示意图，如图ID所示，假设线段a为指定类型多边形的一条初选边，对线段a所在的图像块 30进行直线检测后，获取到线段b、线段C和线段d，其中线段b与线段a平行，线段d与线段a垂 直。由此可知，线段a和线段b之间不存在夹角，线段a和线段d之间的夹角为90°。延长线段C 后使得线段C与线段a相交形成的夹角0，由图可知夹角0小于90°，因此可W得到，检测到的 线段与初选边的夹角越大，该线段与初选边的方向偏离较大，检测到的线段与初选边的夹 角越小，该线段与初选边的方向偏离较小。因此，当智能设备获取该图像块中检测到的线段 W及该线段对应的端点坐标后，对于图像块中检测到的任一条线段，计算该线段与该图像 块中的初选边的夹角，筛选出夹角小于预定夹角阔值的线段。
[0145] 需要说明的是，本实施例中所讲的线段与该图像块中的初选边的夹角是指线段与 该图像块中的初选边相交形成的不大于90°的角。
[0146] 在一种可能的实现方式中，仍旧参见图2B所示，该装置还包括:第一判定模块210 和第二判定模块211。
[0147] 第一判定模块210,被配置为第二确定模块209确定出第i + 1帖图像中的优选指定 类型多边形之后，计算该第i+1帖图像中优选指定类型多边形各个内角的角度；当各个内角 中存在至少一个内角的角度未位于预定角度范围内时，判定该优选指定类型多边形不符合 标准。
[0148] 运里所讲的预定角度范围由（预定角度基准+/-误差允许范围)得到，其中，预定角 度基准由当指定类型多边形为内角度数相同的指定类型多边形时的内角度数决定。指定类 型多边形的内角数量不同，该指定类型多边形对应的内角度数也不同。当指定类型多边形 为四边形时，该指定类型多边形的预定角度基准为90%该指定类型多边形对应的预定角度 范围可W为60°至120° (90°+/-30°)，当指定类型多边形为五边形时，该指定类型多边形的 预定角度基准为108°，该指定类型多边形对应的预定角度范围可W为68°至148° (108°+/- 40° )。本实施例不限定误差允许范围的具体度数。
[0149] 第二判定模块211，被配置为计算第i + 1帖图像中该指定类型多边形的面积，W及 该第i+1帖图像中该优选指定类型多边形与该第i + 1帖图像中该指定类型多边形的交集面 积;计算出该交集面积占该第i+1帖图像中该指定类型多边形的面积的比例；当比例未达到 预定比例阔值时，判定该优选指定类型多边形不符合标准。
[0150] 运里所讲的第i + 1帖图像中该优选指定类型多边形与该第i+1帖图像中该指定类 型多边形的交集面积是指第i+1帖图像中该优选指定类型多边形覆盖该第i + 1帖图像中该 指定类型多边形的面积。
[0151] 当该优选指定类型多边形与该指定类型多边形距离较远或形状差异较大时，该优 选指定类型多边形与该指定类型多边形的交集面积较小，当该优选指定类型多边形与该指 定类型多边形距离较近或形状差异较小时，该优选指定类型多边形与该指定类型多边形的 交集面积较大。因此，当该交集面积占该第i+1帖图像中该指定类型多边形的面积的比例未 达到预定比例阔值时，判定该优选指定类型多边形不符合标准。
[0152] 在一种可能的实现方式中，仍旧参见图2B所示，该装置还包括:替换模块212和第 =获取模块213。
[0153] 替换模块212,被配置为当第二确定模块209确定的优选指定类型多边形符合标准 时，将该优选指定类型多边形的顶点坐标替换第i+1帖图像中该指定类型多边形的顶点的 坐标。
[0154] 第=获取模块213,被配置为当第二确定模块20卵角定的优选指定类型多边形不符 合标准时，对第i+1帖图像进行指定类型多边形检测，获取该第i+1帖图像中检测出的指定 类型多边形的顶点的坐标。
[0155] 当不符合标准的优选指定类型多边形时，说明指定类型多边形的坐标计算误差较 大，因此将对第i+1帖图像进行指定类型多边形检测的方式来获取第i+1帖中指定类型多边 形的顶点的坐标，来确保可W准确获取第i+1帖中指定类型多边形的顶点的坐标。
[0156] 综上所述，本公开实施例中提供的对图像中多边形进行检测的装置，通过根据特 征点在第i帖图像中的坐标W及在第i + 1帖图像中的坐标，计算变换方程中参数的取值，再 根据参数被赋值后的变换方程和检测出的指定类型多边形的顶点在所述第i帖图像中的坐 标，计算指定类型多边形的顶点在第i + 1帖图像中的坐标，由于不需要对第i + 1帖图像进行 全图扫描，而是通过计算得到第i+1帖图像中的指定类型多边形的顶点的坐标;解决了智能 设备仅适用于处理为数不多的图片的情况，而对于多张图片（比如视频）的处理，则无法及 时向用户反馈图像的边界识别后的结果的问题;达到了在对视频处理时，实时输出指定类 型多边形的坐标，及时向用户反馈图像中多边形进行边界识别后的结果。
[0157] 在本实施例中，由于仅通过计算来获取第i+1帖图像中指定类型多边形的坐标，可 能会存在误差，对计算后得到的指定类型多边形的各条边所在的图像块进行进一步的直线 检测，使得优选出的优选指定类型多边形的坐标更为精准，且智能设备仅需要在图像的指 定范围内进行直线检测，因此还可W提高智能设备判定优选边速度。
[0158] 在本实施例中，由于标准线段是基于同一图像块中的初选边角度进行选取的，因 此所选取的标准线段可W替代初选边作为指定类型多边形的优选边。
[0159] 在本实施例中，由于可W通过计算优选指定类型的多边形的内角角度和计算优选 指定类型多边形覆盖指定类型多边形的范围两种方法，来判定优选指定类型多边形是否存 在较大误差，因此当通过计算得到指定类型多边形的坐标误差较大时，对该指定多边形的 初选边所在的图像块进行直线检测得到的优选边会产生较大误差，导致在基于指定类型多 边形进行进一步优选得到的优选指定类型多边形也将存在较大误差。
[0160] 在本实施例中，由于当不符合标准的优选指定类型多边形时，说明指定类型多边 形的坐标计算误差较大，因此将对第i+1帖图像进行指定类型多边形检测的方式来获取第i + 1帖中指定类型多边形的顶点的坐标，来准确获取第i+1帖中指定类型多边形的顶点的坐 标。
[0161] 本公开一示例性实施例提供了一种对图像中多边形进行检测的装置，该对图像中 多边形进行检测的装置应用于智能设备中，该对图像中多边形进行检测的装置包括:处理 器、用于存储处理器可执行指令的存储器；
[0162] 其中，处理器被配置为：
[0163] 对于视频中任意相邻的第i帖图像和第i + 1帖图像，对该第i帖图像进行特征点检 ，得到该第i帖图像中特征点的坐标；
[0164] 对第i帖图像中特征点的坐标进行跟踪，得到该特征点在第i+1帖图像中的坐标；
[0165] 根据特征点在第i帖图像中的坐标W及在第i+1帖图像中的坐标，计算变换方程中 参数的取值，该变换方程用于根据第i帖图像中像素点的坐标计算该像素点在该第i帖图像 中的坐标；
[0166] 利用该取值对变换方程中的参数进行赋值，根据赋值后的变换方程和检测出的指 定类型多边形的顶点在第i帖图像中的坐标，计算指定类型多边形的顶点在第i+1帖图像中 的坐标。
[0167] 图3是根据一示例性实施例示出的一种用于对图像中多边形进行检测的装置的框 图。例如，装置300可W是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平 板设备，医疗设备，健身设备，个人数字助理等。
[0168] 参照图3,装置300可W包括W下一个或多个组件:处理组件302,存储器304,电源 组件306，多媒体组件308，音频组件310，输入/输出（I/O)接口312，传感器组件314，W及通 信组件316。
[0169] 处理组件302通常控制装置300的整体操作，诸如与显示，电话呼叫，数据通信，相 机操作和记录操作相关联的操作。处理组件302可W包括一个或多个处理器318来执行指 令，W完成上述的方法的全部或部分步骤。此外，处理组件302可W包括一个或多个模块，便 于处理组件302和其他组件之间的交互。例如，处理组件302可W包括多媒体模块，W方便多 媒体组件308和处理组件302之间的交互。
[0170] 存储器304被配置为存储各种类型的数据W支持在装置300的操作。运些数据的示 例包括用于在装置300上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消 息，图片，视频等。存储器304可W由任何类型的易失性或非易失性存储设备或者它们的组 合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器化EPROM)，可擦除可编 程只读存储器化PROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储 器，磁盘或光盘。
[0171] 电源组件306为装置300的各种组件提供电力。电源组件306可W包括电源管理系 统，一个或多个电源，及其他与为装置300生成、管理和分配电力相关联的组件。
[0172] 多媒体组件308包括在装置300和用户之间的提供一个输出接口的屏幕。在一些实 施例中，屏幕可W包括液晶显示器化CD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可 W被实现为触摸屏，W接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器W 感测触摸、滑动和触摸面板上的手势。触摸传感器可W不仅感测触摸或滑动动作的边界，而 且还检测与触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件308包括 一个前置摄像头和/或后置摄像头。当装置300处于操作模式，如拍摄模式或视频模式时，前 置摄像头和/或后置摄像头可W接收外部的多媒体数据。每个前置摄像头和后置摄像头可 W是一个固定的光学透镜系统或具有焦距和光学变焦能力。
[0173] 音频组件310被配置为输出和/或输入音频信号。例如，音频组件310包括一个麦克 风(MIC)，当装置300处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配 置为接收外部音频信号。所接收的音频信号可W被进一步存储在存储器304或经由通信组 件316发送。在一些实施例中，音频组件310还包括一个扬声器，用于输出音频信号。
[0174] I/O接口 312为处理组件302和外围接口模块之间提供接口，上述外围接口模块可 W是键盘，点击轮，按钮等。运些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁 定按钮。
[0175] 传感器组件314包括一个或多个传感器，用于为装置300提供各个方面的状态评 估。例如，传感器组件314可W检测到装置300的打开/关闭状态，组件的相对定位，例如组件 为装置300的显示器和小键盘，传感器组件314还可W检测装置300或装置300-个组件的位 置改变，用户与装置300接触的存在或不存在，装置300方位或加速/减速和装置300的溫度 变化。传感器组件314可W包括接近传感器，被配置用来在没有任何的物理接触时检测附近 物体的存在。传感器组件314还可W包括光传感器，如CMOS或CCD图像传感器，用于在成像应 用中使用。在一些实施例中，该传感器组件314还可W包括加速度传感器，巧螺仪传感器，磁 传感器，压力传感器或溫度传感器。
[0176] 通信组件316被配置为便于装置300和其他设备之间有线或无线方式的通信。装置 300可W接入基于通信标准的无线网络，如Wi-FiJG或3G，或它们的组合。在一个示例性实 施例中，通信组件316经由广播信道接收来自外部广播管理系统的广播信号或广播相关信 息。在一个示例性实施例中，通信组件316还包括近场通信(NFC)模块，W促进短程通信。例 如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术， 蓝牙(BT)技术和其他技术来实现。
[0177] 在示例性实施例中，装置300可W被一个或多个应用专用集成电路(ASIC)、数字信 号处理器（DSP)、数字信号处理设备（DSPD)、可编程逻辑器件（PLD)、现场可编程口阵列 (FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述对图像中多边形 进行检测的方法。
[0178] 在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例 如包括指令的存储器304,上述指令可由装置300的处理器318执行W完成上述对图像中多 边形进行检测的方法。例如，非临时性计算机可读存储介质可W是ROM、随机存取存储器 (RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
[0179] 本领域技术人员在考虑说明书及实践运里公开的发明后，将容易想到本公开的其 它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，运些变型、用途或 者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识 或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的 权利要求指出。
[0180] 应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并 且可W在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。
【主权项】
1. 一种对图像中多边形进行检测的方法，其特征在于，应用于智能设备中，所述方法包 括： 对于视频中任意相邻的第i帧图像和第i+ι帧图像，对所述第i帧图像进行特征点检测， 得到所述第i帧图像中特征点的坐标； 对所述第i帧图像中特征点的坐标进行跟踪，得到所述特征点在所述第i+ι帧图像中的 坐标； 根据所述特征点在所述第i帧图像中的坐标以及在所述第i+ι帧图像中的坐标，计算变 换方程中参数的取值，所述变换方程用于根据所述第i帧图像中像素点的坐标计算所述像 素点在所述第i帧图像中的坐标； 利用所述取值对所述变换方程中的所述参数进行赋值，根据赋值后的所述变换方程和 检测出的指定类型多边形的顶点在所述第i帧图像中的坐标，计算所述指定类型多边形的 顶点在所述第i+Ι帧图像中的坐标。2. 根据权利要求1所述的方法，其特征在于，所述方法还包括： 当所述第i帧图像为所述视频中的第一帧图像时，对所述第i帧图像进行指定类型多边 形的检测，获取所述第i帧图像中检测出的指定类型多边形的顶点的坐标。3. 根据权利要求1所述的方法，其特征在于，所述计算所述指定类型多边形的顶点在所 述第i+1帧图像中的坐标之后，所述方法还包括： 根据所述指定类型多边形的顶点在所述第i+Ι帧图像中的坐标，得到所述指定类型多 边形在所述第i+Ι帧图像中的初选边； 对于所述指定类型多边形在所述第i+Ι帧图像中的每条初选边，提取所述初选边所在 的图像块，所述图像块包含所述指定类型多边形的一条初选边； 对于每个图像块，对所述图像块中的图像进行直线检测，获取所述图像块中检测到的 线段以及所述线段对应的端点坐标;确定出所述图像块中的标准线段，将所述标准线段作 为所述指定类型多边形在所述第i+Ι帧图像中的一条优选边； 根据各个图像块所对应的优选边，确定出所述第i+Ι帧图像中的优选指定类型多边形。4. 根据权利要求3所述的方法，其特征在于，所述确定出所述图像块中的标准线段，包 括： 对于所述图像块中检测到的任一条线段，计算所述线段与所述图像块中的初选边的夹 角，筛选出夹角小于预定夹角阈值的线段;将筛选出的线段中长度最长的线段作为所述图 像块中的标准线段。5. 根据权利要3所述的方法，其特征在于，所述确定出所述第i + Ι帧图像中的优选指定 类型多边形之后，所述方法还包括： 计算所述第i+Ι帧图像中所述优选指定类型多边形各个内角的角度；当各个内角中存 在至少一个内角的角度未位于预定角度范围内时，判定所述优选指定类型多边形不符合标 准； 和/或， 计算所述第i+Ι帧图像中所述指定类型多边形的面积，以及所述第i+Ι帧图像中所述优 选指定类型多边形与所述第i+Ι帧图像中所述指定类型多边形的交集面积;计算出所述交 集面积占所述第i+Ι帧图像中所述指定类型多边形的面积的比例；当所述比例未达到预定 比例阈值时，判定所述优选指定类型多边形不符合标准。6. 根据权利要求3至5任一所述的方法，其特征在于，所述方法还包括： 当所述优选指定类型多边形符合标准时，将所述优选指定类型多边形的顶点坐标替换 所述第i+Ι帧图像中所述指定类型多边形的顶点的坐标； 当所述优选指定类型多边形不符合标准时，对所述第i+Ι帧图像进行指定类型多边形 检测，获取所述第i+Ι帧图像中检测出的指定类型多边形的顶点的坐标。7. -种对图像中多边形进行检测的装置，其特征在于，应用于智能设备中，所述装置包 括： 检测模块，被配置为对于视频中任意相邻的第i帧图像和第i+Ι帧图像，对所述第i帧图 像进行特征点检测，得到所述第i帧图像中特征点的坐标； 跟踪模块，被配置为对所述检测模块检测的所述第i帧图像中特征点的坐标进行跟踪， 得到所述特征点在所述第i+Ι帧图像中的坐标； 第一计算模块，被配置为根据所述特征点在所述检测模块检测的所述第i帧图像中的 坐标以及在所述跟踪模块跟踪的所述第i+Ι帧图像中的坐标，计算变换方程中参数的取值， 所述变换方程用于根据所述第i帧图像中像素点的坐标计算所述像素点在所述第i帧图像 中的坐标； 第二计算模块，被配置为利用所述第一计算模块计算的所述取值对所述变换方程中的 所述参数进行赋值，根据赋值后的所述变换方程和检测出的指定类型多边形的顶点在所述 第i帧图像中的坐标，计算所述指定类型多边形的顶点在所述第i+Ι帧图像中的坐标。8. 根据权利要求7所述的装置，其特征在于，所述装置还包括： 第一获取模块，被配置为当所述第i帧图像为所述视频中的第一帧图像时，对所述第i 帧图像进行指定类型多边形的检测，获取所述第i帧图像中检测出的指定类型多边形的顶 点的坐标。9. 根据权利要求7所述的装置，其特征在于，所述装置还包括： 第二获取模块，被配置为所述第二计算模块计算所述指定类型多边形的顶点在所述第 i+Ι帧图像中的坐标之后，根据所述指定类型多边形的顶点在所述第i+Ι帧图像中的坐标， 得到所述指定类型多边形在所述第i+Ι帧图像中的初选边； 提取模块，被配置为对于所述第二获取模块获取的所述指定类型多边形在所述第i+1 帧图像中的每条初选边，提取所述初选边所在的图像块，所述图像块包含所述指定类型多 边形的一条初选边； 第一确定模块，被配置为对于所述提取模块提取的每个图像块，对所述图像块中的图 像进行直线检测，获取所述图像块中检测到的线段以及所述线段对应的端点坐标;确定出 所述图像块中的标准线段，将所述标准线段作为所述指定类型多边形在所述第i+Ι帧图像 中的一条优选边； 第二确定模块，被配置为根据所述第一确定模块确定的各个图像块所对应的优选边， 确定出所述第i+ι帧图像中的优选指定类型多边形。10. 根据权利要求9所述的装置，其特征在于，所述第一确定模块，还被配置为： 对于所述图像块中检测到的任一条线段，计算所述线段与所述图像块中的初选边的夹 角，筛选出夹角小于预定夹角阈值的线段;将筛选出的线段中长度最长的线段作为所述图 像块中的标准线段。11. 根据权利要9所述的装置，其特征在于，所述装置还包括： 第一判定模块，被配置为所述第二确定模块确定出所述第i+Ι帧图像中的优选指定类 型多边形之后，计算所述第i+Ι帧图像中所述优选指定类型多边形各个内角的角度；当各个 内角中存在至少一个内角的角度未位于预定角度范围内时，判定所述优选指定类型多边形 不符合标准； 第二判定模块，被配置为计算所述第i+ι帧图像中所述指定类型多边形的面积，以及所 述第i+Ι帧图像中所述优选指定类型多边形与所述第i+Ι帧图像中所述指定类型多边形的 交集面积;计算出所述交集面积占所述第i+ι帧图像中所述指定类型多边形的面积的比例； 当所述比例未达到预定比例阈值时，判定所述优选指定类型多边形不符合标准。12. 根据权利要求9至11任一所述的装置，其特征在于，所述装置还包括： 替换模块，被配置为当所述第二确定模块确定的所述优选指定类型多边形符合标准 时，将所述优选指定类型多边形的顶点坐标替换所述第i+Ι帧图像中所述指定类型多边形 的顶点的坐标； 第三获取模块，被配置为当所述第二确定模块确定出所述优选指定类型多边形不符合 标准时，对所述第i+ι帧图像进行指定类型多边形检测，获取所述第i+ι帧图像中检测出的 指定类型多边形的顶点的坐标。13. -种对图像中多边形进行检测的装置，其特征在于，应用于智能设备中，所述装置 包括： 处理器； 用于存储所述处理器可执行指令的存储器； 其中，所述处理器被配置为： 对于视频中任意相邻的第i帧图像和第i+ι帧图像，对所述第i帧图像进行特征点检测， 得到所述第i帧图像中特征点的坐标； 对所述第i帧图像中特征点的坐标进行跟踪，得到所述特征点在所述第i+ι帧图像中的 坐标； 根据所述特征点在所述第i帧图像中的坐标以及在所述第i+ι帧图像中的坐标，计算变 换方程中参数的取值，所述变换方程用于根据所述第i帧图像中像素点的坐标计算所述像 素点在所述第i帧图像中的坐标； 利用所述取值对所述变换方程中的所述参数进行赋值，根据赋值后的所述变换方程和 检测出的指定类型多边形的顶点在所述第i帧图像中的坐标，计算所述指定类型多边形的 顶点在所述第i+Ι帧图像中的坐标。
【文档编号】G06T7/60GK105957114SQ201610302826
【公开日】2016年9月21日
【申请日】2016年5月9日
【发明人】杨松, 李明浩, 陈志军
【申请人】北京小米移动软件有限公司