在图像中定位指定信息的方法及装置与流程

本发明涉及互联网领域，具体而言，涉及一种在图像中定位指定信息的方法及装置。

背景技术：

随着互联网进入医疗行业，各类医疗应用程序层出不穷。其中，医疗应用程序往往是通过对用户上传的药品包装、处方单据等图像进行分析、记录，来实现对用户的身体状况进行跟踪的。

在用户上传的处方单据的图像中，往往包含有用户隐私的个人信息。对用户上传的个人信息，如何进行有效的保护，成为目前判断医疗应用程序是否安全的重要因素。

在现有的医疗应用程序中，通常利用边缘检测找到处方单据在图像中的位置，然后再利用文本检测、文字识别等方法，对处方单据内的信息进行定位。

上述现有方法存在着如下问题：

1、由于用户上传的图像背景不同，所以利用边缘检测的方式对处方单据进行定位容易受到背景因素的干扰，从而导致定位准确率的下降。

2、利用边缘检测的方式对处方单据进行定位，容易受到图像内其他内容的干扰，例如：在用户上传的图像中同时包含了药品包装和处方单据等信息，利用边缘检测的方式无法对药品包装和处方单据进行区分，将导致无法对处方单据进行准确定位。

3、利用传统的文本检测、识别方法对处方单据中的处方信息进行定位，需要进行样本标注、模型训练、识别引擎训练等过程。上述过程具有计算效率较低、计算代价大等缺陷，另外，在移动终端中，由于处理能力有限，因此，由于长时间对图像进行处理导致的软件卡顿，将严重影响用户体验。

针对上述由于受图像中背景的影响，造成的无法对图像中的处方信息进行精准定位的问题，目前尚未提出有效的解决方案。

技术实现要素：

本发明实施例提供了一种在图像中定位指定信息的方法及装置，以至少解决由于受图像中背景的影响，造成的无法对图像中的处方信息进行精准定位的技术问题。

根据本发明实施例的一个方面，提供了一种在图像中定位指定信息的方法，包括：获取包含有指定信息的单据图像；利用预先设置的与定位标识信息对应的特征信息与单据图像中的定位标识信息进行匹配，确定在单据图像中定位标识信息的位置信息；根据位置信息和预先设置的相对位置关系，确定指定信息在单据图像中的指定信息区域，其中，所述相对位置关系是指单据图像中的定位标识信息的位置与指定信息的位置关系。

根据本发明实施例的另一方面，还提供了一种在图像中定位指定信息的装置，包括：获取模块，用于获取包含有指定信息的单据图像；匹配模块，用于利用预先设置的与定位标识信息对应的特征信息与单据图像中的定位标识信息进行匹配，确定在单据图像中定位标识信息的位置信息；第一定位模块，用于根据位置信息和预先设置的相对位置关系，确定指定信息在单据图像中的指定信息区域，其中，所述相对位置关系是指单据图像中的定位标识信息的位置与指定信息的位置关系。

可选地，所述装置还包括：识别模块，用于识别所述单据图像中位于所述指定信息中的框体；确定模块，用于根据所述框体在所述单据图像中的位置，确定在所述单据图像中的所述指定信息与所述单据图像的水平轴坐标或垂直轴坐标的夹角角度值；修正模块，用于根据所述夹角角度值对所述单据图像进行修正处理。

可选地，所述装置还包括：第一处理模块，用于对所述单据图像进行预处理，得到经过预处理后的单据图像。

可选地，所述第一处理模块包括：第一子提取模块，用于按照黑色通道提取所述单据图像中各像素点对应的颜色特征值；子处理模块，用于基于与所述各像素点对应的所述颜色特征值，对单据图像进行二值化处理，生成经过预处理后的单据图像。

可选地，所述识别模块包括：子识别模块，用于利用霍夫变换算法，识别得到在所述单据图像中的直线线段；第一子确定模块，用于根据所述直线线段的长度值和角度值，确定所述指定信息中的所述框体在所述单据图像中的位置信息。

可选地，所述第一定位模块包括：第一子获取模块，用于获取预先设置的所述相对位置关系；第二子获取模块，用于获取所述定位标识信息在所述单据图像中的第一区域面积；第二子确定模块，用于根据所述第一区域面积，确定所述指定信息在所述单据图像中的第二区域面积；子定位模块，用于根据所述相对位置关系和所述第二区域面积，确定所述指定信息在所述单据图像中的指定信息区域。

可选地，所述获取模块包括：第三子获取模块，用于获取原始图像；第二子提取模块，用于按照颜色通道对所述原始图像进行特征提取，得到与所述原始图像对应的特征向量，其中，所述颜色通道至少包括：红色通道、绿色通道、蓝色通道；子判断模块，用于根据与所述原始图像对应的特征向量，利用神经网络模型对所述原始图像进行判断；其中，当所述原始图像中包含所述指定信息时，确定所述原始图像为所述单据图像；当所述原始图像中不包含所述指定信息时，确定所述原始图像为非单据图像。

可选地，所述获取模块还包括：第三子提取模块，用于按照预先设置的提取比例对所述原始图像的中心位置进行提取，得到用于进行特征提取的图像。

可选地，所述获取模块还包括：第一子缩放模块，用于当所述原始图像为包含有所述指定信息的所述单据图像时，按照预先设置的第一缩放比例对所述单据图像进行缩放处理；第二子缩放模块，用于当所述原始图像为不包含有所述指定信息的所述非单据图像时，按照预先设置的第二缩放比例对所述非单据图像进行缩放处理。

可选地，所述装置还包括：第二定位模块，用于根据所述指定信息区域，确定在所述单据图像中的非指定信息区域；第二处理模块，用于对所述非指定信息区域进行处理，得到处理后的单据图像，其中所述处理的方式至少包括如下任意一种或多种方式：二值化处理、剪切处理、模糊处理、遮盖处理。

在本发明实施例中，采用获取包含有指定信息的单据图像；利用预先设置的与定位标识信息对应的特征信息与单据图像中的定位标识信息进行匹配，确定在单据图像中定位标识信息的位置信息；根据位置信息和预先设置的相对位置关系，确定指定信息在单据图像中的指定信息区域的方式，通过获取模块，用于获取包含有指定信息的单据图像；匹配模块，用于利用预先设置的与定位标识信息对应的特征信息与单据图像中的定位标识信息进行匹配，确定在单据图像中定位标识信息的位置信息；第一定位模块，用于根据位置信息和预先设置的相对位置关系，确定指定信息在单据图像中的指定信息区域。达到了提高对图像中的指定信息进行定位的准确率的目的，从而实现了通过对图像中的框体进行识别对指定信息进行精确定位的技术效果，进而解决了由于受图像中背景的影响，造成的无法对图像中的处方信息进行精准定位的技术问题。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是根据本发明实施例的一种在图像中定位指定信息的方法的终端硬件结构框图；

图2是根据本发明实施例的一种在图像中定位指定信息的方法的流程示意图；

图3(a)是根据本发明实施例的一种可选的在图像中定位指定信息的方法的流程示意图；

图3(b)是根据本发明实施例的另一种可选的在图像中定位指定信息的方法的流程示意图；

图4是根据本发明实施例的一种在图像中定位指定信息的装置的示意图；

图5是根据本发明实施例的一种可选的在图像中定位指定信息的装置的示意图；

图6是根据本发明实施例的一种可选的在图像中定位指定信息的装置的示意图；以及

图7是根据本发明实施例的一种可选的在图像中定位指定信息的装置的示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

实施例1

根据本发明实施例，还提供了一种在图像中定位指定信息的方法实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

本申请实施例一所提供的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。以运行在计算机终端上为例，图1是本发明实施例的一种在图像中定位指定信息的方法的计算机终端的硬件结构框图。如图1所示，计算机终端10可以包括一个或多个(图中仅示出一个)处理器102(处理器102可以包括但不限于微处理器mcu或可编程逻辑器件fpga等的处理装置)、用于存储数据的存储器104、以及用于通信功能的传输模块106。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述电子装置的结构造成限定。例如，计算机终端10还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。

存储器104可用于存储应用软件的软件程序以及模块，如本发明实施例中的在图像中定位指定信息的方法对应的程序指令/模块，处理器102通过运行存储在存储器104内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的在图像中定位指定信息的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至计算机终端10。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

传输装置106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括计算机终端10的通信供应商提供的无线网络。在一个实例中，传输装置106包括一个网络适配器(networkinterfacecontroller，nic)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输装置106可以为射频(radiofrequency，rf)模块，其用于通过无线方式与互联网进行通讯。

在上述运行环境下，本申请提供了如图2所示的在图像中定位指定信息的方法，包括如下步骤。

步骤s22，获取包含有指定信息的单据图像。

本实施例中，指定信息可以是指处方信息、药品信息等，单据图像可以是指处方图像、药品图像等。

具体的，获取到的单据图像，通常是由用户通过相机拍照得到的包含有指定信息的图像。因此，在单据图像中，通常除了包含有指定信息之外，还经常包含有在拍照时拍照背景中的内容。以单据图像为处方图像为例，由医生开具的处方文件，通常由各医疗机构按照国家规定的格式统一印刷的纸质文件。这些处方文件通常根据处方类型的不同，采用不同颜色的印刷用纸进行印刷。例如，麻醉药品处方采用淡红色纸张印刷，急诊处方采用淡黄色纸张印刷，儿科处方采用淡绿色纸张印刷，普通处方采用白色纸张印刷等。虽然印刷所使用的纸张颜色不同，但是都是使用黑色油墨进行印制的，并且具有标准的印刷格式。

步骤s24，利用预先设置的与定位标识信息对应的特征信息与单据图像中的定位标识信息进行匹配，确定在单据图像中定位标识信息的位置信息。

具体的，在按照国家规定的格式统一印刷的处方中，统一在指定信息的处方正方开头处，印制“r”或“rp”标识，以对处方正方的开始位置进行标识。

因此，在步骤s24中，将预先设置的用于对指定信息进行定位的特征信息，与单据图像中的定位标识信息进行匹配，从而确定与特征信息匹配的定位标识信息在单据图像中的位置信息。

步骤s26，根据位置信息和预先设置的相对位置关系，确定指定信息在单据图像中的指定信息区域。

具体的，相对位置关系是指单据图像中的定位标识信息的位置与指定信息的位置关系，在处方中的定位标识信息的位置与指定信息的位置关系是固定的，并可以预先对其进行设置。因此，在步骤s26中，可以通过获取预先设置的位置关系和定位标识信息的位置信息，确定指定信息在单据图像中的指定信息区域。

在现有技术中，利用传统的文本检测、识别方法对处方文件中的指定信息进行定位，需要进行样本标注、模型训练、识别引擎训练等复杂的过程。并且，上述过程具有计算效率较低、计算代价大等缺陷。另外，在移动终端中，由于处理能力有限，因此，长时间对图像进行处理导致的软件卡顿，将严重影响用户体验。

通过上述步骤s22至步骤s26，首先通过对定位标识信息进行识别，确定定位标识信息在单据图像中的位置信息。然后，根据位置信息和预先设置的相对位置关系，即可确定指定信息在单据图像中的指定信息区域。达到了提高对图像中的指定信息进行定位的准确率的目的，从而实现了通过对图像中的框体进行识别对指定信息进行精确定位的技术效果，进而解决了由于受图像中背景的影响，造成的无法对图像中的处方信息进行精准定位的技术问题。

作为一种可选的实施方式，如图3(a)所示，在步骤s22获取包含有指定信息的单据图像之后，上述方法还可以包括：

步骤s231，识别单据图像中位于指定信息中的框体。

具体的，在这些按照国家规定的格式统一印刷的处方中，除了包含必要的文字以外，还有用于对处方中各个部分进行划分的框体。因此，在步骤s231中，可以通过识别预处理单据图像中的框体，从而对单据图像中的指定信息的具体位置进行确定。

在现有技术中，通常使用边缘检测的方法对指定信息进行识别。由于在用户上传的单据图像中，因为拍摄时的图像背景不同，所以在利用边缘检测的方式对处方文件进行定位时容易受到背景因素的干扰，从而导致定位准确率的下降。并且，利用边缘检测的方式对处方文件进行定位，还容易受到图像内其他内容的干扰，例如：在用户上传的单据图像中的药品包装等信息，利用边缘检测的方式无法对药品包装和处方单据进行区分，将导致无法对处方单据进行准确定位。通过上述步骤s23中直接对单据图像中的指定信息中的框体进行识别，从而避免了因背景因素的干扰而导致定位准确率的下降的问题。

步骤s233，根据框体在单据图像中的位置，确定在单据图像中的指定信息与单据图像的水平轴坐标或垂直轴坐标的夹角角度值。

具体的，在这些按照国家规定的格式统一印刷的处方中，框体与纸张的边缘是平行的。但是，在通过相机拍照得到的单据图像中，指定信息的边缘与单据图像的边缘并不能保证平行，因此需要对指定信息在单据图像中与单据图像的边缘之间的夹角角度值进行确定。

在步骤s233中，通过对步骤s231中识别得到的框体在预处理单据图像中的位置，确定得到框体与预处理单据图像边缘的夹角，从而进一步确定在单据图像中的指定信息与单据图像的夹角角度值。

步骤s235，根据夹角角度值对单据图像进行修正处理。

具体的，在步骤s235中，根据确定得到的夹角角度值对单据图像进行旋转处理，得到指定信息的边缘与图像边缘平行的单据图像。

通过上述步骤s233至步骤s235，首先，对获取到的单据图像所包含的指定信息中的框体进行识别，从而确定指定信息在单据图像中的具体位置。同时，通过指定信息中的框体与单据图像之间所呈的夹角角度，确定指定信息整体与单据图像之间的夹角角度值。然后，根据夹角角度值对单据图像进行旋转处理，得到指定信息的边缘与图像边缘平行的单据图像。从而，可以进一步的通过步骤s24至步骤s26确定单据图像中的定位标识信息在单据图像中的位置信息，进而对指定信息中的正文部分的位置进行确定。进一步的达到了提高对图像中的指定信息进行定位的准确率的目的，并且实现了通过对图像中的框体进行识别对指定信息进行精确定位的技术效果。

作为一种可选的实施方式，在步骤s231识别单据图像中位于指定信息中的框体之前，方法还包括：

步骤s230，对单据图像进行预处理，得到经过预处理后的单据图像。

具体的，在步骤s230中，通过对包含有指定信息的单据图像进行预处理，从而去除纸张颜色和拍照背景对图像中的指定信息进行识别的影响。

作为一种可选的实施方式，步骤s230对单据图像进行预处理，得到经过预处理后的单据图像中，可以包括：

步骤s2301，按照黑色通道提取单据图像中各像素点对应的颜色特征值。

步骤s2303，基于与各像素点对应的颜色特征值，对单据图像进行二值化处理，生成经过预处理后的单据图像。

具体的，在通常情况下，处方都是使用黑色油墨进行印刷的。因此可以通过步骤s2301至步骤s2303，按照黑色通道对单据图像进行特征值提取处理，从而提取得到单据图像中各像素点对应的颜色特征值。并且，基于与各像素点对应的颜色特征值做直方图统计。以预先设置的阈值为界，根据统计值与对单据图像进行二值化处理，从而得到预处理单据图像。

在实际应用当中，通过基于黑色通道的图片二值化处理方法对单据图像进行颜色特征值的提取。基于黑色通道的图片二值化处理方法，具体描述如下：

black(x,y)＝max(r(x,y),g(x,y),b(x,y))；

其中，black(x,y)用于表征坐标为(x、y)的像素点对应的基于黑色通道进行提取得到的颜色特征值，r、g、b分别为坐标为(x、y)的像素点对应的颜色通道红色、绿色、蓝色的颜色值。

根据单据图像中各个像素点的黑色通道的颜色特征值做直方图统计，以颜色特征值中最低的20％的像素点作为分界，对单据图像进行二值化处理。其中，在二值化处理中，用于对分界的值可以为根据多次试验数据，确定得到的判断阈值。

作为一种可选的实施方式，在步骤s231识别单据图像中位于指定信息中的框体中，包括：

步骤s2311，利用霍夫变换算法，识别得到在单据图像中的直线线段。

步骤s2313，根据直线线段的长度值和角度值，确定指定信息中的框体在单据图像中的位置信息。

具体的，通过上述步骤s2311至步骤s2313，利用霍夫变换算法，对预处理单据图像进行处理，确定预处理图像中的直线线段。并根据直线线段确定得到指定信息在预处理单据图像中的位置信息，其中，在位置信息中至少可以包括：指定信息与单据图像边缘所呈的角度值、指定信息在单据图像中的位置。

在上述步骤s2311中，可以利用霍夫变换算法对在极坐标区域的高斯窗进行卷积运算，通过提取粗直线的方法能够滤除单据图像中边缘直线对于直线检测的干扰，并提高检测精度。

在实际应用当中，霍夫变换(houghtransform)算法是图像处理中的一种特征提取技术，它通过一种投票算法检测具有特定形状的物体。该过程在一个参数空间中通过计算累计结果的局部最大值得到一个符合该特定形状的集合作为霍夫变换结果。

因此，在对图像中的直线进行检测时，通过预处理单据图像中的每个像素点(x1,y1)的直线方程可以表示为：

其中，角度θ的选取区间为-90°至90°，步长为1°。

进一步的，坐标点到直线的距离为r，利用霍夫变换得到以r和θ为坐标的坐标系。利用高斯窗函数对霍夫变换域中的像素进行卷积运算，选取卷积值大于阈值的像素点，在进行霍夫反变换后，得到需要检测的直线。

在得到的直线中，统计角度θ的直方图，选取角度θ出现次数最多的一组直线的方向作为指定信息在单据图像中的方向。进而可以根据确定的角度θ对单据图像进行旋转，得到单据图像。

作为一种可选的实施方式，在步骤s26根据位置信息和预先设置的相对位置关系，确定指定信息在单据图像中的指定信息区域中，可以包括：

步骤s261，获取预先设置的相对位置关系。

步骤s263，获取定位标识信息在单据图像中的第一区域面积。

步骤s265，根据第一区域面积，确定指定信息在单据图像中的第二区域面积。

步骤s267，根据相对位置关系和第二区域面积，确定指定信息在单据图像中的指定信息区域。

具体的，可以通过步骤s261至步骤s267，对单据图像中指定信息中的具有一致性的标识作为用于定位的定位标识。通过确定该定位标识在图像中的位置，以及大小，从而确定指定信息在单据图像中的指定信息区域。其中，可以根据预先设置的特征信息与单据图像中的定位标识信息的比例大小，计算得出与单据图像对应的实际位置关系。进一步的，根据实际位置关系，确定指定信息在单据图像中的指定信息区域。

在实际应用当中，通常在处方正方的左上角印制“r”和“rp”标识，因此“r”和“rp”在处方中具有一致性。并且，“r”和“rp”标识的大小和位置关系存在对应关系。因此，可以预先利用支持向量机svm(supportvectormachine)，对定位模型进行训练，使定位模型可以根据处方正方上的“r”和“rp”标识，定位处方正方在图像中的位置。

作为一种可选的实施方式，上述步骤s261至步骤s267所涉及的方法，既可以运行于服务器端，也可以运行于手机客户端中，还可以部分运行于客户端中另一部分运行于服务器端，此处不对具体的执行主体进行限制。

作为一种可选的实施方式，步骤s22获取包含有指定信息的单据图像中，可以包括：

步骤s221，获取原始图像。

步骤s223，按照颜色通道对原始图像进行特征提取，得到与原始图像对应的特征向量，其中，颜色通道至少包括：红色通道、绿色通道、蓝色通道。

步骤s225，根据与原始图像对应的特征向量，利用神经网络模型对原始图像进行判断；其中，

当原始图像中包含指定信息时，确定原始图像为单据图像；

当原始图像中不包含指定信息时，确定原始图像为非单据图像。

具体的，通过步骤s221至步骤s225，获取到原始图像后，可以依次按照各个颜色通道对原始图像进行特征向量的提取。利用神经网络模型，根据提取得到的特征向量对原始图像中是否包含有指定信息进行判断。

作为一种可选的实施方式，对原始图像进行特征提取的方法至少包括：颜色直方图特征提取和梯度方向直方图特征提取。

在实际应用当中，可以首先按照颜色通道对图像颜色直方图进行特征提取，其中，r、g、b分别对应着图像的红色、绿色、蓝色三个颜色通道，将像素颜色值256进行16等分，每一等分共包含16个像素颜色值，即：

n→{0,1,...,15}；

r[n]→{16×n,16×n+1,..,16×n+15}，

g[n]→{16×n,16×n+1,..,16×n+15}，

b[n]→{16×n,16×n+1,..,16×n+15}，

其中，r[0]为对像素颜色值分割的份数，r[n]、g[n]、b[n]则为与颜色通道对应的特征值。

遍历图像中每一个像素的三个颜色通道的像素颜色值，满足以下条件：

ifir(x,y)∈r[n]r[n]++；

ifig(x,y)∈g[n]g[n]++；

ifib(x,y)∈b[n]b[n]++；

其中，ir(x,y)、ig(x,y)、ib(x,y)为(x,y)对应像素位置的红、绿、蓝像素颜色值。

然后，对图片颜色信息的熵特征进行提取，具体描述如下：

其中，hr、hg、hb为图片颜色信息熵特征，

进一步的，还可以对单据图像的梯度方向直方图特征进行提取，具体描述如下：

dx(x,y)＝p(x+1,y)-p(x,y)；

dy(x,y)＝p(x,y+1)-p(x,y)；

其中，p(x,y)为对应位置的灰度的像素值，dx为对应像素位置的x方向梯度，dy为对应像素位置的y方向梯度。

梯度大小直方图特征值gv(x,y)的计算公式为：

在对直方图特征值进行提取后，可以将提取得到的特征向量输入通过三层bp神经网络生成的预测模型进行判断，高于分类器阈值的判断为包含有指定信息的单据图像，否则判定为非单据图像。

作为一种可选的实施方式，在步骤s221获取原始图像之后，步骤s22还包括：

步骤s222，按照预先设置的提取比例对原始图像的中心位置进行提取，得到用于进行特征提取的图像。

具体的，通过步骤s222，将获取到的原始图像，按照原始图像的60％长度以及60％的宽度对原始图像中心部分进行截取，得到用于进行特征提取的图像信息。通过截取处理，可以提高对原始图像的处理速度。

作为一种可选的实施方式，在步骤225根据与原始图像对应的特征向量，利用神经网络模型对原始图像进行判断之后，还包括：

步骤s227，当原始图像为包含有指定信息的单据图像时，按照预先设置的第一缩放比例对单据图像进行缩放处理；

步骤s229，当原始图像为不包含有指定信息的非单据图像时，按照预先设置的第二缩放比例对非单据图像进行缩放处理。

具体的，为了提升服务器的处理速度，节省处理资源、存储资源和网络资源。可以预先对原始图像进行压缩后再进行处理。由于，缩放处理虽然可以降低图像的像素数量，但是会使图像细节丢失，并且缩放处理对于图片是一种不可逆处理方式。因此，可以对于不同的图片采用不同的缩放和压缩比例进行传输。当图像为包含有指定信息的单据图像时，在优先保证图片质量的前提下，进行较小比例的缩放；当图像为不包含有指定信息的非单据图像时，可以在对图像进行归一化处理后，在进行压缩。

作为一种可选的实施方式，在步骤s26根据位置信息和预先设置的相对位置关系，确定指定信息在单据图像中的指定信息区域之后，方法还包括：

步骤s28，根据指定信息区域，确定在单据图像中的非指定信息区域。

步骤s29，对非指定信息区域进行处理，得到处理后的单据图像，其中处理的方式至少包括如下任意一种或多种方式：二值化处理、剪切处理、模糊处理、遮盖处理。

具体的，通过上述步骤s28至步骤s29，根据确定的指定信息在单据图像中的指定信息区域，对单据图像中非指定信息的区域进行处理，从而达到对用户隐私信息进行保护的目的。

在实际应用当中，通过剪切处理、模糊处理、遮盖处理等手段，使他人无法获取到非处方区域中的内容。

作为一种可选的实施方式，以通过手机客户端获取图像，服务器端对图像中的指定信息进行定位的方式的医疗应用为例，进行说明。在医疗处方中通常包含用户诸多敏感信息，利用下列方法在提取指定信息的同时，还可以起到对隐私信息的保护，具体步骤如下：

步骤s1，手机客户端对通过摄像头获取原始图片中是否包含指定信息进行检测，确定原始图像是单据图像还是非单据图像。

步骤s2，手机客户端确定类型后的图像进行压缩，并上传至服务器端。

步骤s3，服务器端利用本实施例中的在图像中定位指定信息的方法，对单据图像中的指定信息进行精确定位。

步骤s4，服务器端对单据图像中非指定信息区域进行隐私保护处理。

本申请上述实施例提供的一种可选方案中，如图4(b)所示，本申请实施例的在图像中定位指定信息的方法可以包括以下步骤：

步骤a，用户通过手机终端拍照得到的包含有指定信息的单据图像。

其中，指定信息可以是指处方信息，单据图像可以是指处方图像。

步骤b，服务器从手机终端获取包含有指定信息的单据图像。

步骤c，利用预先设置的与定位标识信息对应的特征信息与单据图像中的定位标识信息进行匹配，确定在单据图像中定位标识信息的位置信息。

步骤d，根据位置信息和预先设置的相对位置关系，确定指定信息在单据图像中的指定信息区域。

其中，相对位置关系是指单据图像中的定位标识信息的位置与指定信息的位置关系，在处方中的定位标识信息的位置与指定信息的位置关系是固定的，并可以预先对其进行设置。

步骤e，服务器端对单据图像中非指定信息区域进行隐私保护处理。

需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如rom/ram、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

实施例2

根据本发明实施例，还提供了一种用于实施上述在图像中定位指定信息的方法的在图像中定位指定信息的装置，如图4所示，该装置包括：获取模块22、匹配模块24和第一定位模块26。

其中，获取模块22，用于获取包含有指定信息的单据图像；匹配模块24，用于利用预先设置的与定位标识信息对应的特征信息与单据图像中的定位标识信息进行匹配，确定在单据图像中定位标识信息的位置信息；第一定位模块26，用于根据位置信息和预先设置的相对位置关系，确定指定信息在单据图像中的指定信息区域，其中，所述相对位置关系是指单据图像中的定位标识信息的位置与指定信息的位置关系。

在现有技术中，利用传统的文本检测、识别方法对处方文件中的指定信息进行定位，需要进行样本标注、模型训练、识别引擎训练等复杂的过程。并且，上述过程具有计算效率较低、计算代价大等缺陷。另外，在移动终端中，由于处理能力有限，因此，长时间对图像进行处理导致的软件卡顿，将严重影响用户体验。

通过上述获取模块22、匹配模块24和第一定位模块26，首先通过对定位标识信息进行识别，确定定位标识信息在单据图像中的位置信息。然后，根据位置信息和预先设置的相对位置关系，即可确定指定信息在单据图像中的指定信息区域。达到了提高对图像中的指定信息进行定位的准确率的目的，从而实现了通过对图像中的框体进行识别对指定信息进行精确定位的技术效果，进而解决了由于受图像中背景的影响，造成的无法对图像中的处方信息进行精准定位的技术问题。

作为一种可选的实施方式，如图5所示，上述装置还包括：识别模块231、确定模块233和修正模块235。

其中，识别模块231，用于识别单据图像中位于指定信息中的框体；确定模块233，用于根据框体在单据图像中的位置，确定在单据图像中的指定信息与单据图像的水平轴坐标或垂直轴坐标的夹角角度值；修正模块235，用于根据夹角角度值对单据图像进行修正处理。

通过上述识别模块231、确定模块233和修正模块235，首先，对获取到的单据图像所包含的指定信息中的框体进行识别，从而确定指定信息在单据图像中的具体位置。同时，通过指定信息中的框体与单据图像之间所呈的夹角角度，确定指定信息整体与单据图像之间的夹角角度值。然后，根据夹角角度值对单据图像进行旋转处理，得到指定信息的边缘与图像边缘平行的单据图像。从而，可以进一步的通过上述获取模块22、匹配模块24和第一定位模块26确定单据图像中的定位标识信息在单据图像中的位置信息，进而对指定信息中的正文部分的位置进行确定。进一步的达到了提高对图像中的指定信息进行定位的准确率的目的，并且实现了通过对图像中的框体进行识别对指定信息进行精确定位的技术效果。

作为一种可选的实施方式，如图6所示，上述装置还可以包括：第一处理模块230。其中，第一处理模块230，用于对单据图像进行预处理，得到经过预处理后的单据图像。

具体的，第一处理模块230通过对包含有指定信息的单据图像进行预处理，从而去除纸张颜色和拍照背景对图像中的指定信息进行识别的影响。

作为一种可选的实施方式，上述第一处理模块230中，可以包括：第一子提取模块2301和子处理模块2303。

其中，第一子提取模块2301，用于按照黑色通道提取单据图像中各像素点对应的颜色特征值；子处理模块2303，用于基于与各像素点对应的颜色特征值，对单据图像进行二值化处理，生成经过预处理后的单据图像。

具体的，在通常情况下，处方都是使用黑色油墨进行印刷的。因此可以通过上述第一子提取模块2301和子处理模块2303，按照黑色通道对单据图像进行特征值提取处理，从而提取得到单据图像中各像素点对应的颜色特征值。并且，基于与各像素点对应的颜色特征值做直方图统计。以预先设置的阈值为界，根据统计值与对单据图像进行二值化处理，从而得到预处理单据图像。

作为一种可选的实施方式，上述识别模块231，可以包括：子识别模块2311和第一子确定模块2313。

其中，子识别模块2311，用于利用霍夫变换算法，识别得到在单据图像中的直线线段；第一子确定模块2313，用于根据直线线段的长度值和角度值，确定指定信息中的框体在单据图像中的位置信息。

具体的，通过上述子识别模块2311和第一子确定模块2313，利用霍夫变换算法，对预处理单据图像进行处理，确定预处理图像中的直线线段。并根据直线线段确定得到指定信息在预处理单据图像中的位置信息，其中，在位置信息中至少可以包括：指定信息与单据图像边缘所呈的角度值、指定信息在单据图像中的位置。

作为一种可选的实施方式，上述第一定位模块26，可以包括：第一子获取模块261、第二子获取模块263、第二子确定模块265和子定位模块267。

其中，第一子获取模块261，用于获取预先设置的相对位置关系；第二子获取模块263，用于获取定位标识信息在单据图像中的第一区域面积；第二子确定模块265，用于根据第一区域面积，确定指定信息在单据图像中的第二区域面积；子定位模块267，用于根据相对位置关系和第二区域面积，确定指定信息在单据图像中的指定信息区域。

具体的，可以通过上述第一子获取模块261、第二子获取模块263、第二子确定模块265和子定位模块267，对单据图像中指定信息中的具有一致性的标识作为用于定位的定位标识。通过确定该定位标识在图像中的位置，以及大小，从而确定指定信息在单据图像中的指定信息区域。其中，可以根据预先设置的特征信息与单据图像中的定位标识信息的比例大小，计算得出与单据图像对应的实际位置关系。进一步的，根据实际位置关系，确定指定信息在单据图像中的指定信息区域。

作为一种可选的实施方式，上述第一子获取模块261、第二子获取模块263、第二子确定模块265和子定位模块267，既可以运行于服务器端，也可以运行于手机客户端中，还可以部分运行于客户端中另一部分运行于服务器端，此处不对具体的执行主体进行限制。

作为一种可选的实施方式，获取模块22中，可以包括：第三子获取模块221、第二子提取模块223和子判断模块225。

其中，第三子获取模块221，用于获取原始图像；第二子提取模块223，用于按照颜色通道对原始图像进行特征提取，得到与原始图像对应的特征向量，其中，颜色通道至少包括：红色通道、绿色通道、蓝色通道；子判断模块225，用于根据与原始图像对应的特征向量，利用神经网络模型对原始图像进行判断；其中，当原始图像中包含指定信息时，确定原始图像为单据图像；当原始图像中不包含指定信息时，确定原始图像为非单据图像。

具体的，通过上述第三子获取模块221、第二子提取模块223和子判断模块225，获取到原始图像后，可以依次按照各个颜色通道对原始图像进行特征向量的提取。利用神经网络模型，根据提取得到的特征向量对原始图像中是否包含有指定信息进行判断。

作为一种可选的实施方式，对原始图像进行特征提取的方法至少包括：颜色直方图特征提取和梯度方向直方图特征提取。

作为一种可选的实施方式，上述获取模块还22，可以包括：第三子提取模块222。其中，第三子提取模块222，用于按照预先设置的提取比例对原始图像的中心位置进行提取，得到用于进行特征提取的图像。

具体的，通过上述第三子提取模块222，将获取到的原始图像，按照原始图像的60％长度以及60％的宽度对原始图像中心部分进行截取，得到用于进行特征提取的图像信息。通过截取处理，可以提高对原始图像的处理速度。

作为一种可选的实施方式，上述获取模块22，还可以包括：第一子缩放模块227和第二子缩放模块229。

其中，第一子缩放模块227，用于当原始图像为包含有指定信息的单据图像时，按照预先设置的第一缩放比例对单据图像进行缩放处理；第二子缩放模块229，用于当原始图像为不包含有指定信息的非单据图像时，按照预先设置的第二缩放比例对非单据图像进行缩放处理。

具体的，为了提升服务器的处理速度，节省处理资源、存储资源和网络资源。可以预先对原始图像进行压缩后再进行处理。由于，缩放处理虽然可以降低图像的像素数量，但是会使图像细节丢失，并且缩放处理对于图片是一种不可逆处理方式。因此，可以对于不同的图片采用不同的缩放和压缩比例进行传输。当图像为包含有指定信息的单据图像时，在优先保证图片质量的前提下，进行较小比例的缩放；当图像为不包含有指定信息的非单据图像时，可以在对图像进行归一化处理后，在进行压缩。

作为一种可选的实施方式，如图7所示，上述装置还可以包括：第二定位模块28和第二处理模块29。

其中，第二定位模块28，用于根据指定信息区域，确定在单据图像中的非指定信息区域；第二处理模块29，用于对非指定信息区域进行处理，得到处理后的单据图像，其中处理的方式至少包括如下任意一种或多种方式：二值化处理、剪切处理、模糊处理、遮盖处理。

具体的，通过上述第二定位模块28和第二处理模块29，根据确定的指定信息在单据图像中的指定信息区域，对单据图像中非指定信息的区域进行处理，从而达到对用户隐私信息进行保护的目的。

在实际应用当中，通过剪切处理、模糊处理、遮盖处理等手段，使他人无法获取到非处方区域中的内容。

实施例3

本发明的实施例可以提供一种计算机终端，该计算机终端可以是计算机终端群中的任意一个计算机终端设备。可选地，在本实施例中，上述计算机终端也可以替换为移动终端等终端设备。

可选地，在本实施例中，上述计算机终端可以位于计算机网络的多个网络设备中的至少一个网络设备。

在本实施例中，上述计算机终端可以执行在图像中定位指定信息的方法中以下步骤的程序代码：获取包含有指定信息的单据图像；利用预先设置的与定位标识信息对应的特征信息与单据图像中的定位标识信息进行匹配，确定在单据图像中定位标识信息的位置信息；根据位置信息和预先设置的相对位置关系，确定指定信息在单据图像中的指定信息区域，其中，所述相对位置关系是指单据图像中的定位标识信息的位置与指定信息的位置关系。

其中，存储器可用于存储软件程序以及模块，如本发明实施例中的在图像中定位指定信息的方法和装置对应的程序指令/模块，处理器通过运行存储在存储器内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的系统漏洞攻击的检测方法。存储器可包括高速随机存储器，还可以包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器可进一步包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至终端a。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

处理器可以通过传输装置调用存储器存储的信息及应用程序，以执行下述步骤：获取包含有指定信息的单据图像；利用预先设置的与定位标识信息对应的特征信息与单据图像中的定位标识信息进行匹配，确定在单据图像中定位标识信息的位置信息；根据位置信息和预先设置的相对位置关系，确定指定信息在单据图像中的指定信息区域。

可选的，上述处理器还可以执行如下步骤的程序代码：识别单据图像中位于指定信息中的框体；根据框体在单据图像中的位置，确定在单据图像中的指定信息与单据图像的水平轴坐标或垂直轴坐标的夹角角度值；根据夹角角度值对单据图像进行修正处理。

可选的，上述处理器还可以执行如下步骤的程序代码：对单据图像进行预处理，得到经过预处理后的单据图像。可选的，按照黑色通道提取单据图像中各像素点对应的颜色特征值；基于与各像素点对应的颜色特征值，对单据图像进行二值化处理，生成经过预处理后的单据图像。

可选的，上述处理器还可以执行如下步骤的程序代码：利用霍夫变换算法，识别得到在单据图像中的直线线段；根据直线线段的长度值和角度值，确定指定信息中的框体在单据图像中的位置信息。

可选的，上述处理器还可以执行如下步骤的程序代码：获取预先设置的相对位置关系；获取定位标识信息在单据图像中的第一区域面积；根据第一区域面积，确定指定信息在单据图像中的第二区域面积；根据相对位置关系和第二区域面积，确定指定信息在单据图像中的指定信息区域。

可选的，上述处理器还可以执行如下步骤的程序代码：获取原始图像；按照颜色通道对原始图像进行特征提取，得到与原始图像对应的特征向量，其中，颜色通道至少包括：红色通道、绿色通道、蓝色通道；根据与原始图像对应的特征向量，利用神经网络模型对原始图像进行判断；其中，当原始图像中包含指定信息时，确定原始图像为单据图像；当原始图像中不包含指定信息时，确定原始图像为非单据图像。

可选的，上述处理器还可以执行如下步骤的程序代码：按照预先设置的提取比例对原始图像的中心位置进行提取，得到用于进行特征提取的图像。

可选的，上述处理器还可以执行如下步骤的程序代码：当原始图像为包含有指定信息的单据图像时，按照预先设置的第一缩放比例对单据图像进行缩放处理；当原始图像为不包含有指定信息的非单据图像时，按照预先设置的第二缩放比例对非单据图像进行缩放处理。

可选的，上述处理器还可以执行如下步骤的程序代码：根据指定信息区域，确定在单据图像中的非指定信息区域；对非指定信息区域进行处理，得到处理后的单据图像，其中处理的方式至少包括如下任意一种或多种方式：二值化处理、剪切处理、模糊处理、遮盖处理。

本领域普通技术人员可以理解，计算机终端也可以是智能手机(如android手机、ios手机等)、平板电脑、掌声电脑以及移动互联网设备(mobileinternetdevices，mid)、pad等终端设备，并不对上述电子装置的结构造成限定。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令终端设备相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：闪存盘、只读存储器(read-onlymemory，rom)、随机存取器(randomaccessmemory，ram)、磁盘或光盘等。

实施例4

本发明的实施例还提供了一种存储介质。可选地，在本实施例中，上述存储介质可以用于保存上述实施例一所提供的在图像中定位指定信息的方法所执行的程序代码。

可选地，在本实施例中，上述存储介质可以位于计算机网络中计算机终端群中的任意一个计算机终端中，或者位于移动终端群中的任意一个移动终端中。

可选地，在本实施例中，存储介质被设置为存储用于执行以下步骤的程序代码：获取包含有指定信息的单据图像；利用预先设置的与定位标识信息对应的特征信息与单据图像中的定位标识信息进行匹配，确定在单据图像中定位标识信息的位置信息；根据位置信息和预先设置的相对位置关系，确定指定信息在单据图像中的指定信息区域，其中，所述相对位置关系是指单据图像中的定位标识信息的位置与指定信息的位置关系。

可选的，上述存储介质还可以被设置为存储用于执行如下步骤的程序代码：识别单据图像中位于指定信息中的框体；根据框体在单据图像中的位置，确定在单据图像中的指定信息与单据图像的水平轴坐标或垂直轴坐标的夹角角度值；根据夹角角度值对单据图像进行修正处理。

可选的，上述存储介质还可以被设置为存储用于执行如下步骤的程序代码：对单据图像进行预处理，得到经过预处理后的单据图像。可选的，按照黑色通道提取单据图像中各像素点对应的颜色特征值；基于与各像素点对应的颜色特征值，对单据图像进行二值化处理，生成经过预处理后的单据图像。

可选的，上述存储介质还可以被设置为存储用于执行如下步骤的程序代码：利用霍夫变换算法，识别得到在单据图像中的直线线段；根据直线线段的长度值和角度值，确定指定信息中的框体在单据图像中的位置信息。

可选的，上述存储介质还可以被设置为存储用于执行如下步骤的程序代码：获取预先设置的相对位置关系；获取定位标识信息在单据图像中的第一区域面积；根据第一区域面积，确定指定信息在单据图像中的第二区域面积；根据相对位置关系和第二区域面积，确定指定信息在单据图像中的指定信息区域。

可选的，上述存储介质还可以被设置为存储用于执行如下步骤的程序代码：获取原始图像；按照颜色通道对原始图像进行特征提取，得到与原始图像对应的特征向量，其中，颜色通道至少包括：红色通道、绿色通道、蓝色通道；根据与原始图像对应的特征向量，利用神经网络模型对原始图像进行判断；其中，当原始图像中包含指定信息时，确定原始图像为单据图像；当原始图像中不包含指定信息时，确定原始图像为非单据图像。

可选的，上述存储介质还可以被设置为存储用于执行如下步骤的程序代码：按照预先设置的提取比例对原始图像的中心位置进行提取，得到用于进行特征提取的图像。

可选的，上述存储介质还可以被设置为存储用于执行如下步骤的程序代码：当原始图像为包含有指定信息的单据图像时，按照预先设置的第一缩放比例对单据图像进行缩放处理；当原始图像为不包含有指定信息的非单据图像时，按照预先设置的第二缩放比例对非单据图像进行缩放处理。

可选的，上述存储介质还可以被设置为存储用于执行如下步骤的程序代码：根据指定信息区域，确定在单据图像中的非指定信息区域；对非指定信息区域进行处理，得到处理后的单据图像，其中处理的方式至少包括如下任意一种或多种方式：二值化处理、剪切处理、模糊处理、遮盖处理。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。