一种预览图像手动缩放进行字符查询的方法及装置与流程

本发明涉及一种字符查询方法，具体为一种手动控制摄像头缩放进行快速字符查询的方法，本发明还提供了该字符查询方法对应的查询装置，特别地，本发明还提供了一种手动触控摄像头缩放预览的方法。

背景技术：

近年来，随着相机在智能移动终端上的应用越来越多，基于相机拍摄的图像文本结合文字识别技术进行文字输入的应用也越来越广泛，如基于相机的名片识别技术，图像文本分析和识别技术等。

在日常生活中，人们经常需要通过查字典来查找一个中文词语对应的英文单词或其他语言的单词。现在，各种电子字典已经广泛应用于手机等智能移动终端中，利用手机就可以随时随地的进行字符的相关查询，给人们的日常生活提供方便。

现有的智能移动终端上的电子字典，其查询方法通常采用键盘输入、手写识别输入、语音识别输入及图片识别输入，图片识别输入是利用移动终端的摄像头实时拍摄的图像或输入的图片实时取词并利用光学字符识别技术（ocr）识别选取的字符，对识别的字符进行输入查询，操作上更方便，应用上更加广泛。

图片的ocr识别容易受到距离、光线、字符大小、字符清晰度等的影响，导致在自然环境下图片字符的识别率较低，进而影响查询的有效进行，因此现有的字、词典软件中图片文字识别输入方式多采用拍照输入的方式，即输入拍下的照片，指定识别的区域，再进行指定区域内字符的识别，由于拍下的照片像素较大，识别的指定位置又非常精确，使得字符识别的准确率较高，但是这样也会导致识别时间较长，识别效率较低，而且当不能识别字符或照片不清晰时则需要重新拍照输入，整个流程比较繁琐，人机交互差。

中国专利号为200911000056.2的发明专利公开了一种使用照相机自动调整字符大小的装置和方法，通过对包含字符的图像按自动缩放比二次拍摄，获得可识别的字符图像；这种方法虽然通过快照ocr的方式实现图片字符的大小调整，但是它需要使用大量计算来检测当前图像中文字的区域和大小，并在假设摄像位置尽量不变的情况下自动调整焦距和缩放。这在手持的摄像头情况下用户体验不好，因为手持摄像头时因为摄像头不断晃动，很多图像可能因处于晃动中而是模糊状态，识别里面的文字区域大小和识别文字内容一样的困难并且耗时。而且摄像头因为不断晃动导致焦距和图像内容一直在变，基于自动识别文字大小的计算可能因跟不上实际焦距的晃动和识别内容的晃动而变得无效。除了识别速度慢、识别场景要求高之外，还会受到摄像头焦距的限制，由于摄像头的缩放都有一定极限，达到一定极限就难以聚焦，当摄像头自动聚焦缩放到一定极限后仍不能识别获取字符时，就无法进行摄像头取词查询。

如何突破摄像头缩放聚焦的局限，实现快速的字符查询以及如何更好的提高人机交互性，也是本发明所需解决的技术问题。

本发明人利用预览ocr进行字符的识别并应用于字符的数据信息查询，本发明人前期开发的产品，在预览窗口内字符取字框较小，字体过大的情况下，会出现取字框不能包含目标字符的问题，字体过小的情况下，会出现取字框包含多个字符，不能精确定位目标字符的问题，另外手的晃动还可能导致图像焦距模糊和图像不断晃动，从而较难瞄准图像中的目标待查字符，整个选取的过程繁琐，大大降低摄像头查字的用户体验。

在摄像头取字查询的过程中，如何排除其他字符的干扰，实现精确选字查询，也是本发明面对的问题。

为此本发明人尝试进行了多种改进，其中之一即对摄像头拍摄的预览图像数据流进行取帧并在取得的一帧数据源基础上进行以目标识别区域为中心的快速图像缩放控制和关键位置图像显示，以方便用户在晃动的摄像头图像上快速瞄准目标待查字符和快速聚焦目标区域，该方法可快捷的获得便于识别的字符图像以及准确高效的进行目标字符识别，获得了较好的预期效果。

技术实现要素：

为了解决现有技术中存在的不足及问题，本发明提供了一种预览图像手动缩放进行字符查询的方法及装置，通过对预览图像进行手动聚焦缩放，可以更方便的对目标待查字符精准选取，获得更清晰的待识别字符图像，字符的识别率和识别速度大幅提高，实现单手控制的聚焦缩放和快速精准选取，人机交互更加快捷，用户查字体验更好。

本发明一方面，提供一种预览图像手动缩放进行字符查询的方法，其包括：

10：选取照相机预览窗口中的目标字符；或

将照相机预览窗口中的目标字符置于取字框内；

20：如果目标字符较小或较大，则手动触控对预览图像进行聚焦缩放；

30：利用光学字符识别模块识别选取的目标字符；

40：将识别后的目标字符进行查询操作并将查询结果显示在当前窗口中；

50：如果识别的字符不是目标字符则重新进行步骤10。

所述步骤10之后，进行目标字符大小的判断，判断依据是相对于取字框大小进行判断，在判断字符大小的同时还进行字符清晰度的判断。

如果目标字符于取字框内且清晰可见，则直接进行字符的识别，优选地，如果目标字符尺寸占取字框的60%-100%且清晰可见则直接进入识别。

如果目标字符相对于取字框较小或较大，则手动触控取字控件对预览图像进行聚焦缩放，对字符大小及清晰度进行调整。

所述步骤20中进行缩放的预览图像采用步骤10中照相机预览视频流中截取的任一帧原始预览图像，优选地，采用最清晰的图像数据。

所述的在原始预览图像上缩放的方法为：实时接收摄像头的视频流数据；从视频流数据中提取任一视频帧作为原始预览图像；在原始预览图像上执行缩放；将缩放后的坐标系转换到原始预览图像上。

所述的手动触控对预览图像进行缩放的方法为：

单手指按住取字按钮的中心；

手指向左/右或上/下进行滑动；

接收到滑动指令后，相机进行预览图像的缩放；

使相机预览窗口内的预览图像以取字框中心为中心进行等比例缩放。

或

通过手指的聚拢或对立滑动进行滑动;

接收到滑动指令后，相机进行预览图像的缩放；

使相机预览窗口内的预览图像以取字框中心为中心进行等比例缩放。

或

拖动预设的一个滑动条进行滑动；

接收到滑动指令后，相机进行预览图像的缩放；

使相机预览窗口内的预览图像以取字框中心为中心进行等比例缩放。

或

按住取字按钮并沿取字按钮的中心作顺时针或逆时针滑动；

接收到滑动指令后，相机进行预览图像的缩放；

使相机预览窗口内的预览图像以取字框中心为中心进行等比例缩放,在预览图像缩放的过程中，目标字符始终位于取字框内。

在手指滑动/拖动过程中，预览图像逐渐的放大或缩小；对于圆形的取字控件，沿半径或圆周滑动时，预览图像逐步的进行缩放。

一种预览图像自动缩放进行字符查询的方法，其包括：

10：选取照相机预览窗口中的目标字符；

20：自动对预览图像进行聚焦缩放；

30：利用光学字符识别模块识别选取的目标字符；

40：将识别后的目标字符进行查询操作并将查询结果显示在当前窗口中；

50：如果识别的字符不是目标字符则重新进行步骤10。

所述的精确识别要求为：取字框内只包含目标字符，字符清晰且字符的宽和高达到设定的阈值。

本发明另一方面，提供了一种预览图像手动缩放进行字符查询的的装置，其包括：相机模块、识别模块、显示模块、缩放模块、选字模块、数据库模块，还包括跟随模块。

所述的相机模块，用于实时拍摄图像并聚焦，并接收缩放模块的缩放指令对拍摄的图像进行缩放操作。

所述的识别模块，利用光学字符识别模块对选字模块选取的字符进行识别。

所述的显示模块，用于实时的显示预览的图像及查询的结果。

所述的缩放模块，用来对预览的图像进行缩放指令的发送，进行相机模块的调用。

所述的选字模块，用于对相机模块的预览图像中的字符选取。

所述的数据库模块，接收识别模块识别的字符进行查询操作，将目标字符对应的信息调出并通过显示模块输出。

所述的跟随模块，可以使选字模块以取字框为中心进行实时的缩放，有效避免了缩放较大时目标字符滑出预览窗口，从而需要移动手机再次聚焦目标字符。

本发明第三方面，还提供了一种手动触控摄像头缩放预览方法，其控制方法为：初始化摄像头打开预览窗口，截取视频流中的任一帧原始预览图像；手指按住触控按钮并沿一方向滑动；接收预设的滑动操作指令；调用摄像头进行相应的缩放操作；获取原始预览图像等比例缩放后的图像；将缩放后的坐标转换为原图像中坐标，显示对应的原始预览图像坐标区域。

本发明在实时截取视频流的原始预览图像基础上进行手动滑动/自动缩放，获取原始预览图像对应缩放后的图像，打破了摄像头的极限，获得清晰的可识别字符，以取字框中心跟随缩放，单手即可实现字符的缩放查询，交互性更好，查字更快、效率更高，便捷性进一步提升，用户查字体验大大提高。

附图说明

图1为本发明字符查询方法一实施例流程示意图；

图2为本发明字符查询装置一实施例框图；

图3a为本发明手动触控缩放方法一实施例流程示意图；

图3b为本发明手动触控缩放方法一实施例流程示意图；

图3c为本发明手动触控缩放方法一实施例流程示意图；

图4为本发明字符查询界面一实施例示意图；

图5为为本发明字符查询方法另一实施例流程图；

图6为本发明手动触控摄像头缩放预览方法一实施例流程示意图；

图7为本发明字体相对较小时预览到的字符一实施例示意图；

图8为利用本发明方法对图7中字符进行缩放的实施例示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，下面结合附图及实施例对本发明进一步进行举例说明，在此，本发明的示例性实施方式及其说明用于解释本发明，但并非作为对本发明的限定。

如图1所示实施例，一种预览图像手动缩放进行字符查询的方法，其包括：

10：选取照相机预览窗口中的目标字符。

如果当前预览图像较暗，可以调用摄像头的闪光灯辅助选取字符。

所述步骤10之后，进行目标字符大小的判断，判断依据是相对于取字框进行大小判断的，在判断字符大小的同时还进行字符清晰度的判断，所述判断可以通过用户的目测完成。

如果目标字符于取字框内且便于识别，则直接进行字符的识别。

如果目标字符相对于取字框较小或较大，则手动触控取字控件对预览图像进行聚焦缩放，对字符大小及清晰度进行调整，使字符于取字框内且清晰可见，优选地，如果目标字符尺寸占取字框的60%-100%且清晰可见则直接进入识别。

20：如果目标字符较小或较大，则手动触控对预览图像进行聚焦缩放。

以苹果系统为例，利用avfoundation框架创建视听媒体框架，通过avcapturedevice、avcapturedeviceinput开启摄像头并捕获数据流，avcapturesession协调数据流的输入输出，如输出质量640*480的bitmap原始预览图像,利用avcapturevideopreviewlayer获取缩放后的预览图像图层。

所述手动触控对预览图像进行聚焦缩放的方法为：

见图3a所示实施例，

单手指按住取字按钮的中心；

手指向左/右或上/下进行滑动操作；

接收到滑动操作指令后，相机进行预览图像的缩放；

使相机预览窗口内的预览图像以取字框中心为中心进行等比例缩放。

或

通过手指的聚拢或对立滑动进行滑动操作;

接收到滑动操作指令后，相机进行预览图像的缩放；

使相机预览窗口内的预览图像以取字框中心为中心进行等比例缩放。

或

如图3b所示实施例，

拖动预设的一个滑动条进行滑动操作；

接收到滑动操作指令后，相机进行预览图像的缩放；

使相机预览窗口内的预览图像以取字框中心为中心进行等比例缩放。

或

如图3c所示实施例，

单手指按住取字按钮的中心；

手指沿取字按钮的中心作顺时针或逆时针滑动；

接收到滑动操作指令后，相机进行预览图像的缩放；

使相机预览窗口内的预览图像以取字框中心为中心进行等比例缩放。

以取字框为中心进行缩放，可以使取字框中心处的字符始终位于取字框内，无需重新选取目标字符。

如图4所示字符查询界面一示意，包含了取字控件201和取字框202，取字框202用于选取字符，取字控件201用于控制摄像头缩放以及触发查询操作。

在手指滑动过程中，预览图像逐渐的放大或缩小；对于圆形的取字控件201，手指沿半径或圆周滑动时，预览图像逐步的进行缩放，例如：向左/上滑动为放大操作，向右/下滑动为缩小操作，手指沿圆周作逆时针滑动为放大操作，顺时针滑动为缩小操作。

滑动过程中逐渐进行预览图像的缩放，可以快速的将预览图像调整到合适的缩放比，可以更快速的获得清晰精准的目标字符，避免了取字框难以选取便于识别的目标字符，如一些按固定比例调整缩放比的情况。

原始图像在缩放后，特别是放大后，可能出现目标字符不在预览窗口或取字框内，这就需要用户重新聚焦寻找目标字符，导致使用体验差，预览图像在缩放过程中如何保持目标字符始终出现在取字框内比较重要，本发明实现了原始图像与缩放预览图像坐标系的转换。

所述步骤20中，缩放是在原始预览图像上进行缩放的，进行缩放的预览图像采用步骤10中照相机预览视频流中截取的任一帧原始预览图像，优选地，采用最清晰的图像数据。

所述在原始预览图像上缩放的方法为：实时接收摄像头的视频流数据；从视频流数据中提取任一视频帧作为原始预览图像；在原始预览图像上执行缩放；将缩放后的坐标系转换到原始预览图像上。

摄像头初始化后，返回每帧数据，将视频帧数据转为bitmap图像，摄像头硬件设备接受到的原始预览图像为bitmap图像，bitmap图像等比放大后的图像为preveiw图层，根据手指在取词按钮上移动的相对位移计算放大倍数，对应放大preview图层。

所述preview图层是由bitmap帧数据等比缩放后的预览图像，选取字符需要从bitmap图像选取，缩放后将取词框由屏幕坐标系转换到bitmap图像上。

所述坐标系转换方法为：

计算bitmap图像的放大比例:s；

计算bitmap图像放大后相对于bitmap图像的偏移量offset：offsetx、offsety，offsetx、offsety分别为x轴和y轴的偏移量，偏移量通常采用绝对值计算，即取正值计算；

计算取字框相对于preview图层的初始点（originx，originy）；

计算取字框在放大后的bitmap图像上的初始点坐标（originpx，originpy）：

设每个点的像素数为pn，取词框宽为pw，取词框高为ph；

originpx=(offsetx+originx*pn)/s，

originpy=(offsety+originy*pn)/s；

取字框的尺寸size=(pw*pn/s，ph*pn/s)，手机中屏幕坐标原点通常在左上角，取字框的坐标初始点为取字框的左上角坐标；

根据计算的坐标（originpx，originpy）和size截取bitmap图像上的指定区域，由于截取的bitmap图像为逆时针旋转图，需要再对bitmap图像进行旋转显示。

30：利用光学字符识别模块识别选取的目标字符。

40：将识别后的目标字符进行查询操作并将查询结果显示在当前窗口中。

50：如果识别的字符不是目标字符则重新进行步骤10。

步骤20中进行缩放的预览图像采用步骤10中照相机预览视频流中截取的任一原始预览图像，实现在原始预览图像的基础上进行缩放，可以打破摄像头聚焦的极限，方便的识别获取字符，加之利用单手滑动控制图像的缩放，交互性更好、交互成本更低，便捷性大大提升。

可能的，判断识别的字符是否是目标字符也可以在步骤40中进行，如果判断不是目标字符，则返回步骤10。

如果识别返回的结果不是目标待查字符，还可直接返回步骤20。

如图5所示实施例，一种预览图像自动缩放进行字符查询的方法，其包括：

10：选取照相机预览窗口中的目标字符。

20：自动对预览图像进行聚焦缩放，使取字框内的目标字符达到精确识别要求。

进行目标字符大小的判断，判断依据是相对于取字框进行大小判断的，在判断字符大小的同时还进行字符清晰度的判断，把取字框内的字符高度与取字框的高度进行比较，如果字符高度低于一定阈值或高于一定阈值，则自动进行聚焦缩放，如字符相对于取字框较小或较大（超出取词框范围的情况），直到目标字符于取字框内且清晰可见。

所述的缩放是以取字框202中心为中心进行缩放的，取字框可以为正方形、长方形、圆形等任意便于选取字符的形状，也可以采用其他可以选取目标字符的方式选取，如双竖线、双横线等等，在此本发明也可不对其形状进行限定，只要能实现字符的选取即可。

在缩放过程中，取字框中心处的字符始终位于取字框内，无需重新选取目标字符。

30：利用光学字符识别模块识别选取的目标字符。

40：将识别后的目标字符进行查询操作并将查询结果显示在当前窗口中。

50：如果识别的字符不是目标字符则重新进行步骤10。

所述的精确识别要求为：取字框内只包含目标字符，字符清晰且字符的高度达到设定的阈值，如字符的高度达到取字框的60%-100%。

可选地，用户还可以通过同时移动摄像头距离目标字符的远近和控制摄像头预览图像的缩放，尝试获得更佳的目标字符图像以达到理想的识别效果。

在实际应用时，初始化摄像头进入图像预览，打开取字按钮把取字框对准目标字符，如图7所示，对准“鹭”，由于“鹭”远小于取字框，则手指按住取字按钮的中心向左滑动，如预设向左滑动为放大操作，在向左滑动过程中预览图像逐步放大，如图8所示，滑动过程中“鹭”位于取字框内直至充满整个取字框，实现目标字符的精准选取，发出识别指令进行字符识别，检索字典数据库获得“鹭”对应的字典信息，将检索的结果缩略页显示在当前窗口。

本发明另一方面，提供了一种预览图像手动缩放进行字符查询的装置，如图2所示实施例，其包括：相机模块100、识别模块400、显示模块200、缩放模块600、选字模块300、数据库模块500，还包括跟随模块700。

所述的相机模块100，用于实时拍摄预览图像并聚焦，并接收缩放模块600的缩放指令对拍摄的图像进行缩放操作。

所述的识别模块400，利用光学字符识别模块400对选字模块300选取的字符进行识别。

所述的显示模块200，用于实时的显示预览的图像及查询的结果。

所述的缩放模块600，用来对预览的图像进行缩放指令的发送，进行相机模块100的调用，获得相机模块100拍摄到的视频流原始图像的缩放图像。

所述的选字模块300，用于对相机模块100的预览图像中的字符选取。

所述的数据库模块500，接收识别模块400识别的字符进行查询操作，将目标字符对应的信息调出并通过显示模块200输出。

所述的跟随模块700，可以使选字模块300以取字框为中心进行实时的缩放，将缩放后目标字符坐标转换为原图像中的坐标，以取字框为中心可以有效避免缩放较大时目标字符滑出预览窗口，需要移动手机再次聚焦目标字符。

所述选字模块300选取相机模块100预览图像中的目标字符，需要时利用缩放模块600对目标字符进行缩放操作，手指沿取词按钮滑动实现字符的缩放，选字模块300完成字符的选取，同时识别模块400对取字框内的字符进行识别，将识别的字符进行查询操作，从数据库模块500内调取对应的信息，并通过显示装置200在当前窗口显示。

如图6所示，本发明第三方面，还提供了一种手动触控摄像头缩放预览的方法，其控制方法为：初始化摄像头打开预览窗口，截取视频流中的任一帧原始预览图像；手指按住触控按钮并沿一方向滑动；接收预设的滑动操作指令；调用摄像头进行相应的缩放操作；获取原始预览图像等比例缩放后的图像；将缩放后的坐标转换为原图像坐标，显示对应的原始预览图像坐标区域。

本发明的字符查询方法还可以用于词典的摄像头取词查询，以及其他需要进行摄像头预览缩放取字/词的情景，在此不再举例说明。

所述的手动触控摄像头缩放预览方法不仅可以用于摄像头缩放查字/查词，还可以适用于其他单手进行摄像头预览缩放的情景，在此不再举例说明。

本发明可以对单字符摄像头缩放识别查询，也可以对多字符摄像头缩放识别查询，在此不再一一举例说明。

本发明通过对预览图像的聚焦缩放，解决现有字符查询时不能预览缩放调焦等问题，从预览图像的视频流中截取任一视频帧数据，并在此视频帧的基础上进行图像的缩放，突破了摄像头聚焦的局限，实现字符的快速缩放聚焦查询，交互性更好，查字效率更高，便捷性进一步提升，查询更加精准，消除了查询时其他字符的干扰，用户查字体验大大提高。

本发明是对目前图片字符识别查询存在的问题而提供的一种预览图像的缩放字符识别查询的可行方案，任何对本发明的变通，诸如查询流程步骤上的顺序变化及无任何实际意义的增加或删除，均不脱离本发明的精神范围。

以上实施例对本发明的技术方案和有益效果进行了示例性说明，用于帮助理解本发明，并非用于限制本发明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的无任何创造性劳动的修改、等同替换、改进等，均应包含在本发明的保护范围之内。