处理文件的方法、终端与流程

本发明涉及文件处理领域，具体而言，涉及一种处理文件的方法、终端。

背景技术

随着终端功能越来越多，人们在日常生活的很多方面都会使用终端，从而让生活变得快捷方便，其中，利用evernote、名片扫描等软件进行文档的扫描，拍照，识别等就是其中很重要的一项。在使用上述软件的过程中常常会对书籍或者名片表等其他进行文档扫描、拍照。

相关技术中，扫描或拍照过程中得到的是彩色照片，进而直接保存或者进行灰度处理，将彩色照片处理为黑白的灰度照片。对于相关技术中的上述方式，如果被扫描或拍摄的纸质文档中有注释，涂写的痕迹；这样在黑白二值化的过程中，像素的损失比较严重，最终得到的照片文字边缘损失会比较大，会出现文字较细，对于手写文字经常出现丢失笔画。此外，对于印刷体和手写部分不能做很好的区分，对于一些需要文字识别的场景，手写文字的混入会对文字的识别产生很大的影响。

针对相关技术中采用对文件进行扫描或拍照的方式得到的图像像素损失比较严重的上述问题，目前尚未存在有效的解决方案。

技术实现要素：

本发明实施例提供了一种处理文件的方法、终端，以至少解决相关技术中采用对文件进行扫描或拍照的方式得到的图像像素损失比较严重的问题。

根据本发明的一个方面，提供了一种处理文件的方法，包括：通过第一光对待处理文件进行图像数据采集，得到所述待处理文件的第一图像数据中像素点的颜色值以及所述第一图像数据的像素点在所述第一图像数据中的第一坐标信息；通过第二光对所述待处理文件进行图像数据采集，得到所述待处理文件的第二图像数据中像素点的第一坐标信息；根据所述第一图像数据中像素点的颜色值对所述第二图像数据中与所述第一图像数据中像素点的坐标信息相对应的像素点进行调整。

进一步地，所述根据所述第一图像数据中像素点的颜色值对所述第二图像数据中与所述第一图像数据中像素点的坐标信息相对应的像素点进行调整包括：根据预设的多个颜色值区间对所述第一图像数据中的像素点进行分组，得到分组后的多个图层，其中，同一个图层中像素点的颜色值在同一个颜色值区间内；根据一个或多个图层中像素点的颜色值对所述第二图像数据中与所述一个或多个图层中像素点的坐标信息相对应的像素点的颜色值进行调整，和/或对所述第二图像数据中与所述一个或多个图层中像素点的坐标信息相对应的像素点的位置进行调整。

进一步地，所述根据一个或多个图层中像素点的颜色值对所述第二图像数据中与所述一个或多个图层中像素点的坐标信息相对应的像素点的颜色值进行调整包括：将所述第二图像数据中除与所述多个图层中的第一图层对应的坐标值之外的其他坐标值对应的像素点的颜色值，调整至与所述多个图层中的第一图层的颜色值一致；其中，所述第一图层为所述待处理文件的底色图层。

进一步地，所述根据一个或多个图层中像素点的颜色值对所述第二图像数据中与所述一个或多个图层中像素点的坐标信息相对应的像素点的颜色值进行调整包括：将所述第二图像数据中除与所述多个图层中的第二图层对应的坐标值之外的其他坐标值对应的像素点的颜色值，调整至与所述多个图层中的第二图层的颜色值一致；其中，所述第二图层为所述多个图层中的除底色图层外的其他图层，且所述第二图层包括一个或多个子图层。

进一步地，在所述第二图层包括多个子图层的情况下，在将所述第二图像数据中除与所述多个图层中的第二图层对应的坐标值之外的其他坐标值对应的像素点的颜色值，调整至与所述多个图层中的第二图层的颜色值一致之后，将所述第二图像数据中与第二图层的颜色值一致的多个子图层中的部分子图层的颜色值调整至与第一图层的颜色值一致；其中，所述第一图层为所述待处理文件的底色图层；和/或，在将所述第二图像数据中除与所述多个图层中的第二图层对应的坐标值之外的其他坐标值对应的像素点的颜色值，调整至与所述多个图层中的第二图层的颜色值一致之后，将所述第二图像数据中与第二图层的颜色值一致的多个子图层中的一部分子分图层的颜色值调整至与所述多个子图层中的其中之一子图层的颜色值一致。

进一步地，所述根据一个或多个图层中像素点的颜色值对所述第二图像数据中与所述一个或多个图层中像素点的坐标信息相对应的像素点的位置进行调整包括：获取所述第一图像数据中的第二图层在所述第一坐标信息中的坐标信息；移动在所述第二图像数据中与第二图层的坐标信息对应的像素点的位置；其中，所述第二图层为所述多个图层中的除底色图层外的其他图层，且所述第二图层包括一个或多个子图层。

进一步地，所述第一光为不可见光，所述第二光为可见光。

根据本发明的另一个方面，提供了一种终端，包括：补光灯组件，用于发出第一光和第二光；摄像组件，用于通过所述第一光对待处理文件进行图像数据采集，以及通过所述第二光对所述待处理文件进行图像数据采集；处理器，用于根据所述第一光采集的图像数据得到所述待处理文件的第一图像数据中像素点的颜色值以及所述第一图像数据的像素点在所述第一图像数据中的第一坐标信息；以及根据所述第二光采集的图像数据得到所述待处理文件的第二图像数据中像素点的第一坐标信息；并根据所述第一图像数据中像素点的颜色值对所述第二图像数据中与所述第一图像数据中像素点的坐标信息相对应的像素点进行调整。

进一步地，所述处理器，还用于根据预设的多个颜色值区间对所述第一图像数据中的像素点进行分组，得到分组后的多个图层，其中，同一个图层中像素点的颜色值在同一个颜色值区间内；以及根据一个或多个图层中像素点的颜色值对所述第二图像数据中与所述一个或多个图层中像素点的坐标信息相对应的像素点的颜色值进行调整，和/或对所述第二图像数据中与所述一个或多个图层中像素点的坐标信息相对应的像素点的位置进行调整。

进一步地，所述处理器，还用于将所述第二图像数据中除与所述多个图层中的第一图层对应的坐标值之外的其他坐标值对应的像素点的颜色值，调整至与所述多个图层中的第一图层的颜色值一致；其中，所述第一图层为所述待处理文件的底色图层。

进一步地，所述处理器，还用于将所述第二图像数据中除与所述多个图层中的第二图层对应的坐标值之外的其他坐标值对应的像素点的颜色值，调整至与所述多个图层中的第二图层的颜色值一致；其中，所述第二图层为所述多个图层中的除底色图层外的其他图层，且所述第二图层包括一个或多个子图层。

进一步地，在所述第二图层包括多个子图层的情况下，所述处理器，还用于在将所述第二图像数据中除与所述多个图层中的第二图层对应的坐标值之外的其他坐标值对应的像素点的颜色值，调整至与所述多个图层中的第二图层的颜色值一致之后，将所述第二图像数据中与第二图层的颜色值一致的多个子图层中的部分子图层的颜色值调整至与第一图层的颜色值一致；其中，所述第一图层为所述待处理文件的底色图层；和/或，在将所述第二图像数据中除与所述多个图层中的第二图层对应的坐标值之外的其他坐标值对应的像素点的颜色值，调整至与所述多个图层中的第二图层的颜色值一致之后，将所述第二图像数据中与第二图层的颜色值一致的多个子图层中的一部分子分图层的颜色值调整至与所述多个子图层中的其中之一子图层的颜色值一致。

进一步地，所述处理器，还用于获取所述第一图像数据中的第二图层在所述第一坐标信息中的坐标信息；移动在所述第二图像数据中与第二图层的坐标信息对应的像素点的位置；其中，所述第二图层为所述多个图层中的除底色图层外的其他图层，且所述第二图层包括一个或多个子图层。

进一步地，所述摄像组件包括：滤光切换组件和感光组件；其中，在所述滤光组件滤掉所述第二光的情况下，所述感光组件通过所述第一光对待处理文件进行图像数据采集；在所述滤光组件滤掉所述第一光的情况下，所述感光组件通过所述第二光对待处理文件进行图像数据采集。

进一步地，所述第一光为不可见光，所述第二光为可见光。

通过本发明，通过第一光对待处理文件进行图像数据采集，得到待处理文件的第一图像数据中像素点的颜色值以及第一图像的像素点在第一图像数据中的第一坐标信息；通过第二光对待处理文件进行图像数据采集，得到待处理文件的第二图像数据中像素点的第一坐标信息；根据第一图像数据中像素点的颜色值对第二图像数据中与第一图像数据中像素点的坐标信息相对应的像素点进行调整，从而解决了相关技术中采用对文件进行扫描或拍照的方式得到的图像像素损失比较严重的问题，提高了用户的体验效果。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是根据本发明实施例的处理文件的方法的流程图；

图2是根据本发明实施例的处理文件的装置的结构示意图；

图3是根据本发明实施例的硬件位置结构示意图；

图4是根据本发明实施例的摄像头的结构示意图；

图5是根据本发明实施例的滤光切换模块的电路示意图；

图6是根据本发明实施例的终端结构示意图；

图7是根据本发明实施例的不可见光数据形成的正态分布图。

具体实施方式

下文中将参考附图并结合实施例来详细说明本发明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。

实施例1

在本实施例中提供了一种处理文件的方法，图1是根据本发明实施例的处理文件的方法的流程图，如图1所示，该流程包括如下步骤：

步骤s102：通过第一光对待处理文件进行图像数据采集，得到待处理文件的第一图像数据中像素点的颜色值以及第一图像数据的像素点在第一图像数据中的第一坐标信息；

步骤s104：通过第二光对待处理文件进行图像数据采集，得到待处理文件的第二图像数据中像素点的第一坐标信息；

步骤s106：根据第一图像数据中像素点的颜色值对第二图像数据中与第一图像数据中像素点的坐标信息相对应的像素点进行调整。

通过本实施例的上述步骤s102至步骤s106，根据第一光和第二光分别对待处理文件进行处理分别得到第一图像数据和第二图像数据，进而根据第一图像数据中像素点的颜色值对第二图像数据中与第一图像数据中像素点的坐标信息相对应的像素点进行调整，采用本实施例的方式，能够对采集到的待处理文件的图像数据进行调整，从而解决了相关技术中采用对文件进行扫描或拍照的方式得到的图像像素损失比较严重的问题，提高了用户的体验效果。

需要说明的是，本实施例的方法的执行主体优选为智能终端。另外，本实施例中涉及到的颜色值，可以是灰度值、rgb或者其他格式的颜色值。

步骤s106中根据第一图像数据中像素点的颜色值对第二图像数据中与第一图像数据中像素点的坐标信息相对应的像素点进行调整的方式，在本实施例的可选实施方式中可以进一步包括：

步骤s106-1：根据预设的多个颜色值区间对第一图像数据中的像素点进行分组，得到分组后的多个图层，其中，同一个图层中像素点的颜色值在同一个颜色值区间内；

步骤s106-2：根据一个或多个图层中像素点的颜色值对第二图像数据中与一个或多个图层中像素点的坐标信息相对应的像素点的颜色值进行调整，和/或对第二图像数据中与一个或多个图层中像素点的坐标信息相对应的像素点的位置进行调整。

下面通过具体实施方式对上述步骤s106-1和s106-2进行详细说明；

(1)通过第一光得到待处理文件的数据数组x，对数组x进行二值化处理，取数组x中的y值，对于某一像素点的y值；需要说明的是，在数字图像处理中，有一个数据格式是yuv格式，这个数据也是摄像头采集到的数据格式，数组x的每一个元素都是颜色值，包含三个数据，yuv，后面处理的y，就是yuv中的y。

当y>m(门限值)时，y＝255；

当y<m(门限值)时，y＝0；

采用上述全局二值化处理时，门限值m的取值可以取所有像素点的y值的平均值。另外此处可以采用局部二值化，就是按照一定的规则将整幅图像划分为n个窗口，对这n个窗口中的每一个窗口再按照一个统一的阈值m将该窗口内的像素划分为两部分，进行二值化处理，局部二值化时可以采用精度更高的自适应门限值方式。该方法的阈值是通过对该窗口像素的平均值e，像素之间的差平方p，像素之间的均方根值q等各种局部特征，设定一个参数方程进行阈值的计算，例如：m＝a*e+b*p+c*q，其中a，b，c是自由参数。另外m值的确认也可以采用双峰法，p为参数法，迭代法，otsu法等。

记录所有y＝255的点的坐标值，y＝255的区域为底色区域。对应纸质文档来说就是纸张的颜色，即底色区域，记录底色区域点的坐标值为d。其余点的坐标为文字区域。底色区域和文字区域的坐标值在可见光图像和不可见光图像中是一一对应，保持一致的。

(2)数组x取所有坐标点的y值的数组。将该数组中底色区域的y值全部置0，形成一个矫正的数组ye，利用ye的值进行正态分布处理，其中，横坐标为ye的值，纵坐标为坐标点的数量。

(3)根据ye的分布曲线，可以获取图像数组中的几个波峰，每个波峰对应一个图层，选取面积最大的波峰点值y0，满足y0-m0<ye<y0+m0(此处的m0为此波峰分布的门限值，可以取次分布的方差)的点即为该波峰对应图层的点，将这些点的坐标进行存储记为图层0，坐标数据存于数组w中。

(4)以此类推，分布获取图层1和图层2，当某个图层的点的个数小于门限值mt时，停止图层分配。

(5)图层1、图层2…图层n之外的所有点坐标进行存储，分别记为数组z1，数据z2…数组zn记为注释图层。

获取底色图层、图层0、图层1、图层2…之后，每一个图层的点对应相应的颜色值。得到了将不同颜色值进行分离的图像数据。

得到最终的可见光图像数据与图层数据之后，系统可以利用这些数据进行进一步的处理。对应关系如下：

第一光图像——数组x

底色图层——数组d

图层0——数组w

图层1——数组z1

图层2——数组z2

对于最常见的单色印刷书籍用户用笔做注释的情况如下所示：

底色图层--数组d，对应在可见光中的颜色即为纸张的颜色，取所有数组d内元素的平均值，得到纸张的平均颜色。

图层0--数组w，图层0是取红外图像数组d的分布中波峰面积最大的一种颜色对应的图层，对于印刷体文档来说，除去底色图层，分布最多的应该是印刷文字部分，那么图层0就对应着印刷体部分的数据，数组d即为印刷体所在的坐标位置。

图层1、图层2这些图层对应即为文档中注释部分，每一个图层正态分布峰值对应的y值的不同，是不同颜色在红外光成像下的亮度不同导致的，那么一个图层对应着一种颜色，坐标位置分布为z1，z2。

基于上述(1)～(5)，在本实施例的可选实施方式中，步骤s106-2的方式包括以下可选实施方式：

方式一：将第二图像数据中除与多个图层中的第一图层对应的坐标值之外的其他坐标值对应的像素点的颜色值，调整至与多个图层中的第一图层的颜色值一致；其中，第一图层为待处理文件的底色图层。

在具体的应用场景中，该方式可以是文档还原：取数组x，计算底色图层的d颜色平均值d0，将数组x中z1、z2等所有的注释图层坐标值对应的颜色值修改为d0，即将图层1、图层2等注释部分的数据填充为底层图层的颜色平均值，得到数组a0，那么a0即为还原后的文档。此外，还可以进行文字识别等操作。

方式二：将第二图像数据中除与多个图层中的第二图层对应的坐标值之外的其他坐标值对应的像素点的颜色值，调整至与多个图层中的第二图层的颜色值一致；其中，第二图层为多个图层中的除底色图层外的其他图层，且第二图层包括一个或多个子图层。

在具体的应用场景中，该方式可以是注释颜色区分：图层1、图层2等注释图层对应的坐标位置z1、z2即为不同颜色注释对应的坐标位置，在x中，取z1坐标点的所有像素点的颜色值的平均值，记为颜色1，那么颜色1即为图层1的颜色。相同的方法获取图层2的颜色2。

z1——图层1——颜色1

z2——图层2——颜色2

方式三：在第二图层包括多个子图层的情况下，在将第二图像数据中除与多个图层中的第二图层对应的坐标值之外的其他坐标值对应的像素点的颜色值，调整至与多个图层中的第二图层的颜色值一致之后，将第二图像数据中与第二图层的颜色值一致的多个子图层中的部分子图层的颜色值调整至与第一图层的颜色值一致；其中，第一图层为待处理文件的底色图层；和/或，

在将第二图像数据中除与多个图层中的第二图层对应的坐标值之外的其他坐标值对应的像素点的颜色值，调整至与多个图层中的第二图层的颜色值一致之后，将第二图像数据中与第二图层的颜色值一致的多个子图层中的一部分子分图层的颜色值调整至与多个子图层中的其中之一子图层的颜色值一致。

在具体的应用场景中，该方式可以是注释的隐藏与显示：在上述方式一和方式二的基础上，可以通过对数组a0的值进行处理，可以实现不同颜色注释的隐藏与显示，a0为原始文档，即为隐藏注释的文档；在a0数组中，把z1对应坐标位置的点颜色值充为颜色1，填充后的数组即为显示颜色1的注释的图像。以此类推，可以得到显示颜色2的注释的图像，以及各种颜色组合注释的图像。

方式四：获取第一图像数据中的第二图层在第一坐标信息中的坐标信息；移动在第二图像数据中与第二图层的坐标信息对应的像素点的位置；其中，第二图层为多个图层中的除底色图层外的其他图层，且第二图层包括一个或多个子图层。

在具体的应用场景中，该方式可以是注释的移动：当某些注释位于印刷文字区域内时，可以将注释移动到空白部分。

例如：取图层0的数组w，对坐标值的数组w的值进行处理，取所有横坐标s的最小值s0与最大值s1，所有点纵坐标t的最小值t0和最大值t1，那么坐标点(s0，t0)(s0，t1)(s1，t0)(s1，t1)组成的矩形即为印刷体的区域，取图层1，图层2等注释图层中的z1，z2的横纵坐标sz和tz，当满足

s0<sz<s1且t0<tz<t1

则该坐标位于印刷体区域内，对该坐标进行平移处理。

sz(e)＝sz+ts

tz(e)＝tz+tt

横坐标平移量ts，纵坐标平移量tt由该坐标邻近的所有属于同一注释图层的坐标点集合计算获取。

在数组a中，将调整后的sz(e)tz(e)对应的注释图层的坐标点的颜色值修改为对应的颜色，将原注释图层坐标点的颜色值修改为底色图层颜色值d0，即实现了注释的移动。

需要说明的是，在本实施例中第一光为不可见光，第二光为可见光。不可见光，如红外光，在通过红外光直射时，不同颜色以及不同材质对不可见光的吸收率不同，反射的光线就不同，当红外光照射某一材质的不同颜色时，不同颜色部分在红外光下成像的颜色值就有所不同，通过颜色值的区分，就可以将不同颜色进行分类，也就是上面提到图层，每一个图层对应一个颜色。

当然，不可见光也可以采用除红外线之外的其他光线，只要能实现对不同颜色以及不同材质吸收率不同的光均是可以的。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如rom/ram、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例的方法。

实施例2

在本实施例中还提供了一种处理文件的装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。

图2是根据本发明实施例的处理文件的装置的结构示意图，如图2所示，该装置包括：

第一采集模块22，用于通过第一光对待处理文件进行图像数据采集，得到待处理文件的第一图像数据中像素点的颜色值以及第一图像的像素点在第一图像数据中的第一坐标信息；

第二采集模块24，与第一采集模块22耦合链接，用于通过第二光对待处理文件进行图像数据采集，得到待处理文件的第二图像数据中像素点的第一坐标信息；

调整模块26，与第二采集模块24耦合链接，用于根据第一图像数据中像素点的颜色值对第二图像数据中与第一图像数据中像素点的坐标信息相对应的像素点进行调整。

需要说明的是，如果该装置应用到带有摄像模块的终端上，则该第一采集模块22与第二采集模块24可以继承在该摄像模块上。

在具体的应用场景中，该摄像模块可以通过两个部分组成上述第一采集模块22与第二采集模块24；

其中，该两个部分可以是：滤光切换模块和感光元件。该感光元件为常见ccdcmos以及其他可以用作观光功能的元件，滤光切换模块有两层滤光片，分别为可见光滤光片和红外滤光片，其中，可见光滤光片可以过滤掉所有的非可见光谱，让感光元件只接收到可见光谱部分的图像，得到可见光图像，红外滤光片可以过滤掉所有的非红外光谱，让感光元件只接收到红外光谱部分的图像，得到红外图像。滤光切换模块为机械式，通过电信号控制可见滤光片和红外滤光片其中一个位于感光元件的前方，进行滤光作用，正常模式下，红外滤光片处于收起状态，感光元件采集可见光图像，在进行文档拍摄时，用户按下快门，滤光切换模块首先保持可见光滤光片工作，采集可将光图像，然后收起可将光滤光片，放下红外滤光片，采集红外图像。

可选地，调整模块包括：分组单元，用于根据预设的多个颜色值区间对第一图像数据中的像素点进行分组，得到分组后的多个图层，其中，同一个图层中像素点的颜色值在同一个颜色值区间内；调整单元，与分组单元耦合链接，用于根据一个或多个图层中像素点的颜色值对第二图像数据中与一个或多个图层中像素点的坐标信息相对应的像素点的颜色值进行调整，和/或对第二图像数据中与一个或多个图层中像素点的坐标信息相对应的像素点的位置进行调整。

对于上述调整单元涉及到的调整像素点的颜色值和/或像素点的位置进行调整的方式，在本实施例的实施方式中可以通过如下几种方式来实现

方式一：该调整单元，还用于将第二图像数据中除与多个图层中的第一图层对应的坐标值之外的其他坐标值对应的像素点的颜色值，调整至与多个图层中的第一图层的颜色值一致；其中，第一图层为待处理文件的底色图层。

该方式对应于实施例一中步骤s106-2的方式一，即该方式在具体的应用场景中为文档还原方式。

方式二，该调整单元，还用于将第二图像数据中除与多个图层中的第二图层对应的坐标值之外的其他坐标值对应的像素点的颜色值，调整至与多个图层中的第二图层的颜色值一致；其中，第二图层为多个图层中的除底色图层外的其他图层，且第二图层包括一个或多个子图层。

该方式对应于实施例一中步骤s106-2的方式二，即该方式在具体的应用场景中为注释颜色区分。

方式三，该调整单元，还用于将第二图像数据中除与多个图层中的第二图层对应的坐标值之外的其他坐标值对应的像素点的颜色值，调整至与多个图层中的第二图层的颜色值一致；其中，第二图层为多个图层中的除底色图层外的其他图层，且第二图层包括一个或多个子图层。

该方式对应于实施例一中步骤s106-2的方式三，即该方式在具体的应用场景中为注释的隐藏与显示。

方式四，该调整单元，还用于获取第一图像数据中的第二图层在第一坐标信息中的坐标信息；移动在第二图像数据中与第二图层的坐标信息对应的像素点的位置；其中，第二图层为多个图层中的除底色图层外的其他图层，且第二图层包括一个或多个子图层。

该方式对应于实施例一中步骤s106-2的方式四，即该方式在具体的应用场景中为注释的移动。

在本实施例的可选实施方式中，本实施例中涉及到的第一光可以为不可见光，第二光可以为可见光。

需要说明的是，本实施例2是对应于实施例1的装置实施例，因此，本实施例中的模块和单元所实现的方式与上述方法步骤是一致的。

需要说明的是，上述各个模块是可以通过软件或硬件来实现的，对于后者，可以通过以下方式实现，但不限于此：上述模块均位于同一处理器中；或者，上述各个模块以任意组合的形式分别位于不同的处理器中。

实施例3

本实施例提供了一种终端，如图6所示，该终端包括：

补光灯组件62，用于发出第一光和第二光；

摄像组件64，与该补光灯组件62耦合链接，用于通过第一光对待处理文件进行图像数据采集，以及通过第二光对待处理文件进行图像数据采集；

处理器66，与该摄像组件64耦合链接，用于根据第一光采集的图像数据得到待处理文件的第一图像数据中像素点的颜色值以及第一图像的像素点在第一图像数据中的第一坐标信息；以及根据第二光采集的图像数据得到待处理文件的第二图像数据中像素点的第一坐标信息；并根据第一图像数据中像素点的颜色值对第二图像数据中与第一图像数据中像素点的坐标信息相对应的像素点进行调整。

其中，在本实施例的可选实施方式中，该处理器，还用于根据预设的多个颜色值区间对第一图像数据中的像素点进行分组，得到分组后的多个图层，其中，同一个图层中像素点的颜色值在同一个颜色值区间内；以及根据一个或多个图层中像素点的颜色值对第二图像数据中与一个或多个图层中像素点的坐标信息相对应的像素点的颜色值进行调整，和/或对第二图像数据中与一个或多个图层中像素点的坐标信息相对应的像素点的位置进行调整。

基于上述处理器根据一个或多个图层中像素点的颜色值对第二图像数据中与一个或多个图层中像素点的坐标信息相对应的像素点的颜色值进行调整，和/或对第二图像数据中与一个或多个图层中像素点的坐标信息相对应的像素点的位置进行调整的方式，在本实施例的可选实施方式中，该处理器还可以通过如下方式来具体实现上述方式：

方式一：处理器用于将第二图像数据中除与多个图层中的第一图层对应的坐标值之外的其他坐标值对应的像素点的颜色值，调整至与多个图层中的第一图层的颜色值一致；其中，第一图层为待处理文件的底色图层。

方式二：处理器用于将第二图像数据中除与多个图层中的第二图层对应的坐标值之外的其他坐标值对应的像素点的颜色值，调整至与多个图层中的第二图层的颜色值一致；其中，第二图层为多个图层中的除底色图层外的其他图层，且第二图层包括一个或多个子图层。

方式三：在第二图层包括多个子图层的情况下，处理器，用于在将第二图像数据中除与多个图层中的第二图层对应的坐标值之外的其他坐标值对应的像素点的颜色值，调整至与多个图层中的第二图层的颜色值一致之后，将第二图像数据中与第二图层的颜色值一致的多个子图层中的部分子图层的颜色值调整至与第一图层的颜色值一致；其中，第一图层为待处理文件的底色图层；和/或，

在将第二图像数据中除与多个图层中的第二图层对应的坐标值之外的其他坐标值对应的像素点的颜色值，调整至与多个图层中的第二图层的颜色值一致之后，将第二图像数据中与第二图层的颜色值一致的多个子图层中的一部分子分图层的颜色值调整至与多个子图层中的其中之一子图层的颜色值一致。

方式四：处理器用于获取第一图像数据中的第二图层在第一坐标信息中的坐标信息；移动在第二图像数据中与第二图层的坐标信息对应的像素点的位置；其中，第二图层为多个图层中的除底色图层外的其他图层，且第二图层包括一个或多个子图层。

可选地，摄像组件包括：滤光切换组件和感光组件；

其中，在滤光组件滤掉第二光的情况下，感光组件通过第一光对待处理文件进行图像数据采集；在滤光组件滤掉第一光的情况下，感光组件通过第二光对待处理文件进行图像数据采集。

需要说明的是，本实施例中的第一光可以为不可见光，第二光可以为可见光。

实施例4

下面结合本发明的可选实施例的对本发明实施例的进行举例说明；

本可选实施例提供了利用不可见光处理文档图像的装置，其中，硬件部分该装置包括：中央处理器模块(对应于实施例3中的处理器)、摄像头模块(对应于实施例3中的摄像组件)、不可见光的补光模块(对应于实施例3中的补光灯组件)；其中，中央处理器模块，用于进行图像数据的处理工作；摄像头模块用于拍摄包含不可见光光谱的图像数据源，并且能够通过硬件或者软件处理的方式对不可见光和可见光部分分别进行分离，并传输到中央处理器进行处理。不可见光补光模块，用于发射不可见光的补光灯，通过总线与中央处理模块控制相连接，并受中央处理器控制其开关状态。

基于上述硬件模块，对本可选实施例利用不可见光处理文档图像的流程进行说明：首先，启动文档拍摄功能，设备进入文档拍摄模式以启动拍摄模块以及图像处理模块；其次，触发拍摄模块控制不可见光补光灯打开，进而拍摄模块控制摄像头进行图像数据采集，分别采集其中的不可见光部分和可见光部分，分别存到两个图像格式中。

此外，图像处理模块对不可见光部分进行分析处理，根据不可见光照射在不同颜色上的反射率的不同，导致图像中各个像素点的亮度值会不同，对于颜色值相近的像素点进行归类处理，这部分像素点就为同一图层的像素点，并将像素点位置进行记录，分别将不同图层的像素点位置存储到不同数组中。将不同图层的像素点位置的数组与可见光图像中的像素点相对应，将不同图层的图像分别提取出来，并分别存储；最后，根据用户要求对不同图层图像进行进一步处理。

图3是根据本发明实施例的硬件位置结构示意图，如图3所示，摄像头模块与不可见光补光灯模块处于同一平面，保证摄像头模块可以采集到不可见光补光灯发出的不可见光；此外，本可选实施例中的不可见光补光灯有两个光源，一个光源发出可见光，用于拍照时的闪光灯使用；另一个光源可以发出红外光，用于红外补光。红外线对于人眼是不可见的，但是对于本实施例中的摄像头，可以采集到红外光谱部分以及可见光光谱部分。并且可以通过滤镜或者软件，可以分别过滤出红外光谱部分的图像和可见光光谱部分的图像。

图4是根据本发明实施例的摄像头的结构示意图，如图4所示，该摄像头有两个部分组成，分别为滤光切换模块(对应于实施例3总的滤光切换组件)以及感光元件(对应于实施例3中的感光组件)以及其他必须的组成部分，感光元件为常见ccdcmos以及其他可以用作观光功能的元件，滤光切换模块有两层滤光片，分别为可见光滤光片和红外滤光片，其中，可见光滤光片可以过滤掉所有的非可见光谱，让感光元件只接收到可见光谱部分的图像，得到可见光图像，红外滤光片可以过滤掉所有的非红外光谱，让感光元件只接收到红外光谱部分的图像，得到红外图像。滤光切换模块为机械式，通过电信号控制可见滤光片和红外滤光片其中一个位于感光元件的前方，进行滤光作用，正常模式下，红外滤光片处于收起状态，感光元件采集可见光图像，在进行文档拍摄时，用户按下快门，滤光切换模块首先保持可见光滤光片工作，采集可将光图像，然后收起可将光滤光片，放下红外滤光片，采集红外图像。

需要说明的是，摄像头模块也可以采用软件处理方式，不增加滤光切换模块，通过感光元件采集所有光谱的信号，通过软件进行过滤，其中波长大于760nm的为红外光谱，波长小于760nm的为可见光谱。

图5是根据本发明实施例的滤光切换模块的电路示意图，如图5所示，可见光滤光片与红外滤光片与切换模块之间通过支架相连，支架的顶端有永磁铁，两个滤光片的支架顶端的永磁铁磁极相反，如图5所示，正常拍照模式下，切换模块加正电压+v，连接切换模块底端磁极为n，则可见光滤光片支架同极排斥，向下延伸，挡在感光元件前方，红外滤光片顶支架异极相吸，向上收起，此时摄像头出于可见光拍摄模式。当摄像头模块收到系统指令，拍摄红外照片时，切换模块加负电压-v，连接切换模块底端磁极为s，则红外滤光片支架同极排斥，向下延伸，挡在感光元件前方，可见光滤光片顶支架异极相吸，向上收起，此时摄像头处于红外拍摄模式。

需要说明的是，该滤光镜切换模块可以采用其他机械装置，通过不同的电信号控制滤光片的升起与落下。

结合上述图3至图5对本实施例中的利用不可见光处理文档图像的步骤包括：

步骤s201：文档拍摄模式启动，补光灯进入红外线发射模式，此时补光灯的红外光源处于工作状态。摄像头进入文档拍摄模式，在滤光切换模块加正向电压+v。

步骤s202：用户拍照，摄像头模块控制补光灯发射红外线进行补光，同时系统发送指令控制摄像头模块拍摄照片。

步骤s203:摄像头模块接收系统拍摄指令后，维持滤光切换模块正向电压+v采集图像，采集到可见光图像，然后在滤光切换模块加负向电压-v，采集红外图像。

其中，摄像头模块采集的图像格式为raw格式，转换为yuv格式供下一步处理，分别存储在两个数组缓存中，可见光图像数据数组为a，红外图像数据数组为b。

步骤s204：图层分离。

(1)可见光数据数组a进行二值化处理，取可见光图像数据数组中的y值，对于某一像素点的y值；

当y>m(门限值)时，y＝255；

当y<m(门限值)时，y＝0；

采用上述全局二值化处理时，门限值m的取值可以取所有像素点的y值的平均值。另外此处可以采用局部二值化，就是按照一定的规则将整幅图像划分为n个窗口，对这n个窗口中的每一个窗口再按照一个统一的阈值m将该窗口内的像素划分为两部分，进行二值化处理，局部二值化时可以采用精度更高的自适应门限值方式。该方法的阈值是通过对该窗口像素的平均值e，像素之间的差平方p，像素之间的均方根值q等各种局部特征，设定一个参数方程进行阈值的计算，例如：m＝a*e+b*p+c*q，其中a，b，c是自由参数。另外m值的确认也可以采用双峰法，p参数法，迭代法，otsu法等。

记录所有y＝255的点的坐标值，y＝255的区域为底色区域。对应纸质文档来说就是纸张的颜色，即底色区域，记录底色区域点的坐标值为d。其余点的坐标为文字区域。底色区域和文字区域的坐标值在可见光图像和不可见光图像中是一一对应，保持一致的。

(2)对于不可见光数据数组b，取所有坐标点的y值的数组。将该数组中底色区域的y值全部置0，形成一个矫正的数组ye，利用ye的值进行正态分布处理，如下图7所示，横坐标为ye的值，纵坐标为坐标点的数量。

(3)根据ye的分布曲线，可以获取图像数组中的几个波峰，每个波峰对应一个图层，选取面积最大的波峰点值y0，满足y0-m0<ye<y0+m0(此处的m0为此波峰分布的门限值，可以取次分布的方差)的点即为该波峰对应图层的点，将这些点的坐标进行存储记为图层0，坐标数据存于数组w中。

(4)以此类推，分布获取图层1图层2，当某个图层的点的个数小于门限值mt时，停止图层分配。

(5)图层1、图层2…图层n之外的所有点坐标进行存储，分别记为数组z1，数据z2…数组zn记为注释图层。

需要说明的是，该图层分离也可以采用其他数学算法，如利用期望方差值逐层剥离数据，利用连续的相同数据确定一个同类元素值，然后根据这个值寻找其他同类元素。

步骤s205：获取底色图层、图层0、图层1、图层2…之后，将图层与可见光图像数据结合，每一个图层的点对应相应的颜色值。得到了将不同颜色值进行分离的图像数据。

得到最终的可见光图像数据与图层数据之后，系统可以利用这些数据进行进一步的处理。对应关系如下

可见光图像——数组a

红外图像——数组b

底色图层——数组d

图层0——数组w

图层1——数组z1

图层2——数组z2

利用红外光直射时，不同颜色，不同材质对不可见光的吸收率不同，反射的光线就不同，当红外光照射某一材质的不同颜色时，不同颜色部分在红外光下成像的颜色值就有所不同，通过颜色值的区分，就可以将不同颜色进行分类，也就是上面提到图层，每一个图层对应一个颜色。

对于最常见的单色印刷书籍用户用笔做注释的情况，

底色图层--数组d，对应在可见光中的颜色即为纸张的颜色，取所有数组d内元素的平均值，得到纸张的平均颜色。

图层0--数组w，图层0是取红外图像数组d的分布中波峰面积最大的一种颜色对应的图层，对于印刷体文档来说，除去底色图层，分布最多的应该是印刷文字部分，那么图层0就对应着印刷体部分的数据，数组d即为印刷体所在的坐标位置。

图层1、图层2…，这些图层对应即为文档中注释部分，每一个图层正态分布峰值对应的y值的不同，是不同颜色在红外光成像下的亮度不同导致的，那么一个图层对应着一种颜色，坐标位置分布为z1，z2…。

基于此本实施例的上述步骤s201-至s205，可以进行以下操作；

(1)文档还原：取可见光图像的数据数组a，计算底色图层的d颜色平均值d0，将数组a中z1、z2等所有的注释图层坐标值对应的颜色值修改为d0，即将图层1、图层2等注释部分的数据填充为底层图层的颜色平均值，得到数组a0，那么a0即为还原后的文档。进一步的可以进行文字识别等操作。

(2)注释颜色区分：图层1、图层2等注释图层对应的坐标位置z1、z2即为不同颜色注释对应的坐标位置，在a中，取z1坐标点的所有像素点的颜色值的平均值，记为颜色1，那么颜色1即为图层1的颜色。相同的方法获取图层2的颜色2。

z1——图层1——颜色1

z2——图层2——颜色2

(3)注释的隐藏与显示：在1和2的基础上，可以通过对数组a0的值进行处理，可以实现不同颜色注释的隐藏与显示，a0为原始文档，即为隐藏注释的文档；在a0数组中，把z1对应坐标位置的点颜色值充为颜色1，填充后的数组即为显示颜色1的注释的图像。以此类推，可以得到显示颜色2的注释的图像，以及各种颜色组合注释的图像。

(4)注释的移动：当某些注释位于印刷文字区域内时，可以将注释移动到空白部分

取图层0的数组w，对坐标值的数组w的值进行处理，取所有横坐标s的最小值s0与最大值s1，所有点纵坐标t的最小值t0和最大值t1，那么坐标点(s0，t0)(s0，t1)(s1，t0)(s1，t1)组成的矩形即为印刷体的区域，取图层1，图层2等注释图层中的z1，z2的横纵坐标sz和tz，当满足

s0<sz<s1且t0<tz<t1

则该坐标位于印刷体区域内，对该坐标进行平移处理。

sz(e)＝sz+ts

tz(e)＝tz+tt

横坐标平移量ts，纵坐标平移量tt由该坐标邻近的所有属于同一注释图层的坐标点集合计算获取。

在数组a中，将调整后的sz(e)tz(e)对应的注释图层的坐标点的颜色值修改为对应的颜色，将原注释图层坐标点的颜色值修改为底色图层颜色值d0，即实现了注释的移动。

通过本实施例的上述方式，利用红外线对文档扫描进行加强处理，实现了注释识别，颜色识别等多种创新功能；此外，还能很好解决当前用户遇到的扫描边际模糊，二值化处理效果不好，手写与印刷体无法区分的问题。

本发明的实施例还提供了一种存储介质。可选地，在本实施例中，上述存储介质可以被设置为存储用于执行以下步骤的程序代码：

s1：通过第一光对待处理文件进行图像数据采集，得到待处理文件的第一图像数据中像素点的颜色值以及第一图像的像素点在第一图像数据中的第一坐标信息；

s2：通过第二光对待处理文件进行图像数据采集，得到待处理文件的第二图像数据中像素点的第一坐标信息；

s2：根据第一图像数据中像素点的颜色值对第二图像数据中与第一图像数据中像素点的坐标信息相对应的像素点进行调整。

可选地，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。

显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。