图像处理方法、装置及三维成像系统与流程

本发明涉及图像处理技术领域，具体涉及一种图像处理方法、装置及三维成像系统。

背景技术

立体视觉，即双眼视物时，主观上可产生被视物体的厚度以及空间的深度或距离等感觉。其主要原因是，同一被视物体在两眼视网膜上的像并不完全相同，左眼从左方看到物体的左侧面较多，而右眼则从右方看到物体的右侧面较多；来自两眼的图像信息经过视觉高级中枢处理后，产生一个有立体感的物体的形象。

随着显示技术和数字技术的发展，利用电子产品模仿人眼的立体视觉已经成为研究热点。在现有技术中，只有采用三维(3d)摄像头才能使用户看到3d图像。现有的3d摄像头多数是模仿人眼的结构，由双摄像头构成，一个摄像头采集的图像对应于人眼的左眼图像，另一个摄像头采集的图像对应于人眼的右眼图像，再利用图像处理设备合成左眼图像以及右眼图像，即可形成3d图像。

其中，现有技术中的三维成像系统中，由于是通过两个摄像头分别采集左眼图像以及右眼图像，并对两幅图像分别处理，以用于后续的三维成像。但是，该图像处理方法从获取到图像到处理完成，具有较大的时延，对于一些对实时性要求较高的场合并不适用。

技术实现要素：

有鉴于此，本发明实施例提供了一种图像处理方法、装置及三维成像系统，以解决图像处理的时延较大的问题。

根据第一方面，本发明实施例提供了一种图像处理方法，包括：

获取待处理二维图像；

将所述待处理二维图像对齐到网格模板上，所述网格模板用于对所述待处理二维图像进行网格划分；

利用网格映射表对所述待处理二维图像进行映射处理，得到第一图像，其中，所述网格映射表用于表示网格图像的映射关系；

镜像所述第一图像，得到第二图像，其中，所述第一图像为左眼图像，所述第二图像为右眼图像；或，所述第一图像为所述右眼图像，所述第二图像为所述左眼图像；

合成所述第一图像与所述第二图像，得到所述第一图像与所述第二图像的重影。

本发明实施例利用网格模板以及网格映射表，对待处理二维图像进行映射处理，以模拟人眼的所获得的左眼图像以及右眼图像；即，本方法只需对同一待处理二维图像进行一次映射处理，能够得到左眼图像以及右眼图像，减少了图像处理的步骤，从而缩短了图像处理的时间，为后续将重影的二维图像转换成三维图像的实时性提供了条件。

结合第一方面，在第一方面第一实施方式中，所述网格映射表包括所述网格模板中每个网格的编号；对应于所述编号，所述网格映射表中存储有映射后的所述网格图像的信息。

本发明实施例通过对网格模板中的每个网格进行编号，利用编号一一对应映射后的网格图像的信息，避免多个网格图像并行处理时出现映射后网格图像信息的错乱，提高了后续映射处理的准确性。

结合第一方面第一实施方式，在第一方面第二实施方式中，所述利用网格映射表对所述待处理二维图像进行映射处理，得到第一图像，包括：

利用所述网格模板对所述待处理二维图像进行分割，形成若干待处理网格图像；

获取所述待处理网格图像的编号；

查找所述网格映射表，提取对应于所述编号的所述网格图像的信息；

利用提取出的所述网格图像的信息，对所述待处理网格图像进行处理；

组合处理后的所述待处理网格图像，得到所述第一图像。

本发明实施例对应于分割后的每个待处理网格图像，利用编号从网格映射表中提取相应的网格图像信息，对待处理网格图像进行处理。其中，各个待处理二维图像通过编号进行区分，能够实现多个待处理网格图像的同时处理，提高了图像处理的效率。

结合第一方面第二实施方式，在第一方面第三实施方式中，所述网格图像的信息为所述网格图像的尺寸；

所述利用提取出的所述网格图像的信息，对所述待处理网格图像进行处理，包括：

按照提取出的所述网格图像的尺寸，对所述待处理网格图像进行缩放处理。

本发明实施例利用网格映射表中存储的映射后的网格图像的尺寸，对各个待处理网格图像进行缩放处理，即从图像尺寸角度对待处理网格图像进行处理，而不涉及图像的分辨率，像素等等信息，一方面能够保证图像质量，另一方面能够提高处理效率。

结合第一方面，在第一方面第四实施方式中，所述合成所述第一图像与所述第二图像，得到所述第一图像与所述第二图像的重影，包括：

对齐所述第一图像与所述第二图像的一侧边，所述第一图像的侧边的中心点与所述第二图像的侧边的中心点重合；

沿所述侧边的中心线平移所述第一图像或第二图像，得到所述重影。

结合第一方面，在第一方面第五实施方式中，所述待处理二维图像为视频流中的一帧图像。

根据第二方面，本发明实施例提供了一种图像处理装置，包括：

获取模块，用于获取待处理二维图像；

对齐模块，用于将所述待处理二维图像对齐到网格模板上，所述网格模板用于对所述待处理二维图像进行网格划分；

映射模块，用于利用网格映射表对所述待处理二维图像进行映射处理，得到第一图像，其中，所述网格映射表用于表示网格图像的映射关系；

镜像模块，用于镜像所述第一图像，得到第二图像；

合成模块，用于合成所述第一图像与所述第二图像，得到所述第一图像与所述第二图像的重影。

本发明实施例利用网格模板以及网格映射表，对待处理二维图像进行映射处理，以模拟人眼的所获得的左眼图像以及右眼图像；即，本装置只需对同一待处理二维图像进行一次映射处理，能够得到左眼图像以及右眼图像，减少了图像处理的步骤，从而缩短了图像处理的时间，为后续将重影的二维图像转换成三维图像的实时性提供了条件。

根据第三方面，本发明实施例提供了一种图像处理设备，包括：

存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器中存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行本发明第一方面，或第一方面任意一种实施方式中所述图像处理方法。

根据第四方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使所述计算机执行本发明第一方面，或第一方面任意一种实施方式中所述的图像处理方法。

根据第五方面，本发明实施例提供了一种三维成像系统，包括：

图像采集设备，采集图像的镜头由单镜头组成，用于获取待处理二维图像；

本发明第三方面中所述的图像处理设备，与所述图像采集设备电连接，用于对所述待处理二维图像进行处理；

图像显示设备，与所述图像处理设备电连接，用于显示三维图像。

本发明实施例提供的三维成像系统，其中，图像采集设备的镜头由单镜头组成，其采集设备不需要如双镜头那样使用两个图像采集系统，减小了整个图像采集设备的体积；此外，单镜头的图像采集设备的外径可以比双镜头小很多，使得该三维成像系统能够应用于尺寸较小的人体器官内，对人体器官进行三维成像，进一步提高了三维成像系统的使用范围。

附图说明

通过参考附图会更加清楚的理解本发明的特征和优点，附图是示意性的而不应理解为对本发明进行任何限制，在附图中：

图1示出了本发明实施例中图像处理方法的一个具体示意的方法流程图；

图2示出了本发明实施例中图像处理方法的另一个具体示意的方法流程图；

图3示出了本发明实施例中网格模板划分的一个具体示意图；

图4示出了本发明实施例中映射变换的原理示意图；

图5示出了本发明实施例中图像处理方法的另一个具体示意的方法流程图；

图6示出了本发明实施例中收敛角与左右眼图像之间距离的关系的示意图；

图7示出了本发明实施例中图像处理装置的一个具体示意的结构示意图；

图8示出了本发明实施例中图像处理装置的另一个具体示意的结构示意图；

图9示出了本发明实施例中图像处理设备的一个具体示意的结构示意图；

图10示出了本发明实施例中三维成像系统的一个具体示意的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明提供的图像处理方法，用于模拟人眼所观察到的左眼图像以及右眼图像。具体地，通过将获取到的待处理二维图像映射处理，创造出双眼视差图像，即左眼图像以及右眼图像，实现立体视觉；此外，合成左眼图像以及右眼图像，得到第一图像与第二图像的重影，创建收敛角。后续，可以本发明三维成像系统中的图像显示设备，并结合双眼视差图像，以及收敛角，即可形成3d图像。

本发明实施例提供了一种图像处理方法，如图1所示，该方法包括：

s11，获取待处理二维图像。

图像处理装置获取到的待处理二维图像可以是二维图片；也可以是视频流中的一帧图像；也可以是实时采集视频，并从中提取出每帧图像，只需保证该图像处理装置能够获取到待处理二维图像即可。

s12，将待处理二维图像对齐到网格模板上。

其中，网格模板用于对待处理二维图像进行网格划分。具体地，该网格模板用于对待处理二维图像进行归一化处理，可以将任意尺寸的待处理二维图像等比例缩放，以形成缩放后的待处理二维图像的尺寸与该网格模板匹配。

s13，利用网格映射表对待处理二维图像进行映射处理，得到第一图像。

其中，网格映射表用于表示网格图像的映射关系。网格映射表可以通过网格编号进行索引，也可以事先规定网格映射表中的映射关系是按照网格模板从左往右，从上往下进行存储的(即，事先规定网格映射表内相关信息的存储顺序)，也可以采用其他方式进行索引。

图像处理装置利用该网格映射表中存储的映射关系，对待处理二维图像进行映射处理，例如，可以对整个待处理二维图像进行处理，或者，也可以将待处理二维图像进行分割，对分割后的图像进行处理等等。即图像处理装置在待处理二维图像的基础上，进行映射处理，形成第一图像。其中，映射关系可以为：变换后的图像近端显大，远端显小；也可以是通过公式计算出透视后图像等等。

s14，镜像第一图像，得到第二图像。

其中，第一图像为左眼图像，第二图像为右眼图像；或，第一图像为右眼图像，第二图像为左眼图像。

本发明发明人通过多次实验得出，人眼所观察到的左眼图像与右眼图像为镜像图像，即对映射后得到的第一图像进行镜像处理后，就能够得到第二图像。

s15，合成第一图像与第二图像，得到第一图像与第二图像的重影。

图像处理装置对第一图像以及第二图像进行合成，得到第一图像与第二图像的重影。可以将合成后的第一图像以及第二图像输出至图像显示设备，用于后续的三维图像显示。其中，后续图像显示设备可以通过调节左眼图像与右眼图像的偏振方向，使得两幅图像的偏振方向相互垂直，用户在使用时，佩戴3d眼镜即可实现3d图像的观看；也可以采用其他方式实现偏振方向的调节，只需保证在人的两只眼睛分别看见的两幅图像的偏振方向相互垂直即可。

本发明实施例利用网格模板以及网格映射表，对待处理二维图像进行映射处理，以模拟人眼的所获得的左眼图像以及右眼图像；即，本方法只需对同一待处理二维图像进行一次映射处理，能够得到左眼图像以及右眼图像，减少了图像处理的步骤，从而缩短了图像处理的时间，为后续将重影的二维图像转换成三维图像的实时性提供了条件。

本发明实施例还提供了一种图像处理方法，如图2所示，该方法包括：

s21，获取待处理二维图像。详细请参见图1所示实施例的s11，在此不再赘述。

s22，将待处理二维图像对齐到网格模板上。

其中，网格模板用于对待处理二维图像进行网格划分。网格模板可以划分出若干网格，每个网格对应于唯一的标号，如图3所示，需要说明的是，网格模板所划分出的网格的数量可以根据实际使用情况进行具体设置，而不限于图3所示的数量。此外，网格的编码方式也不限于此，所有能够将所有网格区分开的编码方式都属于本发明的保护范围。

s23，利用网格映射表对所述待处理二维图像进行映射处理，得到第一图像。

其中，网格映射表用于表示网格图像的映射关系。本实施例中，网格映射表包括网格模板中每个网格的编号。且对应于编号，网格映射表中存储有映射后的网格图像的信息。

网格映射表可以采用如下形式表示：

具体地，包括如下步骤：

s231，利用网格模板对待处理二维图像进行分割，形成若干待处理网格图像。

图像处理装置将待处理二维图像对齐到网格模板之后，利用网格模板中网格的划分方式，对待处理二维图像进行分割，形成若干待处理网格图像。其中，分割后的待处理网格图像的编号与网格模板中对应位置的网格的编号相同，以便于利用该编号，查询网格映射表，获取网格图像的信息。

s232，获取待处理网格图像的编号。

图像处理装置对待处理二维图像进行分割后，利用网格模板中各网格的编号对待处理网格图像进行编号，具体如上所述，待处理网格图像的编号与网格模板中对应位置的网格的编号相同。因此，图像处理装置只需提取对应位置的网格的编号即可，不需对待处理网格图像进行二次编号，节约了处理时间。

s233，查找网格映射表，提取对应于编号的网格图像的信息。

图像处理装置利用待处理网格图像的编号从网格映射表中查询对应于该编号的网格图像的信息。其中，网格图像的信息可以为映射后网格图像的尺寸，也可以是映射后网格图像各端点在网格映射表中的坐标数据等等。

可选地，本实施例中，在网格映射表中存储的是映射后网格图像的尺寸信息。

s234，利用提取出的网格图像的信息，对待处理网格图像进行处理。

图像处理装置利用提取出的网格图像的尺寸信息，对待处理网格图像进行处理。其中，映射变换的原理如图4所示，映射变换为对原始图像的左侧的边为旋转轴，向屏幕内部翻转一定角度，以及向屏幕外旋转相同的角度，分别形成于图4中间以及最右边的图像。本实施例中通过线性缩放待处理二维图像的尺寸，使得缩放后的第一图像以及第二图像达到图4所示的效果。即，图像处理装置按照提取出的网格图像的尺寸，对待处理网格图像进行缩放处理，具体可以包括以下步骤：

1)逐行扫描待处理网格图像。

图像处理装置将待处理网格图像进行逐行扫描，获取待处理网格图像每行的尺寸。

2)依次对每行的图像进行线性缩放。

图像处理装置按照一端显大，另一端显小的原则，对待处理网格图像的每行尺寸进行线性缩放，得到尺寸缩放后的第一图像。通过依次对每行进行线性缩放，减小了处理的数据量，能够实现图像处理的效率。

s235，组合处理后的待处理网格图像，得到第一图像。

图像处理装置利用待处理网格图像的编号，对映像处理后的图像进行重新组合，得到第一图像。

s24，镜像第一图像，得到第二图像。

其中，第一图像为左眼图像，第二图像为右眼图像；或，第一图像为右眼图像，第二图像为左眼图像。详细请参见图1所示实施例的s14，在此不再赘述。

s25，合成第一图像与第二图像，得到第一图像与第二图像的重影。详细请参见图1所示实施例的s15，在此不再赘述。

与图1所示实施例相比，本实施例利用网格映射表中存储的映射后的网格图像的尺寸，对各个待处理网格图像进行缩放处理，即从图像尺寸角度对待处理网格图像进行处理，而不涉及图像的分辨率，像素等等信息，一方面能够保证图像质量，另一方面能够提高处理效率。

本发明实施例还提供了一种图像处理方法，如图5所示，该方法包括：

s31，获取待处理二维图像。详细请参见图2所示实施例的s21，在此不再赘述。

s32，将待处理二维图像对齐到网格模板上。

其中，网格模板用于对待处理二维图像进行网格划分。详细请参见图2所示实施例的s22，在此不再赘述。

s33，利用网格映射表对待处理二维图像进行映射处理，得到第一图像，其中，网格映射表用于表示网格图像的映射关系。详细请参见图2所示实施例的s23，在此不再赘述。

s34，镜像第一图像，得到第二图像，其中，第一图像为左眼图像，第二图像为右眼图像；或，第一图像为右眼图像，第二图像为左眼图像。详细请参见图2所示实施例的s24，在此不再赘述。

s35，合成第一图像与第二图像，得到第一图像与第二图像的重影。

图像处理装置调节映像处理之后形成的左眼图像以及右眼图像之间的距离，用于创造出收敛角。本申请发明人通过多次实验得出，图像之间的距离发生改变时，相应的收敛角改变。例如，如图6所示，描述了收敛角与左右眼图像之间的距离的关系，如图6a)所示，当收敛角为α1时，左右眼之间的距离较小；如图6b)所示，当收敛角为α2时，左右眼之间的距离较大；即随着左右眼之间的距离的变换，收敛角也会产生相应的变化。因此，本发明中通过调节左右眼图像之间的距离，创造出收敛角。即，调节左眼图像与右眼图像之间的距离，使得两幅图像发生重影。

具体包括如下步骤：

s351，对齐第一图像与第二图像的一侧边。

其中，第一图像的侧边的中心点与第二图像的侧边的中点重合。

图像处理装置沿第一图像以及第二图像的侧边对齐，且分别对应于第一图像以及第二图像，所对齐的侧边的中心点重合。

s352，沿侧边的中点线平移第一图像或第二图像，得到重影。

图像处理装置沿第一图像以及第二图像所对齐的侧边的中心线，平移第一图像或第二图像，可以是平移第一图像或第二图像中的一个，或者第一图像以及第二图像分别沿相反的方向移动，形成第一图像与第二图像的重影。

与图2所示实施例的图像处理方法相比，本实施例中通过平移第一图像或第二图像，使得左眼图像与右眼图像之间具有一定的距离，用于创造出收敛角。后续，可以本发明三维成像系统中的图像显示设备，并结合双眼视差图像，以及收敛角，即可形成3d图像。

本发明实施例还提供了一种图像处理装置，如图7所示，该装置包括：

获取模块41，用于获取待处理二维图像。

对齐模块42，用于将待处理二维图像对齐到网格模板上，网格模板用于对所述待处理二维图像进行网格划分。

映射模块43，用于利用网格映射表对待处理二维图像进行映射处理，得到第一图像，其中，网格映射表用于表示网格图像的映射关系。

镜像模块44，用于镜像第一图像，得到第二图像。

合成模块45，用于合成第一图像与所述第二图像，得到第一图像与第二图像的重影。

本发明实施例中提供的图像处理装置，利用网格模板以及网格映射表，对待处理二维图像进行映射处理，以模拟人眼的所获得的左眼图像以及右眼图像；即，本方法只需对同一待处理二维图像进行一次映射处理，能够得到左眼图像以及右眼图像，减少了图像处理的步骤，从而缩短了图像处理的时间，为后续将重影的二维图像转换成三维图像的实时性提供了条件。

在本实施例的一些可选实施方式中，如图8所示，映射模块43，包括：

分割单元431，用于利用所述网格模板对所述待处理二维图像进行分割，形成若干待处理网格图像。

获取单元432，用于获取所述待处理网格图像的编号。

查找单元433，用于查找所述网格映射表，提取对应于所述编号的所述网格图像的信息。

处理单元434，用于利用提取出的所述网格图像的信息，对所述待处理网格图像进行处理。

组合单元435，用于组合处理后的所述待处理网格图像，得到所述第一图像。

本发明实施例还提供了一种图像处理设备，如图9所示，该图像处理设备可以包括处理器51和存储器52，其中处理器51和存储器52可以通过总线或者其他方式连接，图9中以通过总线连接为例。

处理器51可以为中央处理器(centralprocessingunit，cpu)。处理器51还可以为其他通用处理器、数字信号处理器(digitalsignalprocessor，dsp)、专用集成电路(applicationspecificintegratedcircuit，asic)、现场可编程门阵列(field-programmablegatearray，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片，或者上述各类芯片的组合。

存储器52作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块，如本发明实施例中的图像处理方法对应的程序指令/模块(例如，图7所示的获取模块41、对齐模块42、映射模块43、镜像模块44以及合成模块45)。处理器51通过运行存储在存储器52中的非暂态软件程序、指令以及模块，从而执行处理器的各种功能应用以及数据处理，即实现上述方法实施例中的图像处理方法。

存储器52可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储处理器51所创建的数据等。此外，存储器52可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中，存储器52可选包括相对于处理器51远程设置的存储器，这些远程存储器可以通过网络连接至处理器51。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

所述一个或者多个模块存储在所述存储器52中，当被所述处理器51执行时，执行如图1，图2以及图5所示实施例中的图像处理方法。

上述图像处理设备具体细节可以对应参阅图1，图2以及图5所示的实施例中对应的相关描述和效果进行理解，此处不再赘述。

本发明实施例还提供了一种三维成像系统，如图10所示，该系统包括：图像采集设备61，图像处理设备62以及图像显示设备63。

其中，图像采集设备61中，用于采集图像的镜头由单镜头组成，用于获取待处理二维图像。图像处理设备62与图像采集设备61电连接，用于将图像采集设备61输出的待处理二维图像进行处理。图像显示设备63，与图像处理设备62电连接，用于显示图像处理设备62输出的图像。

本发明实施例提供的三维成像系统，其中，图像采集设备61的镜头由单镜头组成，其采集设备不需要如双镜头的那样使用两个图像采集系统，减小了整个图像采集设备61的体积；此外，单镜头的图像采集设备的外径可以比双镜头小很多，使得该三维成像系统能够应用于尺寸较小的物体内部，例如当该三维成像系统应用于内窥镜中，对人体器官进行三维成像，进一步提高了三维成像系统的使用范围。

本领域技术人员可以理解，实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述存储介质可为磁碟、光盘、只读存储记忆体(read-onlymemory，rom)、随机存储记忆体(randomaccessmemory，ram)、快闪存储器(flashmemory)、硬盘(harddiskdrive，缩写：hdd)或固态硬盘(solid-statedrive，ssd)等；所述存储介质还可以包括上述种类的存储器的组合。

虽然结合附图描述了本发明的实施例，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下作出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。