图像处理方法、装置、设备、可读存储介质及程序产品

1.本技术涉及计算机技术领域，具体涉及图像处理方法、图像处理装置、计算机设备、计算机可读存储介质以及计算机程序产品。


背景技术：

2.随着计算机技术的不断发展和应用，越来越多的场景需要用到图像处理技术，例如通过图像处理技术获取目标对象的边缘图像。边缘图像通常具有较高的分析价值，例如，通过生成目标对象的边缘图像以进行图像修复、图像抠图，或者利用边缘图像对目标对象进行尺寸估算等。目前，常采用人工检测的方法获取目标对象的边缘图像。具体的，通过人眼和放大工具观察目标对象的图像，然后通过人工检测的方式在目标对象的图像上进行勾画，最终得到目标对象的边缘图像。上述方法主要依靠人眼去判断和规划，主观因素较强，感知能力受限，导致勾画出的边缘图像的精度较低。因此，如何提高边缘图像的生成效率和精度，是目前亟需解决的问题。


技术实现要素：

3.本技术提供了一种图像处理方法、装置、设备、可读存储介质及程序产品，可以提高边缘图像的生成效率和精度。
4.第一方面，本技术提供了一种图像处理方法，该方法包括：
5.获取目标对象的待处理图像集合，上述待处理图像集合包括常规彩色图像、多光谱图像和纹理图像中的至少两个；
6.调用图像处理模型对上述待处理图像集合中的每个图像分别进行区域识别处理，得到每个图像对应的待合成分割图像，上述待合成分割图像标记有多个区域；
7.将多个待合成分割图像融合为标记有多个区域的预测分割图像；
8.根据上述预测分割图像标记的多个区域对上述预测分割图像进行边缘提取处理，得到上述目标对象的预测边缘图像；
9.输出上述预测边缘图像，上述预测边缘图像用于辅助对上述目标对象的操作。
10.第二方面，本技术提供了一种图像处理装置，该装置包括：
11.获取模块，用于获取目标对象的待处理图像集合，上述待处理图像集合包括常规彩色图像、多光谱图像和纹理图像中的至少两个；
12.处理模块，用于调用图像处理模型对上述待处理图像集合中的每个图像分别进行区域识别处理，得到每个图像对应的待合成分割图像，上述待合成分割图像标记有多个区域；
13.上述处理模块，还用于将多个待合成分割图像融合为标记有多个区域的预测分割图像；
14.上述处理模块，还用于根据上述预测分割图像标记的多个区域对上述预测分割图像进行边缘提取处理，得到上述目标对象的预测边缘图像；
15.输出模块，用于输出上述预测边缘图像，上述预测边缘图像用于辅助对上述目标对象的操作。
16.第三方面，本技术提供了一种计算机设备，包括：处理器、存储装置和通信接口，上述处理器、上述通信接口和上述存储装置相互连接，其中，上述存储装置存储有可执行程序代码，上述处理器用于调用上述可执行程序代码，用以实现上述的图像处理方法。
17.第四方面，本技术提供了一种计算机可读存储介质，上述计算机可读存储介质存储有计算机程序，上述计算机程序包括程序指令，上述程序指令被处理器执行，用以实现如上述的图像处理方法。
18.第五方面，本技术提供了一种计算机程序产品，上述计算机程序产品包括计算机程序或计算机指令，上述计算机程序或计算机指令被处理器执行，用以实现上述的图像处理方法。
19.本技术获取目标对象的待处理图像集合，待处理图像集合可以包括常规彩色图像、多光谱图像和纹理图像中的多个，相比于使用单一的常规彩色图像进行图像处理，上述步骤能够保证数据维度的丰富度。本技术通过调用图像处理模型对待处理图像集合进行区域识别处理，得到每个图像对应的标记有多个区域的待合成分割图像，其中，每个图像包含了丰富的特征信息，通过区域识别处理得到的多个区域对应多个类别的特征信息，便于后续基于预测分割图像中的多个区域进行边缘提取操作，提高了边缘提取的准确度和效率，然后再将包含了多维度特征信息的多个待合成分割图像融合为预测分割图像，提高了预测分割图像的区域划分的准确性。本技术根据预测分割图像标记的多个区域可以对预测分割图像进行边缘提取处理，得到目标对象的预测边缘图像，并最终输出预测边缘图像，由于预测边缘图像可以较好地展示目标对象的边缘形状，通过输出展示该边缘形状，可以辅助操作对象针对目标对象的诸如边缘勾画、尺寸估算等操作。并且本技术中的预测边缘图像是基于多种图像和图像处理模型生成的，可以生成高精度的边缘图像，为后续操作提供更客观、准确的操作建议。
附图说明
20.为了更清楚地说明本技术实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
21.图1a是本技术一个示例性实施例提供的一种获取目标对象边缘的操作示意图；
22.图1b是本技术一个示例性实施例提供的一种图像处理系统的架构示意图；
23.图2是本技术一个示例性实施例提供的一种图像处理方法的流程示意图；
24.图3是本技术一个示例性实施例提供的一种图像处理设备的结构示意图；
25.图4是本技术一个示例性实施例提供的另一种图像处理方法的流程示意图；
26.图5a是本技术一个示例性实施例提供的一种多光谱相机的结构示意图；
27.图5b是本技术一个示例性实施例提供的一种多光谱相机的采集图像展示图；
28.图5c是本技术一个示例性实施例提供的一种合成纹理图像的示意图；
29.图5d是本技术一个示例性实施例提供的一种生成预测分割图像的流程示意图；
30.图5e是本技术一个示例性实施例提供的一种标注分割图像的流程示意图；
31.图5f是本技术一个示例性实施例提供的一种训练图像处理模型的流程示意图；
32.图5g是本技术一个示例性实施例提供的一种图像采集设备的结构示意图；
33.图6是本技术一个示例性实施例提供的一种图像处理装置的示意框图；
34.图7是本技术一个示例性实施例提供的一种计算机设备的示意框图。
具体实施方式
35.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
36.需要说明的是，本技术实施例中所涉及到的“第一”、“第二”等描述仅用于描述目的，而不能理解为指示或者暗示其相对重要性或者隐含指明所指示的技术特征的数量。因此，限定有“第一”、“第二”的技术特征可以明示或者隐含的包括至少一个该特征。
37.本发明实施例可应用于人工智能、智慧医疗、增强现实、虚拟现实等领域或场景，下面将对几个典型应用场景进行介绍。
38.人工智能(artificial intelligence,ai)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、机器学习/深度学习等几大方向。本技术实施例提供的方案涉及人工智能技术下属的机器学习和计算机视觉技术，下面将对此进行叙述。
39.机器学习(machine learning,ml)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。机器学习专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习等技术。本技术主要涉及机器学习技术中的归纳学习技术，归纳学习技术旨在从大量的经验数据中归纳抽取出一般的判定规则和模式，是从特殊情况推导出一般规则的学习方法。具体来说，本技术提出的方法通过携带标注分割图像的样本图像进行模型训练，得到图像处理模型。当获取到任一待处理图像时，即可调用训练好的图像处理模型对待处理图像进行区域识别，生成预测分割图像，再对预测分割图像进行边缘提取，最终得到预测边缘图像。
40.计算机视觉技术(computer vision,cv)计算机视觉是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为
一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、ocr、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3d技术、虚拟现实、增强现实、同步定位与地图构建、自动驾驶、智慧交通等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。具体来说，本技术提出的方法可以由图像采集设备获取待检测图像，再利用计算机视觉技术将待处理图像进行处理，得到虚拟现实图像或增强现实图像以便于人眼观察，从而辅助针对目标对象的操作。
41.随着人工智能技术研究和进步，人工智能技术在多个领域展开研究和应用，例如常见的智能家居、智能穿戴设备、虚拟助理、智能音箱、智能营销、无人驾驶、自动驾驶、无人机、机器人、智能医疗、智能客服、车联网、自动驾驶、3d游戏等。随着技术的发展，人工智能技术将在更多的领域得到应用，并发挥越来越重要的价值。
42.目前，在进行外科手术前，医生通常会先通过皮肤镜确定诸如肿瘤等目标对象的边缘来辅助外科手术。皮肤镜又称皮表透光显微镜，其本质是一种可以放大数十倍的皮肤显微镜，能给医生提供放大倍数更高更清晰的病灶图像供医生进行诊断。请参见图1a，医生首先通过皮肤镜观察目标对象(对应图中步骤1)，然后移开皮肤镜并利用勾画工具(例如无菌记号笔)对目标对象的边缘进行勾画(对应图中步骤2)，重复上述过程直到边缘勾画完毕，最终得到勾画完毕后的目标对象边缘(对应图中步骤3)。
43.上述方法能够实现目标对象的边缘勾画，但是存在如下几个缺点。第一个缺点是因为皮肤镜的工作距离很短(也即是接触式观察)，医生在勾画边缘时必须挪开皮肤镜，医生依靠对皮肤镜图像的记忆对眼前的病灶进行勾画时已经产生了切换的误差；而且人眼观测时由于没有皮肤镜的辅助，观测精度低，从而引入勾画误差和手术误差。第二个缺点是皮肤镜视野通常很小，只能观察局部非常小的区域，影响总体的边缘走向的规划。第三个缺点是切缘的规划依靠人眼去判断和规划，人眼仅可观察可见光，感知能力受限。另外，皮肤镜也仅提供常规彩色图像，信息十分有限。第四个缺点是记号笔通常不够细，勾画精度低，而勾画一旦出错又不容易擦拭和修改，使得通过上述方法较难实现一次性勾画正确。
44.根据以上所述的传统方法的主要缺点，本技术的解决问题思路是：第一点是术前勾画不做皮肤镜观测目标对象与肉眼观测目标对象的切换，因为切换会带来误差。本技术提出一种非接触式图像采集设备采集待处理图像，保证目标对象与图像采集设备之间留有足够的空间让医生进行勾画操作，可以让医生一边观察放大的目标对象图像，一边进行勾画，消除了挪开图像采集设备的过程。并且，本技术还提供一个功能控件(例如一号脚踏板)使得医生可以通过该功能控件控制镜头的光学变倍。第二点是通过大量数据训练的人工智能(artificial intelligence，ai)算法输出预测边缘图像帮助医生进行边缘的勾画。第三点是通过外接的高清显示屏、头戴式虚拟现实设备(例如vr装置)、投影式增强现实设备(例如投影装置)来显示各种图像。第四点是显示的图像可以是偏振常规彩色图像、非偏振常规彩色图像、偏振多光谱图像(即通过多光谱相机采集图像后生成的伪彩色图像)、非偏振多光谱图像、纹理图像。并且，本技术还提供一个功能控件(例如二号脚踏板)使得医生可以通过该功能控件切换以上图像种类。第五点是通过将ai算法的结果(也即是预测边缘图像)通过虚拟现实的方式叠加显示在目标图像，或通过增强现实的方式显示。并且，本技术还提供一个功能控件(例如三号脚踏板)使得医生可以通过该功能控件选择是否显示ai结果。
45.基于此，本技术提供了一种结合光学变倍微距成像、多光谱成像、ai、虚拟现实和增强现实的图像处理设备，来辅助外科医生进行皮肤手术切缘勾画。首先，图像处理设备运用可进行光学变倍的常规彩色相机和多光谱相机的图像采集设备对目标对象进行图像采集，并实时成像，然后运用ai对目标对象的图像进行分析，计算出预测边缘图像，通过虚拟现实的方式将预测边缘图像叠加显示在目标图像上，或通过增强现实的方式显示预测边缘图像。医生可以通过头戴式vr设备沉浸式观察目标对象，并可以通过脚踏板选择显示ai结果，从而达到辅助皮肤手术勾画边缘的目的。
46.本技术提出的方法除了可以运用在医学领域，还可应用于多种图像处理领域。例如通过采集目标对象(例如植物、微生物等)的待处理图像集合，调用图像处理模型对待处理图像集合中的每个图像分别进行区域识别处理，得到每个图像对应的待合成分割图像；将多个待合成分割图像融合为标记有多个区域的预测分割图像(对于目标对象为植物来说，多个区域可以是预测分割图像中的根茎区域、叶片区域、非植物部分区域等；对于目标对象为微生物来说，多个区域可以是预测分割图像中的细胞核区域、细胞质区域、水溶液区域等)；然后根据预测分割图像标记的多个区域对预测分割图像进行边缘提取处理，得到目标对象的预测边缘图像，最终输出预测边缘图像(对于目标对象为植物来说，可以基于预测边缘图像进行抠图等操作；对于目标对象为微生物来说，可以根据预测边缘图像中不同区域的比例研究微生物的生命状态等)。本技术不对目标对象以及应用领域进行限制。
47.可以理解的是，在本技术的具体实施方式中，涉及到目标对象的待处理图像等相关的数据，当本技术以上实施例运用到具体产品或技术中时，相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。
48.本技术将具体通过如下实施例进行说明:
49.请参阅图1b，图1b是本技术一个示例性实施例提供的一种图像处理系统的架构示意图。该图像处理系统具体可以包括终端设备101和服务器102。其中，终端设备101和服务器102之间通过网络连接，比如，通过局域网、广域网、移动互联网等连接。操作对象在终端设备101上(例如，终端设备101上的客户端应用)进行操作，对各种数据进行采集。服务器102可以响应于该操作，为操作对象提供各种数据分析的服务。
50.具体的，服务器102可以获取由终端设备101(例如，终端设备101包括的图像采集设备)采集到的待处理图像集合；然后服务器102调用图像处理模型对待处理图像集合中的每个图像分别进行区域识别处理，并确定预测分割图像；服务器102根据预测分割图像标记的多个区域对预测分割图像进行边缘提取处理，得到目标对象的预测边缘图像；服务器102再将预测边缘图像发送给终端设备101(例如，终端设备101包括的头戴式虚拟现实设备或投影式增强现实设备)。
51.除此之外，本技术提供的方法也可以由单端执行(也即是只包括终端设备101，终端设备101中集成有能够进行图像处理的处理单元)。具体的，终端设备101通过图像采集设备获取待处理图像集合；然后调用图像处理模型对待处理图像集合中的每个图像分别进行区域识别处理，并确定预测分割图像；终端设备101根据预测分割图像标记的多个区域对预测分割图像进行边缘提取处理，得到目标对象的预测边缘图像；终端设备101再通过头戴式虚拟现实设备或投影式增强现实设备输出预测边缘图像。
52.终端设备101也称为终端(terminal)、用户设备(user equipment,ue)、接入终端、
用户单元、移动设备、用户终端、无线通信设备、用户代理或用户装置。终端设备可以是智能家电、具有无线通信功能的手持设备(例如智能手机、平板电脑)、计算设备(例如个人电脑(personal computer,pc)、车载终端、智能语音交互设备、可穿戴设备或者其他智能装置等，但并不局限于此。
53.服务器102可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(content delivery network,cdn)、以及大数据和人工智能平台等基础云计算服务的云服务器。
54.可以理解的是，本技术实施例描述的系统的架构示意图是为了更加清楚的说明本技术实施例的技术方案，并不构成对于本技术实施例提供的技术方案的限定。例如，本技术实施例所提供的访问方法除了可以由服务器102执行，还可以由不同于服务器102且能够与终端设备101和/或服务器102通信的其他服务器或服务器集群执行。本领域普通技术人员可知，图中的终端设备和服务器的数目仅仅是示意性的。根据业务实现需要，可以配置具有任意数目的终端设备和服务器。并且，随着系统架构的演变和新业务场景的出现，本技术实施例提供的技术方案对于类似的技术问题，同样适用。在后续实施例中，将以终端设备指代上述终端设备101，以服务器指代上述服务器102，后续实施例中将不再赘述。
55.请参阅图2，图2是本技术一个示例性实施例提供的一种图像处理方法的流程示意图，以该方法应用于图像处理设备(指代图1b中的终端设备101)为例进行说明，该方法可包括以下步骤：
56.s201、获取目标对象的待处理图像集合，待处理图像集合包括常规彩色图像、多光谱图像和纹理图像中的至少两个。
57.本技术实施例中，目标对象是需要进行图像采集的对象，例如手臂、肩膀等人体组织，又如植物根茎、植物叶片等植物组织。图像处理设备基于同一目标对象采集多个待处理图像，将采集到的多个待处理图像集合作为待处理图像集合。待处理图像集合包括常规彩色图像、多光谱图像和纹理图像中的至少两个，常规彩色图像是基于常规彩色相机采集到的图像，多光谱图像是通过多光谱相机采集到的多个光谱波段的图像，再将多个光谱波段的图像进行处理得到的伪彩色图像。纹理图像是通过常规彩色图像和多光谱图像中的偏振图像和非偏振图像进行融合得到的。该步骤是为了获取进行图像处理操作的数据，在后续步骤中，都是基于本步骤获取到的待处理图像集合进行的。
58.其中，常规彩色图像、多光谱图像和纹理图像的具体获取步骤将在后续实施例中详细叙述，本实施例不再赘述。
59.s202、调用图像处理模型对待处理图像集合中的每个图像分别进行区域识别处理，得到每个图像对应的待合成分割图像，待合成分割图像标记有多个区域。
60.本技术实施例中，待处理图像集合是图像处理设备通过常规彩色相机、多光谱相机对目标对象采集的，待处理图像集合中的每个图像包括了丰富的特征信息，可以展示多个种类的目标对象特征信息，通过目标对象特征信息，可以对每个图像进行区域识别处理，得到每个图像对应的待合成分割图像，待合成分割图像标记有多个区域，每个区域对应一个类别的特征信息。通过上述方法，即可得到包括多个区域的待分割图像，便于后续基于预测分割图像中的多个区域进行边缘提取操作，提高了边缘提取的准确度和效率。
61.在一实施例中，当待处理图像集合是基于人体的目标对象采集的，那么目标对象特征信息也即是指人体结构组织特征信息，例如皮肤特征信息、纤维组织特征信息、毛发特征信息、疤痕特征信息等。图像处理设备通过对每个图像进行区域识别处理(也即是划分不同的人体结构组织)，得到每个图像对应的待合成分割图像，待合成分割图像标记有多个区域，每个区域对应一个类别的信息(也即是一个区域对应一种人体结构组织，例如皮肤特征信息所包括的区域对应“皮肤”这一人体结构组织)。
62.在一实施例中，当待处理图像集合是基于植物的目标对象采集的，那么目标对象特征信息也即是指植物结构组织特征信息，例如根茎特征信息、叶片组织特征信息等。图像处理设备通过对每个图像进行区域识别处理(也即是划分不同的植物结构组织)，得到每个图像对应的待合成分割图像，待合成分割图像标记有多个区域，每个区域对应一个类别的信息(也即是一个区域对应一种植物结构组织，例如叶片特征信息所包括的区域对应“叶片”这一植物结构组织)。
63.在一实施例中，图像处理设备可以设置每个区域的对应值(例如，将图像中的皮肤特征信息对应的区域包括的每个像素设置为0、纤维组织特征信息对应的区域包括的每个像素设置为1、毛发特征信息对应的区域包括的每个像素设置为2、疤痕特征信息对应的区域包括的每个像素设置为3)。通过上述处理，即可表示待处理图像集合中的每个图像。
64.s203、将多个待合成分割图像融合为标记有多个区域的预测分割图像。
65.本技术实施例中，每个图像都会得到一个待合成分割图像，而待处理图像集合中包括多个图像，通过上述方法能够得到多个待合成分割图像。本技术需要对多个待合成分割图像进行融合处理，得到一个标记有多个区域的预测分割图像。由于预测分割图像是基于常规彩色图像、多光谱图像和纹理图像对应的待合成分割图像融合得到的，包含了多维度的特征信息，因此提高了预测分割图像的区域划分的准确性。
66.在一实施例中，图像处理设备可以对多个待合成分割图像划分出的区域进行概率判断，通过确定每个像素的最大区域概率，确定最终的预测分割图像。示例性的，待处理图像集合包括5个待处理图像，5个待处理图像中包括像素设置为0的皮肤区域、像素设置为1的纤维组织区域、每个像素设置为2的毛发区域、像素设置为3的疤痕区域。由于待处理图像集合中的待处理图像是等大的，对于某一空间位置的像素而言，若5个待处理图像中至少有3个待处理图像所指示该像素为皮肤区域(即5个待处理图像中至少有3个待处理图像所指示该像素的值为0，也即是大于概率阈值1/2)，那么将该区域作为皮肤区域，基于该方法即可确定预测分割图像。需要说明的是，上述将概率阈值设置为1/2只是示例性的，在本技术实际应用时应根据具体业务情况而定。
67.在一实施例中，图像处理设备也可以对多个待合成分割图像进行权重分配，再基于权重分配后的多个待合成分割图像划分出的区域进行概率判断，通过确定每个像素的最大区域概率，确定最终的预测分割图像。具体的，待处理图像集合包括5个待处理图像，其中2个图像属于多光谱图像，2个图像属于常规彩色图像，1个图像属于纹理图像，5个待处理图像中包括像素设置为0的皮肤区域、像素设置为1的纤维组织区域、每个像素设置为2的毛发区域、像素设置为3的疤痕区域。可以将纹理图像的权重设置为1，将多光谱图像的权重设置为0.8，将常规彩色图像的权重设置为0.5，再基于上述实施例中概率判断的方法计算每个像素所属的区域，最终得到预测分割图像。需要说明的是，上述将权重设置的数值只是示例
性的，在本技术实际应用时应根据具体业务情况而定。
68.s204、根据预测分割图像标记的多个区域对预测分割图像进行边缘提取处理，得到目标对象的预测边缘图像。
69.本技术实施例中，预测分割图像标记的多个区域包括该区域对应的边缘，图像处理设备通过边缘提取操作即可得到目标对象的预测边缘图像，该预测边缘图像用于辅助对目标对象的操作。
70.在一实施例中，上述根据预测分割图像标记的多个区域对预测分割图像进行边缘提取处理，得到目标对象的预测边缘图像，可以根据以下步骤实现。
71.(1)、获取目标区域选择条件，从预测分割图像标记的多个区域中确定与目标区域选择条件匹配的目标区域。
72.(2)、根据目标区域的边缘生成目标对象的预测边缘图像。
73.本技术实施例中，目标区域选择条件是用于从预测分割图像中筛选需要获取的目标区域，将预测分割图像中与目标区域选择条件匹配的区域作为目标区域，再根据目标区域的边缘生成目标对象的预测边缘图像。
74.在一实施例中，目标区域选择条件可以是一个类型的区域，图像处理设备可以将一个类型的区域作为目标区域(例如本技术应用于医学领域时的疤痕区域；应用于其他领域时的根茎区域)，那么通过将该目标区域的边缘确定为目标对象的预测边缘图像，即可根据该预测边缘图像对目标区域进行手术；目标区域选择条件也可以是多样化的(即多个类型的区域，例如在医学领域中，预测分割图像中可以标记皮肤区域、纤维组织区域、毛发区域、疤痕区域、肿瘤区域等，图像处理设备可以先将疤痕区域和肿瘤区域合并为一个区域，再将合并后的这个区域的边缘确定为目标对象的预测边缘图像，以实现根据该预测边缘图像对疤痕区域和肿瘤区域同时进行切除手术的目的；在非医学领域中，预测分割图像中可以标记根茎区域、叶片区域、非植物部分区域等，图像处理设备可以先将根茎区域和叶片区域合并为一个区域，再将合并后的这个区域的边缘确定为目标对象的预测边缘图像，以实现根据该预测边缘图像对目标对象进行抠图操作)。需要说明的是，上述目标区域选择条件的设置只是示例性的，在本技术实际应用时应根据实际业务情况而定。
75.s205、输出预测边缘图像，预测边缘图像用于辅助对目标对象的操作。
76.本技术实施例中，预测边缘图像可以较好地展示目标对象的边缘形状，通过输出展示该边缘形状，可以辅助操作对象针对目标对象的诸如手术切除，边缘勾画等操作，提高操作的准确性。通过ai算法得到的预测边缘图像可以提供更客观的边缘勾画建议，帮助经验不足的操作对象进行边缘勾画。
77.在一实施例中，上述方法由图像处理设备执行，该图像处理设备包括用于显示图像的头戴式虚拟现实设备和图像采集设备。上述输出预测边缘图像，可以根据以下步骤实现。
78.(a1)、从待处理图像集合中选择目标图像，对目标图像和预测边缘图像进行融合处理，得到融合图像。
79.(a2)、于头戴式虚拟现实设备中展示融合图像，融合图像用于辅助对目标对象的操作。
80.本技术实施例中，图像处理设备包括用于进行图像采集的图像采集设备，以及用
于进行图像展示的头戴式虚拟现实设备。目标图像是操作对象从待处理图像集合包括的多个图像中选择的其中一个图像，图像处理设备可以获取操作对象选择的图像作为目标图像。操作对象可以从头戴式虚拟现实设备中观察到融合图像，此时操作对象可以根据融合图像的辅助，在目标对象进行边缘勾画。需要说明的是，图像采集设备是非接触式的，可以实时采集目标对象以及针对目标对象的操作(例如勾画边缘的手的动作)，操作对象可以从头戴式虚拟现实设备中查看融合图像，以及观察到自己的手的操作。因此，操作对象的头部视线不需要对准目标对象，操作对象的头部视线可以是便于进行手术操作的任一视线(例如平视，仰视等)，提高了操作对象的操作自由度，并且该方法可以使得操作对象边勾画边查看融合图像，便于勾画印记的一次成型，提高了勾画精度。
81.在一实施例中，图像处理设备可以将目标图像和预测边缘图像进行叠加(也即是将预测边缘图像显示在目标图像之上，达到加强目标图像边缘效果的目的)，得到融合图像。在保证手术安全性的情况下，操作对象也可以通过头戴式虚拟现实设备中查看到的融合图像，以及观察到自己的手的操作，直接进行手术切除等操作。
82.在一实施例中，操作对象可以运用vr技术对微距画面进行充分的放大，观察高倍率放大效果的目标对象图像。例如，微距镜头可以对目标对象进行0.1-1x倍的放大(相机靶面大小/目标物＝0.1-1x)，而vr可以进一步进行放大，例如使用goovis prox 4k vr头显可以形成20米处800英寸巨幕的虚拟画面尺寸。从而可以对1英寸大小的物体进行800倍放大。这种对视野与放大倍率的兼顾是皮肤镜无法做到的。除此之外，操作对象还可以在外接的显示设备上查看放大后的目标对象图像。
83.在一实施例中，上述图像处理设备还包括第一控件、第二控件和第三控件，图像采集设备还包括变倍镜头，第一控件是用于控制变倍镜头调整倍率，第二控件是用于从待处理图像集合中选择目标图像；第三控件是用于调整头戴式虚拟现实设备的显示内容，头戴式虚拟现实设备的显示内容包括融合图像或目标图像。
84.基于上述情况，当图像处理设备检测到针对第一控件的触发操作时，向图像采集设备发送第一指令，第一指令用控制变倍镜头执行第一控件的触发操作所指示的缩放操作；当图像处理设备检测到针对第二控件的触发操作时，基于第二控件的触发操作于头戴式虚拟现实设备选择目标图像(也即是切换观测图像的类型)，观测图像的类型包括待处理图像集合中的多个图像；当图像处理设备检测到针对第三控件的触发操作时，基于第三控件的触发操作于头戴式虚拟现实设备切换展示融合图像或目标图像。
85.在一实施例中，上述方法由图像处理设备执行，该图像处理设备包括用于投影显示图像的投影式增强现实设备和图像采集设备。上述输出预测边缘图像，可以根据以下步骤实现。
86.(b1)、将预测边缘图像转换为增强现实图像。
87.(b2)、利用投影式增强现实设备向目标对象投影显示增强现实图像，增强现实图像用于辅助对目标对象的操作。
88.本技术实施例中，图像处理设备包括用于进行图像采集的图像采集设备，以及用于进行图像展示的投影式增强现实设备。由于预测边缘图像是二维图像，而目标对象并不一定是光滑的平面，也有可能会有诸如凸起部分等不规则情况，因此图像处理设备需要将预测边缘图像转换为增强现实图像(也即是根据图像采集设备采集到的目标对象的图像确
定目标对象的表面信息，再基于表面信息对预测边缘图像进行处理得到增强现实图像)，该增强现实图像可以较好地在诸如不规则表面进行投影展示，用于辅助对目标对象的操作。操作对象可以直接观察目标对象上投影的增强现实图像，此时操作对象可以根据增强现实图像的辅助，在目标对象进行边缘勾画。该方法可以使得操作对象可以边勾画边查看融合图像，便于勾画印记的一次成型，提高了勾画精度。
89.在一实施例中，上述图像处理设备还包括第四控件，第四控件是用于调整投影式增强现实设备的投影状态，投影式增强现实设备的投影状态包括投影或不投影。
90.基于上述情况，当图像处理设备检测到基于第四控件的触发操作时，调整投影式增强现实设备的投影状态，投影式增强现实设备的投影状态包括投影或不投影。
91.通过上述基于头戴式虚拟现实设备(vr装置)，以及基于投影式增强现实设备展示预测边缘图像，便于操作对象进行实时观察放大图像和边缘勾画，变倍微距成像的长工作距离为边缘勾画提供了操作空间，其变倍能力也兼顾了视野和放大倍率；通过结合诸如脚踏板等多种功能控件，让变倍镜头倍率调整、目标图像选择，以及融合图像和目标图像的切换变得方便灵活。通过上述方法，可以解放操作对象的双手，以便于进行边缘勾画、手术、抠图等操作，提高了操作对象的操作效率。
92.请参见图3，图3是本技术实施例提供的一种图像处理设备的结构示意图。该示例性的图像处理设备包括图像采集设备、计算机、头戴式虚拟现实装置和脚踏板(包括一号脚踏板、二号脚踏板和三号脚踏板)组成。其中，图像采集设备中包括多光谱相机、常规彩色相机、分束镜、变倍镜头、偏振片和光源组成，光源通过偏振片即可得到偏振光源，光源不通过偏振片即可得到非偏振光源。在计算机中会展示目标区域的微距图像，以及预测边缘图像，在头戴式虚拟现实装置中的画面可以与计算机中展示的目标区域的微距图像和预测边缘图像同步。该图像处理设备中的图像采集设备、头戴式虚拟现实装置和脚踏板分别与计算机通过数据线(或者无线局域网、wifi等方式)进行连接。分束镜的作用是把反射光一分为二，一部分反射光进入常规彩色相机，一部分反射光进入多光谱相机。
93.在一实施例中，在进行外科(或皮肤)手术之前，通过图像处理设备中的可执行程序开启流程：利用偏振光源和非偏振光源同时对目标对象进行照明。图像处理设备通过多光谱相机和常规彩色相机采集目标对象的实时图像并发送给计算机。操作对象通过数据线(如hdmi)直接连接计算机的头戴式虚拟现实装置，可以观察到清晰的目标对象局部位置。操作对象可以通过一号脚踏板来控制变倍镜头(例如变倍镜头可以是canon 18-5mm的变倍镜头)进行光学变倍。一号脚踏板有两个键，一个可以控制变倍镜头进行光学放大，一个可以控制变倍镜头进行光学缩小。操作对象可以通过二号脚踏板进行图像类型切换，图像类型至少有以下几档：偏振常规彩色图像、非偏振常规彩色图像、偏振多光谱图像、非偏振多光谱图像(该图像是由多光谱相机采集图像后由图像处理设备合成的伪彩色图像)、纹理图像。计算机还可以运用预先训练好的ai算法对采集到的目标图像(包含偏振常规彩色图像、非偏振常规彩色图像、偏振多光谱图像、非偏振多光谱图像和纹理图像)生成预测边缘图像。操作对象可以通过三号脚踏板选择是否在头戴式虚拟现实装置中显示出ai计算的预测边缘图像(也即是在显示目标图像或显示融合图像之间进行切换)。
94.其中，图像处理设备切换到非偏振常规彩色图像模式时，偏振光源熄灭，非偏振光源点亮；当切换到偏振常规彩色图像模式时，偏振光源点亮，非偏振光源熄灭；当切换到纹
理图像时，图像处理设备分别采集一副非偏振图像和一副偏振图像进行偏振度计算得到的增强的纹理图像，也即是纹理图像。图中镜头前的偏振片的偏振方向与偏振光源的偏振方向一直为出厂设定的90度(也即是90度交叉偏振)，用于消除光的反射，只保留光的次散射，保证图像光线的柔和，避免光反射。当二号脚踏板被切换到多光谱合成伪彩色图像时，头戴式虚拟现实装置显示预定义(预定义是指提前设置多光谱相机采集的目标光谱波段的图像，或者从多光谱相机采集的多个光谱波段的图像中选择预定义的目标光谱波段的图像)的多光谱合成的伪彩色图像(例如计算机对多光谱合成的窄带伪彩色或者主成分分析的结果，或者光谱代数计算后得到的伪彩色结果)。
95.本技术的有益效果在于，本技术获取目标对象的待处理图像集合，待处理图像集合可以包括常规彩色图像、多光谱图像和纹理图像中的多个，该步骤是为了获取进行图像处理操作的数据，在后续步骤中，都是基于本步骤获取到的待处理图像集合进行的。相比于使用单一的常规彩色图像进行图像处理，上述步骤能够保证数据维度的丰富度。本技术通过调用图像处理模型对待处理图像集合进行区域识别处理，得到每个图像对应的标记有多个区域的待合成分割图像其中，每个图像包含了丰富的特征信息，通过区域识别处理得到的多个区域对应多个类别的特征信息，便于后续基于预测分割图像中的多个区域进行边缘提取操作，提高了边缘提取的准确度和效率，再将包含了多维度的特征信息的多个待合成分割图像融合为预测分割图像，提高了预测分割图像的区域划分的准确性。本技术根据预测分割图像标记的多个区域可以对预测分割图像进行边缘提取处理，得到目标对象的预测边缘图像，并最终输出预测边缘图像，由于预测边缘图像可以较好地展示目标对象的边缘形状，通过输出展示该边缘形状，可以辅助操作对象针对目标对象的诸如手术切除，边缘勾画、抠图等操作，提高操作的准确性。并且本技术中的预测边缘图像是基于多种图像和图像处理模型生成的，可以生成高精度的边缘图像，为经验不足的操作对象提供更客观、准确的操作建议。
96.本技术还提出对多个待合成分割图像进行权重分配，以及对多个待合成分割图像划分出的区域进行概率判断，由此确定最终的预测分割图像，进一步提高了预测分割图像的区域划分的准确性。本技术还提出在边缘提取处理阶段，通过目标区域选择条件确定目标区域，再根据目标区域的边缘生成目标对象的预测边缘图像，通过多样化设置诸如皮肤区域、纤维组织区域、疤痕区域、根茎区域、叶片区域等目标区域选择条件，提高了预测边缘图像生成的灵活性。
97.本技术提出的方法可以由用于显示图像的头戴式虚拟现实设备和图像采集设备实现，通过将目标图像和预测边缘图像进行融合处理，然后在头戴式虚拟现实设备中展示融合图像，并通过多个控件调整观察倍率、显示内容和边缘图像。上述方法提高了操作对象的操作自由度，便于操作对象边勾画边查看融合图像以使得勾画印记的一次成型，提高了操作对象的勾画精度。本技术提出的方法还可以由用于投影显示图像的投影式增强现实设备和图像采集设备实现，通过将预测边缘图像转换为增强现实图像，再利用投影式增强现实设备向目标对象投影显示增强现实图像，上述方法能够较好地在不平整的目标对象进行投影展示，操作对象可以直接观察目标对象上投影的增强现实图像，以进行边缘勾画等操作。
98.请参阅图4，图4是本技术一个示例性实施例提供的一种图像处理方法的流程示意
图，以该方法应用于图像处理设备(指代图1b中的终端设备101)为例进行说明，该方法可包括以下步骤：
99.s401、利用图像采集设备中的光源对目标对象进行非接触式照明。
100.本技术实施例中，图像采集设备中的光源包括偏振光源和非偏振光源。光源通过偏振片即可得到偏振光源，光源不通过偏振片即可得到非偏振光源。
101.s402、利用图像采集设备中的常规彩色相机对照明后的目标对象进行非接触式图像采集，得到常规彩色图像；并利于图像采集设备中的多光谱相机对照明后的目标对象进行非接触式图像采集，得到多光谱图像。
102.本技术实施例中，图像处理设备中的光源是通过非接触式对目标对象进行照明，图像处理设备中图像采集设备是通过非接触式采集获取待处理图像，通过上述方法可以为操作对象在观察目标对象的同时对目标对象进行操作提供了可能性。
103.在一实施例中，上述利于图像采集设备中的多光谱相机对照明后的目标对象进行非接触式图像采集，得到多光谱图像，可以根据以下步骤实现。
104.(1)、利于图像采集设备中的多光谱相机对照明后的目标对象进行非接触式图像采集，得到多个候选光谱图，多个候选光谱图对应不同光谱波段。
105.(2)、对多个候选光谱图进行纹理清晰度计算，得到每个候选光谱图对应的纹理清晰度。
106.(3)、从多个候选光谱图中选择纹理清晰度大于清晰度阈值的一个或多个待处理光谱图。
107.(4)、对一个或多个待处理光谱图进行融合处理，得到多光谱图像。
108.本技术实施例中，多光谱相机可以采集多个光谱波段对应的图像，得到多个候选光谱图。通过对多个候选光谱图进行纹理清晰度计算，选择其中纹理较清晰的图像作为融合的对象，再基于选取出的纹理较清晰的图像进行图像融合，得到多光谱图像，使得多光谱图像的纹理特征更具有辨识度，提高后续生成预测边缘图像的准确性。
109.在一实施例中，也可以由操作对象提前设置多光谱相机采集的目标光谱波段的图像，图像处理设备再将采集到的目标光谱波段的图像进行融合处理得到多光谱图像；还可以是从多光谱相机采集的多个光谱波段的图像中选择预定义的目标光谱波段的图像进行融合处理得到多光谱图像。多光谱图像可以是计算机对多光谱合成的窄带伪彩色或者主成分分析的结果，或者通过光谱代数计算后得到的伪彩色结果。
110.在一实施例中，多光谱相机可以是快照式多光谱相机，也可以是内置推扫高光谱相机。请参见图5a，图5a是本技术实施例提供的一种马赛克式快照式多光谱相机的结构示意图，在感光元件表面分布有多个不同高度的色彩滤色元件，不同高度的色彩滤色片能够为感光元件提供不同光谱波段光线，从而产生不同光谱波段对应的多光谱图像。示例性的，可以采用比利时imec生产的马赛克快照式多光谱相机，应用于本技术的高速多光谱图像采集中。
111.请参见图5b，图5b是通过上述多光谱相机的采集图像展示图，图中展示了在光谱范围为405nm-1650nm的皮肤(手背)的多光谱图像与常规彩色图像。其中，序号01-22所对应的图像为405nm-1650nm光谱范围内的多光谱图像(例如，01图为405nm的多光谱图像，02图为420nm的多光谱图像，22图为1650nm的多光谱图像)，右下角为常规彩色图像。
112.s403、将常规彩色图像和多光谱图像合成为纹理图像，并确定待处理图像集合，待处理图像集合包括常规彩色图像、多光谱图像和纹理图像中的至少两个。
113.在一实施例中，常规彩色图像包括偏振常规彩色图像和非偏振常规彩色图像，多光谱图像包括偏振多光谱图像和非偏振多光谱图像。其中，图像采集设备还包括偏振片，偏振常规彩色图像和偏振多光谱图像是使用偏振片后得到的图像，非偏振常规彩色图像和非偏振多光谱图像是未使用偏振片得到的图像。上述将常规彩色图像和多光谱图像合成为纹理图像，可以根据以下步骤实现。
114.(1)、从偏振常规彩色图像和偏振多光谱图像中选择待合成偏振图像，以及从非偏振常规彩色图像和非偏振多光谱图像中选择待合成非偏振图像。
115.在一实施例中，图像处理设备可以将同类型的一组偏振和非偏振图像作为待合成图像(例如，将偏振常规彩色图像作为待合成偏振图像，将非偏振常规彩色图像作为待合成非偏振图像)；也可以将不同类型的一组偏振和非偏振图像作为待合成图像(例如，将偏振常规彩色图像作为待合成偏振图像，将非偏振多光谱图像作为待合成非偏振图像)。需要说明的是，上述选择待合成图像的方法只是示例性的，在本技术实际应用时应根据具体业务情况而定，以达到更加的图像处理效果。
116.(2)、计算待合成非偏振图像与待合成偏振图像的向量差，以及待合成非偏振图像与待合成偏振图像的向量和，并将向量差和向量和的商作为纹理图像。
117.请参见图5c，图5c是合成纹理图像的示意图，左边为偏振图像，中间为非偏振图像，右边为纹理图像。其中纹理图像由非偏振图像与偏振图像的向量差，除以非偏振图像与偏振图像的向量和得到。假设，i
纹理
代表计算好的纹理图像，i0代表非偏振图像(通过非偏振光照明所得)，i
90
代表偏振图像(通过偏振光照明所得)，那么纹理图像的计算公式如下。
[0118][0119]
通过生成纹理图像，有助于操作对象观察皮纹走向，便于确定边缘勾画的方向。
[0120]
在一实施例中，纹理图像可以是用于表征人体皮肤纹理走向的皮纹图像，也可以是用于表征植物叶片中叶脉走向的叶脉纹理图像。
[0121]
s404、调用图像处理模型对待处理图像集合中的每个图像分别进行区域识别处理，得到每个图像对应的待合成分割图像，待合成分割图像标记有多个区域。
[0122]
s405、将多个待合成分割图像融合为标记有多个区域的预测分割图像。
[0123]
s406、根据预测分割图像标记的多个区域对预测分割图像进行边缘提取处理，得到目标对象的预测边缘图像。
[0124]
s407、输出预测边缘图像，预测边缘图像用于辅助对目标对象的操作。
[0125]
其中，步骤s404～s407的具体实施方式参见前述实施例中步骤s202～s205的相关描述，此处不再赘述。
[0126]
在一实施例中，图像处理模型需要进行预训练，具体训练方法包括以下步骤。
[0127]
(1)、获取样本图像集合；其中，样本图像集合包括多个样本图像和多个样本图像对应的标注分割图像，每个样本图像包括针对一个部位采集的偏振常规彩色图像、非偏振常规彩色图像、偏振多光谱图像、非偏振多光谱图像和纹理图像中的多个。
[0128]
(2)、分别对样本图像集合中每个样本图像进行图像预处理，并将预处理后的样本
图像输入到图像处理模型，得到参考分割图像，并根据参考分割图像和标注分割图像确定损失值。
[0129]
(3)、根据样本图像集合中每个样本图像对应的损失值，更新图像处理模型的权重参数，得到训练后的图像处理模型。
[0130]
其中，上述获取样本图像集合的方法请参见步骤s201和步骤s401中获取目标对象的待处理图像集合的相关描述，本技术不再赘述。请参见图5d，图5d本技术实施例中提供的一种生成预测分割图像的流程示意图，首先对待处理图像集合进行图像预处理，然后利用训练好的图像处理模型(深度神经网络)进行区域识别处理，得到每个图像对应的待合成分割图像，再将多个待合成分割图像融合为预测分割图像(在预测分割图像中可以包括多个区域，例如第一区域、第二区域和第三区域，每个区域可以利用不同颜色或图案进行展示，为操作对象进行边缘勾画提供参考)。
[0131]
在进行模型训练前，需要准备训练样本。请参见图5e，图5e是本技术一个示例性实施例提供的一种标注分割图像的流程示意图。首先利用皮肤镜进行观察获取多个样本(例如500个样本，包括样本1、样本2等，每个样本对应一个目标对象，也即是一个病例)；针对多个样本中的每个样本，利用本技术提出的图像采集设备采集多个图像(例如常规彩色图像、多光谱图像和纹理图像)；由于多个图像是基于同一目标对象连续采集得到的，多个图像可以看作是同一内容的不同呈现形式，因此可以只对多个图像中任一图像进行区域标注，最终得到多个标注分割图像(例如样本1的标注分割图像，样本2的标注分割图像等)。
[0132]
图5f是本技术一个示例性实施例提供的一种训练图像处理模型的流程示意图。在进行模型训练时，针对样本图像集合(包括样本1的采集图像集合，样本2的采集图像集合等)中的每个采集图像集合，进行图像预处理；然后利用图像处理模型(深度神经网络)对采集图像集合中的每个图像进行区域识别处理，得到每个图像对应的分割图像，再将多个图像对应的分割图像融合为参考分割图像(在参考分割图像中可以包括多个区域，例如第一区域、第二区域和第三区域)。然后根据参考分割图像和标注分割图像确定损失值，再根据样本图像集合中每个样本图像集合对应的损失值，并反向传播更新图像处理模型的权重参数，通过上述迭代的方法，当检测到模型的预测精度达到要求时，得到训练后的图像处理模型。
[0133]
图5g是本技术一个示例性实施例提供的一种图像采集设备的结构示意图。图中包括普通变倍镜头(微距镜头，例如canon 18-135mm)、电动变焦器、单片机和相机增距环环(5mm c口)。通过单片机与相机的触点连接(包括d-gnd、clk、dlc、vdd、p-gnd、vbat等触点)，发送串口信号来对普通变倍镜头实现对焦控制和变倍(zoom)控制。通过在c口相机前面增减5mm增距环来控制微距拍摄的高度，通过5mm延长环来增加相机与镜头之间的距离，可以把普通箭头变为微距镜头。根据上述方法，可以得到本技术中的图像采集设备。
[0134]
本技术所提到的常规彩色相机可以是普通工业相机，也可以是带自动对焦功能的工业相机、摄影相机等。本技术所提到的多光谱相机可以是可见光多光谱相机，也可以是可见光高光谱相机、非可见光(紫外或红外)多光谱相机、非可见光(紫外或红外)高光谱相机。本技术所提到的光源可以是led、卤素灯、疝气灯等。本技术所提到的图像处理模型可以是基于ai算法得到的，例如3d cnn、3d unet、其他深度学习网络等，也可以是svm、随机森林、最大似然法、马氏距离、波普信息散度、波谱角等算法。本技术所提到的头戴式虚拟现实设
备可以是vr装置，也可以是ar眼镜等，本技术不对上述进行限制。
[0135]
本技术的有益效果在于，本技术首先进行非接触式照明，然后利用常规彩色相机和多光谱相机进行非接触式图像采集，得到常规彩色图像和多光谱图像，为操作对象在观察目标对象的同时对目标对象进行操作提供了可能性。本技术在多光谱图像时，从采集到的不同光谱波段对应的光谱图中选取出的纹理较清晰的图像进行图像融合，得到多光谱图像，使得多光谱图像的纹理特征更具有辨识度，提高后续生成预测边缘图像的准确性。本技术根据常规彩色图像和多光谱图像中的偏振图像和非偏振图像合成纹理图像，并提供了一种处理效果较好的计算方式，通过生成纹理图像，有助于操作对象观察目标对象的皮纹走向，便于确定边缘勾画方向。本技术还提出了一种图像采集设备的实现方法，为上述方法待处理图像，并提供多个部件的组合方式，为本技术的实际应用提供参考。本技术可对诸如人体组织结构、植物组织结构、微生物组织结构等多种类型的待处理图像进行处理，并应用于多种领域，提高了本技术的适用范围。
[0136]
请参阅图6，图6是本技术实施例提供的一种图像处理装置的示意框图。其中，图像处理装置具体可以包括：
[0137]
获取模块601，用于获取目标对象的待处理图像集合，上述待处理图像集合包括常规彩色图像、多光谱图像和纹理图像中的至少两个；
[0138]
处理模块602，用于调用图像处理模型对上述待处理图像集合中的每个图像分别进行区域识别处理，得到每个图像对应的待合成分割图像，上述待合成分割图像标记有多个区域；
[0139]
上述处理模块602，还用于将多个待合成分割图像融合为标记有多个区域的预测分割图像；
[0140]
上述处理模块602，还用于根据上述预测分割图像标记的多个区域对上述预测分割图像进行边缘提取处理，得到上述目标对象的预测边缘图像；
[0141]
输出模块603，用于输出上述预测边缘图像，上述预测边缘图像用于辅助对上述目标对象的操作。
[0142]
可选的，当上述待处理图像集合包括常规彩色图像、多光谱图像和纹理图像时，上述获取模块601在用于获取目标对象的待处理图像集合时，具体用于：
[0143]
利用图像采集设备中的光源对上述目标对象进行非接触式照明；
[0144]
利用上述图像采集设备中的常规彩色相机对照明后的目标对象进行非接触式图像采集，得到上述常规彩色图像；并利于上述图像采集设备中的多光谱相机对照明后的目标对象进行非接触式图像采集，得到上述多光谱图像；
[0145]
将上述常规彩色图像和上述多光谱图像合成为上述纹理图像。
[0146]
可选的，上述方法由图像处理设备执行，上述图像处理设备包括用于显示图像的头戴式虚拟现实设备和上述图像采集设备，上述输出模块603在用于输出上述预测边缘图像时，具体用于：
[0147]
从上述待处理图像集合中选择目标图像，对上述目标图像和上述预测边缘图像进行融合处理，得到融合图像；
[0148]
于上述头戴式虚拟现实设备中展示上述融合图像，上述融合图像用于辅助对上述目标对象的操作。
[0149]
可选的，上述图像处理设备还包括第一控件、第二控件和第三控件，上述图像采集设备还包括变倍镜头，上述第一控件是用于控制上述变倍镜头调整倍率，上述第二控件是用于从上述待处理图像集合中选择目标图像；上述第三控件是用于调整上述头戴式虚拟现实设备的显示内容，上述头戴式虚拟现实设备的显示内容包括上述融合图像或上述目标图像。
[0150]
可选的，上述方法由图像处理设备执行，上述图像处理设备包括用于投影显示图像的投影式增强现实设备和上述图像采集设备，上述输出模块603在用于输出上述预测边缘图像时，具体用于：
[0151]
将上述预测边缘图像转换为增强现实图像；
[0152]
利用上述投影式增强现实设备向上述目标对象投影显示上述增强现实图像，上述增强现实图像用于辅助对上述目标对象的操作。
[0153]
可选的，上述常规彩色图像包括偏振常规彩色图像和非偏振常规彩色图像，上述多光谱图像包括偏振多光谱图像和非偏振多光谱图像，上述获取模块601在用于将上述常规彩色图像和上述多光谱图像合成为上述纹理图像时，具体用于：
[0154]
从上述偏振常规彩色图像和上述偏振多光谱图像中选择待合成偏振图像，以及从上述非偏振常规彩色图像和上述非偏振多光谱图像中选择待合成非偏振图像；
[0155]
计算上述待合成非偏振图像与上述待合成偏振图像的向量差，以及上述待合成非偏振图像与上述待合成偏振图像的向量和，并将上述向量差和上述向量和的商作为上述纹理图像；
[0156]
其中，上述图像采集设备还包括偏振片，上述偏振常规彩色图像和上述偏振多光谱图像是使用上述偏振片后得到的图像，上述非偏振常规彩色图像和上述非偏振多光谱图像是未使用上述偏振片得到的图像。
[0157]
可选的，上述获取模块601在用于利于上述图像采集设备中的多光谱相机对照明后的目标对象进行非接触式图像采集，得到上述多光谱图像时，具体用于：
[0158]
利于上述图像采集设备中的多光谱相机对照明后的目标对象进行非接触式图像采集，得到多个候选光谱图，上述多个候选光谱图对应不同光谱波段；
[0159]
对上述多个候选光谱图进行纹理清晰度计算，得到每个候选光谱图对应的纹理清晰度；
[0160]
从上述多个候选光谱图中选择纹理清晰度大于清晰度阈值的一个或多个待处理光谱图；
[0161]
对上述一个或多个待处理光谱图进行融合处理，得到上述多光谱图像。
[0162]
可选的，上述处理模块602在用于根据上述预测分割图像标记的多个区域对上述预测分割图像进行边缘提取处理，得到上述目标对象的预测边缘图像时，具体用于：
[0163]
获取目标区域选择条件，从上述预测分割图像标记的多个区域中确定与上述目标区域选择条件匹配的目标区域；
[0164]
根据上述目标区域的边缘生成上述目标对象的预测边缘图像。
[0165]
需要说明的是，本技术实施例的图像处理装置的各功能模块的功能可根据上述方法实施例中的方法具体实现，其具体实现过程可以参照上述方法实施例的相关描述，此处不再赘述。
[0166]
请参阅图7，图7是本技术实施例提供的一种计算机设备的示意框图。如图所示的本实施例中的智能终端可以包括：处理器701、存储装置702以及通信接口703。上述处理器701、存储装置702以及通信接口703之间可以进行数据交互。
[0167]
上述存储装置702可以包括易失性存储器(volatile memory)，例如随机存取存储器(random-access memory，ram)；存储装置702也可以包括非易失性存储器(non-volatile memory)，例如快闪存储器(flash memory)，固态硬盘(solid-state drive，ssd)等；上述存储装置702还可以包括上述种类的存储器的组合。
[0168]
上述处理器701可以是中央处理器(central processing unit，cpu)。在一个实施例中，上述处理器701还可以是图形处理器(graphics processing unit，gpu)。上述处理器701也可以是由cpu和gpu的组合。在一个实施例中，上述存储装置702用于存储程序指令，上述处理器701可以调用上述程序指令，执行如下操作：
[0169]
获取目标对象的待处理图像集合，上述待处理图像集合包括常规彩色图像、多光谱图像和纹理图像中的至少两个；
[0170]
调用图像处理模型对上述待处理图像集合中的每个图像分别进行区域识别处理，得到每个图像对应的待合成分割图像，上述待合成分割图像标记有多个区域；
[0171]
将多个待合成分割图像融合为标记有多个区域的预测分割图像；
[0172]
根据上述预测分割图像标记的多个区域对上述预测分割图像进行边缘提取处理，得到上述目标对象的预测边缘图像；
[0173]
输出上述预测边缘图像，上述预测边缘图像用于辅助对上述目标对象的操作。
[0174]
可选的，当上述待处理图像集合包括常规彩色图像、多光谱图像和纹理图像时，上述处理器701在用于获取目标对象的待处理图像集合时，具体用于：
[0175]
利用图像采集设备中的光源对上述目标对象进行非接触式照明；
[0176]
利用上述图像采集设备中的常规彩色相机对照明后的目标对象进行非接触式图像采集，得到上述常规彩色图像；并利于上述图像采集设备中的多光谱相机对照明后的目标对象进行非接触式图像采集，得到上述多光谱图像；
[0177]
将上述常规彩色图像和上述多光谱图像合成为上述纹理图像。
[0178]
可选的，上述方法由图像处理设备执行，上述图像处理设备包括用于显示图像的头戴式虚拟现实设备和上述图像采集设备，上述处理器701在用于输出上述预测边缘图像时，具体用于：
[0179]
从上述待处理图像集合中选择目标图像，对上述目标图像和上述预测边缘图像进行融合处理，得到融合图像；
[0180]
于上述头戴式虚拟现实设备中展示上述融合图像，上述融合图像用于辅助对上述目标对象的操作。
[0181]
可选的，上述图像处理设备还包括第一控件、第二控件和第三控件，上述图像采集设备还包括变倍镜头，上述第一控件是用于控制上述变倍镜头调整倍率，上述第二控件是用于从上述待处理图像集合中选择目标图像；上述第三控件是用于调整上述头戴式虚拟现实设备的显示内容，上述头戴式虚拟现实设备的显示内容包括上述融合图像或上述目标图像。
[0182]
可选的，上述方法由图像处理设备执行，上述图像处理设备包括用于投影显示图
像的投影式增强现实设备和上述图像采集设备，上述处理器701在用于输出上述预测边缘图像时，具体用于：
[0183]
将上述预测边缘图像转换为增强现实图像；
[0184]
利用上述投影式增强现实设备向上述目标对象投影显示上述增强现实图像，上述增强现实图像用于辅助对上述目标对象的操作。
[0185]
可选的，上述常规彩色图像包括偏振常规彩色图像和非偏振常规彩色图像，上述多光谱图像包括偏振多光谱图像和非偏振多光谱图像，上述处理器701在用于将上述常规彩色图像和上述多光谱图像合成为上述纹理图像时，具体用于：
[0186]
从上述偏振常规彩色图像和上述偏振多光谱图像中选择待合成偏振图像，以及从上述非偏振常规彩色图像和上述非偏振多光谱图像中选择待合成非偏振图像；
[0187]
计算上述待合成非偏振图像与上述待合成偏振图像的向量差，以及上述待合成非偏振图像与上述待合成偏振图像的向量和，并将上述向量差和上述向量和的商作为上述纹理图像；
[0188]
其中，上述图像采集设备还包括偏振片，上述偏振常规彩色图像和上述偏振多光谱图像是使用上述偏振片后得到的图像，上述非偏振常规彩色图像和上述非偏振多光谱图像是未使用上述偏振片得到的图像。
[0189]
可选的，上述处理器701在用于利于上述图像采集设备中的多光谱相机对照明后的目标对象进行非接触式图像采集，得到上述多光谱图像时，具体用于：
[0190]
利于上述图像采集设备中的多光谱相机对照明后的目标对象进行非接触式图像采集，得到多个候选光谱图，上述多个候选光谱图对应不同光谱波段；
[0191]
对上述多个候选光谱图进行纹理清晰度计算，得到每个候选光谱图对应的纹理清晰度；
[0192]
从上述多个候选光谱图中选择纹理清晰度大于清晰度阈值的一个或多个待处理光谱图；
[0193]
对上述一个或多个待处理光谱图进行融合处理，得到上述多光谱图像。
[0194]
可选的，上述处理器701在用于根据上述预测分割图像标记的多个区域对上述预测分割图像进行边缘提取处理，得到上述目标对象的预测边缘图像时，具体用于：
[0195]
获取目标区域选择条件，从上述预测分割图像标记的多个区域中确定与上述目标区域选择条件匹配的目标区域；
[0196]
根据上述目标区域的边缘生成上述目标对象的预测边缘图像。
[0197]
具体实现中，本技术实施例中所描述的处理器701、存储装置702以及通信接口703可执行本技术实施例图2或图4提供的图像处理方法的相关实施例中所描述的实现方式，也可执行本技术实施例图6提供的图像处理装置的相关实施例中所描述的实现方式，在此不再赘述。
[0198]
在本技术所提供的几个实施例中，应该理解到，所揭露的方法、装置和系统，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的；例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式；例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦
合或通信连接，可以是电性，机械或其它的形式。
[0199]
此外，这里需要指出的是：本技术实施例还提供了一种计算机可读存储介质，且计算机可读存储介质中存储有前文提及的图像处理装置所执行的计算机程序，且该计算机程序包括程序指令，当处理器执行上述程序指令时，能够执行前文图2、图4所对应实施例中的方法，因此，这里将不再进行赘述。另外，对采用相同方法的有益效果描述，也不再进行赘述。对于本技术所涉及的计算机可读存储介质实施例中未披露的技术细节，请参照本技术方法实施例的描述。作为示例，程序指令可以被部署在一个计算机设备上，或者在位于一个地点的多个计算机设备上执行，又或者，在分布在多个地点且通过通信网络互连的多个计算机设备上执行，分布在多个地点且通过通信网络互连的多个计算机设备可以组成区块链系统。
[0200]
根据本技术的一个方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备可以执行前文图2、图4所对应实施例中的方法，因此，这里将不再进行赘述。
[0201]
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，上述程序可存储于计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，上述存储介质可为磁碟、光盘、只读存储记忆体(read-only memory，rom)或随机存储记忆体(random access memory，ram)等。
[0202]
以上所揭露的仅为本技术的部分实施例而已，当然不能以此来限定本技术之权利范围，本领域普通技术人员可以理解实现上述实施例的全部或部分流程，并依本技术权利要求所作的等同变化，仍属于发明所涵盖的范围。