一种对象属性提取方法、装置、存储介质及电子装置与流程

1.本发明实施例涉及数据处理领域，具体而言，涉及交通领域的一种对象属性提取方法、装置、存储介质及电子装置。


背景技术：

2.在现有技术中，对具有单层或双层结构的目标对象进行属性提取，一种是首先将对象分类为单层或双层，然后再采用不同结构对应的算法模型进行内容识别，这种方法将目标对象的内容属性和结构属性分开进行提取。由于目标对象的内容属性和结构属性具有一定的相关性，将其分开进行提取不仅不够便捷，而且因为需要提前对结构属性进行判断，造成数据处理的复杂度增高和存储资源的浪费。
3.现有的对含有双层结构的目标对象进行识别的技术大部分是提前将目标对象分为单层和双层结构，然后采用针对性的技术分开识别。也有一小部分涉及到对单双层结构合并识别的技术，但是需要采用复杂的前处理和后处理方法将目标对象的结构进行统一，然后对目标对象的内容逐个进行识别。
4.以上对目标对象属性进行提取的方法，比较典型的出现于文字和图像数据的处理场景中，尤其是对单双车牌属性的处理过程中。
5.简而言之，在现有技术中，当目标对象具有多个结构时，提取该属性的算法比较复杂，难度系数也比较高。


技术实现要素：

6.本发明的主要优势在于提供一种对象属性提取方法、装置、存储介质及电子装置，同时提取目标对象的多个属性，简化了对目标对象属性的提取流程，提高了对目标对象属性提取的效率；本发明的主要优势在于提供一种对象属性提取方法、装置、存储介质及电子装置，利用一个提取模型提取所述目标对象多个属性，减少了模型的数量，简化了算法流程；本发明的另一优势在于提供一种对象属性提取方法、装置、存储介质及电子装置，利用所述目标对象过个属性之间的相关性不断训练所述提取模型，使得所述提取模型在对所述目标对象属性的提取的过程中，提取的信息更加准确。
7.根据本发明一实施例，提供一种对象属性提取方法，包括：获取目标对象的初始特征；利用提取模型从所述目标对象的初始特征中提取所述目标对象的多个属性，其中当所述目标对象的结构属性不同时，所述提取模型的算法唯一；融合所述目标对象的多个所述属性，以得到所述目标对象的整体属性。
8.根据本发明一实施例，其中利用提取模型从所述目标对象的初始特征中提取所述目标对象的多个属性包括以下至少之一：利用提取模型，从所述目标对象的初始特征中提取所述目标对象的结构属性；
利用提取模型，从所述目标对象的初始特征中提取所述目标对象的内容属性；利用提取模型，从所述目标对象的初始特征中提取所述目标对象的颜色属性；根据本发明一实施例，其中利用提取模型，从所述目标对象的初始特征中提取所述目标对象的内容属性，包括：利用注意力机制划分所述目标对象为多个区域；为所述多个区域分别赋值以得到对应域值，其中所述域值用于确认所述目标对象的所述内容属性。
9.根据本发明一实施例，其中利用提取模型，从所述目标对象的初始特征中提取所述目标对象的内容属性，包括：分别将每个区域的内容数据与对应所述域值相乘，得到对应区域的内容表征；拼接每个所述区域的内容表征，以得到所述目标对象的整体内容表征；解析所述目标对象的整体内容表征，得到所述目标对象的所述内容属性。
10.根据本发明一实施例，其中当所述区域不存在目标内容信息时，将所述区域的内容数据与对应所述域值相乘得到的所述内容表征为第一阈值；当所述区域存在目标内容信息时，将所述区域的内容数据与对应所述域值相乘得到的所述内容表征仍为所述区域的内容数据。
11.根据本发明另一实施例，提供一种对象属性提取装置，包括：获取模块，用于获取目标对象的初始特征；提取模块，用于从所述目标对象的初始特征中提取所述目标对象的多个属性，；其中当所述目标对象的结构属性不同时，所述提取模型的算法唯一；融合模块，用于融合所述目标对象的多个所述属性，以得到目标对象的整体属性。
12.根据本发明另一实施例，其中所述提取模块还包括：一区域划分模块，其中所述区域划分模块被配置为利用所述注意力机制将每个所述目标对象都划分为多个区域。
13.一区域赋值模块，其中所述区域赋值模块被配置为基于所述目标对象的初始特征，利用卷积神经网络为所述目标对象的所述区域分别赋值以得到对应域值，为所述多个区域分别赋值以得到对应域值，其中所述域值用于确认所述目标对象的所述内容属性。
14.根据本发明另一实施例，其中所述提取模块还包括一内容处理模块，其中所述内容处理模块包括：一计算单元，其中所述计算单元用于分别将所述区域的内容数据与所述域值相乘，以得到所述区域的内容表征；一拼接单元，所述拼接单元用于拼接所有所述区域的内容表征，以得到所述目标对象的整体内容表征；和一解析单元，所述解析单元用于解析所述目标对象的整体内容表征，得到该目标对象的内容属性。
15.根据本发明的又一个实施例，还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
16.根据本发明的又一个实施例，还提供了一种电子装置，包括存储器和处理器，所述
存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行上述任一项方法实施例中的步骤。
附图说明
17.图1是根据本发明实施例的一种对象属性提取方法的移动终端的硬件结构框图；图2是根据本发明实施例的一种对象属性提取方法的流程图；图3是根据本发明实施例的一种对象属性提取方法的流程图；图4是根据本发明实施例的一种对象属性提取装置的结构框图。
具体实施方式
18.下文中将参考附图并结合实施例来详细说明本发明的实施例。
19.需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
20.本技术实施例中所提供的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。以运行在移动终端上为例，图1是本发明实施例的一种对象属性提取方法的移动终端的硬件结构框图。如图1所示，移动终端可以包括一个或多个（图1中仅示出一个）处理器102（处理器102可以包括但不限于微处理器mcu或可编程逻辑器件fpga等的处理装置）和用于存储数据的存储器104，其中，上述移动终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述移动终端的结构造成限定。例如，移动终端还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。
21.存储器104可用于存储计算机程序，例如，应用软件的软件程序以及模块，如本发明实施例中的一种对象属性提取方法对应的计算机程序，处理器102通过运行存储在存储器104内的计算机程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至移动终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
22.传输装置106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括移动终端的通信供应商提供的无线网络。在一个实例中，传输装置106包括一个网络适配器（network interface controller，简称为nic），其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输装置106可以为射频（radio frequency，简称为rf）模块，其用于通过无线方式与互联网进行通讯。
23.由现有技术可知，当需要处理的目标对象包括单层结构和双层结构时，往往采用两套不同的方法分别进行属性识别。因此，当目标对象呈现多种结构类型时，需要一种更简洁的算法对不同结构的目标对象进行统一处理和属性提取，即可以同时完成对该目标对象的内容属性和结构属性的提取，并基于内容属性和结构属性进行融合，以得到该目标对象的整体属性。
24.根据本发明一优选实施例，如图2所示，本发明提供了一种对象属性提取方法，包
括以下步骤：获取目标对象的初始特征；利用提取模型从所述目标对象的初始特征中提取所述目标对象的多个属性，其中当所述目标对象的结构属性不同时，所述提取模型的算法唯一；融合所述目标对象的多个所述属性，以得到目标对象的整体属性；其中，获取目标对象的初始特征包括：获取所述目标对象；对所述目标对象进行数据编码；更详细的，利用卷积神经网络（convolutional neural network, cnn）对目标对象进行卷积操作，以得到所述目标对象的初始特征。
25.其中所述目标对象的初始特征为目标对象被卷积操作后得到的编码数据。优选的，该编码数据为包含所述目标对象所有属性的原始编码数据。基于该编码数据，将通过提取模型得到具体的所述目标对象的多个属性特征，例如内容属性、结构属性、和颜色属性等属性，这里所述目标对象的属性特征包括但不限于内容属性、结构属性、和颜色属性。
26.根据本发明一些实施例，所述目标对象为包含字符的图片或视频。
27.根据本发明一优选实施例，本发明所提供的一种对象属性提取方法、装置、存储介质及电子装置被优选的应用于交通领域中，尤其涉及到对车辆车牌信息的提取场景中。在本发明另外一些实施例中，本发明还可被应用于对文字的识别场景中。
28.根据本发明一实施例，利用提取模型从所述目标对象的初始特征中提取所述目标对象的多个属性，包括以下其中之一：通过注意力机制，从所述目标对象的初始特征中提取所述目标对象的结构属性；通过注意力机制，从所述目标对象的初始特征中提取所述目标对象的内容属性；通过注意力机制，从所述目标对象的初始特征中提取所述目标对象的颜色属性；优选的，其中所述目标对象的所述结构属性、所述内容属性和所述颜色属性被所述提取模型同时提取。可以理解的是，在一些实施例中，也可以对所述目标对象的所述结构属性、所述内容属性和所述颜色属性分不同的顺序提取。
29.根据本发明其中一些实施例，当所述目标对象为单层车牌或双层车牌时，所述目标对象的结构属性为单层或双层。值得一提的是，所述目标对象的结构属性包括但不限于单层或双层，还可以有三层和四层，该结构属性的层数不受限制，其中所述提取模型需要预设对应结构的算法模型。
30.根据本发明一优选实施例，其中所述目标对象的内容属性为所述目标对象包含的具体内容，一般情况下，该具体内容以字符的形式进行呈现。例如，当所述目标对象为文字图片时，则该具体内容为文字。而当所述目标对象为车牌图片时，则该具体内容为文字，数字和字母或符号的组合。
31.根据本发明一优选实施例，其中所述目标对象的颜色属性为所述目标对象具体呈现的颜色，例如当所述目标对象为车牌图片时，则该颜色属性为车牌的呈现的颜色。
32.根据本发明一优选实施例，所述提取模型中可以预设对应要提取的所述目标对象的多个属性的算法模型。例如本实施例中要提取所述目标对象的内容属性、结构属性、和颜色属性，则所述提取模型需要预设对应要提取的所述目标对象内容属性、结构属性、和颜色
属性的算法模型。
33.根据本发明一实施例，其中通过注意力机制，从所述目标对象的初始特征中提取所述目标对象的颜色属性，包括：通过注意力机制，从所述目标对象的初始特征中提取所述目标对象的颜色内容表征；解析所述颜色内容表征，得到所述颜色属性；根据本发明一实施例，其中通过注意力机制，从所述目标对象的初始特征中提取所述目标对象的结构属性，包括：通过注意力机制，从所述目标对象的初始特征中提取所述目标对象的结构内容表征；解析所述结构内容表征，得到所述结构属性；根据本发明一优选实施例，其中通过注意力机制，从所述目标对象的初始特征中提取所述目标对象的内容属性包括：利用注意力机制划分所述目标对象为多个区域。
34.具体的，根据预设所述注意力机制的算法模型对应所述目标对象的结构属性，所述注意力机制可以将每个所述目标对象都自动分为第一区域和第二区域。其中所述第一区域和所述第二区域可以分别位于所述目标对象的不同位置，例如，所述第一区域位于所述目标对象的上方区域，而所述第二区域位于所述目标对象的下方区域；而在其它一些实施例中，所述第一区域位于所述目标对象的下方区域，而所述第二区域位于所述目标对象的上方区域。值得一提的是，在一些实施例中，所述第一区域和所述第二区域还可以位于所述目标对象的左方区域和右方区域。所述第一区域和所述第二区域在所述目标对象的位置可以在不同的实施例中有变化，在此不再赘述。
35.根据本发明一优选实施例，其中所述第一区域和所述第二区域包括了所述目标对象在该区域的内容数据，即第一区域内容数据和第二区域内容数据，其中所述内容数据来源于所述目标对象的初始特征，即所述第一区域和所述第二区域的内容数据是以编码数据的形式呈现的。
36.根据本发明一优选实施例，其中利用提取模型从所述目标对象的初始特征中提取所述目标对象的内容属性，包括：利用卷积神经网络为所述多个区域分别赋值，得到对应域值。
37.其中所述域值用于确定所述目标对象的所述内容属性。
38.具体的，基于所述目标对象的初始特征，利用卷积神经网络(convolutional neural network, cnn)为所述目标对象的第一区域和第二区域赋值，得到第一域值和第二域值。
39.其中，利用卷积神经网络(convolutional neural network, cnn)为所述目标对象的第一区域和第二区域赋值包括：利用卷积神经网络提取所述目标对象的掩膜；通过利用卷积神经网络判断所述掩膜是否存在目标内容信息，为所述第一区域和所述第二区域赋值，得到第一域值和第二域值。
40.其中，因为所述目标对象的初始特征为包含所述目标对象所有属性的原始编码数
据，所以卷积神经网络可以基于所述初始特征，即原始编码数据，提取所述目标对象的掩膜。所以，当所述目标对象被所述注意力机制分为第一区域和第二区域时，所述第一区域对应被提取第一区域掩膜，所述第二区域对应被提取第二区域掩膜。
41.进一步的，利用卷积神经网络（convolutional neural network, cnn）检测所述目标对象掩膜是否存在目标信息，当所述目标对象的掩膜未被检测到目标信息时，则该掩膜对应的区域被赋值为0，当所述目标对象的掩膜检测到目标信息时，则该掩膜对应的区域被赋值为1。即当所述目标对象的所述第一区域掩膜或所述第二区域掩膜未被检测到任何目标信息时，则所述第一区域或所述第二区域被赋值为0，即所述第一域值或所述第二域值为0；当所述目标对象的第一区域掩膜或所述第二区域掩膜检测到目标信息时，则所述第一区域或所述第二区域被赋值为1，即所述第一域值或所述第二域值为1。
42.值得一提的是，因为所述提取模型中预设的算法模型，即所述注意力机制的算法模型，将所述目标对象始终分为所述第一区域和所述第二区域，所以对应的，所述目标对象的所述第一区域掩膜和所述第二区域掩膜始终存在。换句话说，在本实施例中，无论所述目标对象被分为几个区域，所述目标对象的每一区域都会对应一层掩膜，所以，在本实施例中，所述目标对象的所述第一区域掩膜和所述第二区域掩膜始终存在。
43.换句话说，在本实施例中，无论所述目标对象是单层结构还是双层结构，所述目标对象都会被分为所述第一区域和所述第二区域，对应的，无论所述目标对象是单层结构还是双层结构，所述目标对象都会被提取所述第一区域掩膜和所述第二区域掩膜。即当目标对象的结构属性不同时，例如车牌无论是单层结构还是双层结构，所述提取模型的算法唯一。
44.根据本发明一优选实施例，如图3所示，利用提取模型从所述目标对象的初始特征中提取所述目标对象的内容属性还包括：分别将所述第一区域内容数据与所述第一域值相乘、第二区域内容数据与所述第二域值相乘，对应得到第一区域内容表征和第二区域内容表征；拼接所述第一区域内容表征和所述第二区域内容表征，以得到所述目标对象的整体内容表征；解析所述目标对象的整体内容表征，得到该目标对象的内容属性；根据本发明一优选实施例，其中拼接所述第一区域内容表征和所述第二区域内容表征的方式可以为水平拼接，也可以采用其他拼接的方式，在此不做限制。其中该拼接的方式可以在所述提取模型中预设。
45.根据本发明其中以实施例，其中分别将所述第一区域内容数据与所述第一域值相乘、第二区域内容数据与所述第二域值相乘，对应得到第一区域内容表征和第二区域内容表征，具体包括：当所述第一域值或第二域值为0时，表示所述第一区域掩膜或第二区域掩膜未被检测到目标信息，则表示所述目标对象的所述第一区域或第二区域不存在任何内容信息，对应的所述第一区域内容数据或所述第二区域内容数据也为0。
46.当所述第一域值或第二域值为1时，表示所述第一区域掩膜或第二区域掩膜被检测到目标信息，则表示所述目标对象的所述第一区域或第二区域存在有效的目标内容信息，对应的所述第一区域内容数据或所述第二区域内容数据为对应目标内容信息的编码数
据。
47.所以，当所述第一域值或第二域值为0时，所述第一区域内容数据与所述第一域值相乘得到的第一区域内容表征为0，即第一阈值，或所述第二区域内容数据与所述第二域值相乘得到的第二区域内容表征为0，即第一阈值；所以，第一域值或第二域值为1时，所述第一区域内容数据与所述第一域值相乘得到的第一区域内容表征仍为所述第一区域内容数据，或所述第二区域内容数据与所述第二域值相乘得到的第二区域内容表征仍为所述第二区域内容数据。
48.根据本发明一实施例，当所述目标对象为单层黄色车牌沪ab0010时，此时该车牌被分为第一区域和第二区域，假设第一区域是上层区域，第二区域是下层区域，则该单层车牌的上层区域即第一区域，实际并不存在任何内容数据，即此时第一区域内容数据不存在，为0，并且该单层车牌的第一域值为0。而该单层车牌的下层区域即第二区域的第二区域内容数据是沪ab0010的编码数据，当该单层车牌的第二区域存在有效的目标内容数据，则第二域值为1。所以，此时该单层车牌的第一区域内容数据与第一域值相乘得到的第一区域内容表征为0，而第二区域内容数据与第二域值相乘得到的第二区域内容表征仍为所述第二区域内容数据，即沪ab0010的编码数据。
49.进一步的，拼接所述第一区域内容表征为0和所述第二区域内容表征为沪ab0010的编码数据，得到所述目标对象即单层黄色车牌沪ab0010的整体内容表征，即沪ab0010的编码数据。解析所述目标对象的整体内容表征即沪ab0010的编码数据，得到该目标对象的整体内容属性即沪ab0010。
50.根据本发明一实施例，当所述目标对象为双层黄色车牌沪db1310时，如图所示，此时该车牌被分为第一区域和第二区域，假设第一区域是上层区域，第二区域是下层区域，则该双层车牌的上层区域即第一区域的第一区域内容数据为沪d的编码数据，当该双层车牌的第一区域存在有效的目标内容数据，则第一域值为1。而该双层车牌的下层区域即第二区域的第二区域内容数据是b1310的编码数据，当该双层车牌的第二区域存在有效的目标内容数据，则第二域值为1。所以，此时该双层车牌的第一区域内容数据与第一域值相乘得到的第一区域内容表征为仍为所述第一区域内容数据，即沪d的编码数据。而第二区域内容数据与第二域值相乘得到的第二区域内容表征仍为所述第二区域内容数据，即b1310的编码数据。
51.进一步的，拼接所述第一区域内容表征沪d的编码数据和所述第二区域内容表征b1310的编码数据，得到所述目标对象即双层黄色车牌沪db1310的整体内容表征，即沪db1310的编码数据。解析所述目标对象的整体内容表征，即沪db1310的编码数据，得到该目标对象的整体内容属性即沪db1310。
52.由上述实施例可知，无论所述目标对象是单层结构还是双层结构，即在实施例中，无论该目标对象是单层车牌还是双层车牌，都是将所述目标对象分为第一区域和第二区域，然后拼接每个区域最后得到的内容表征，统一了当目标对象为不同结构时的算法。而现有技术中，针对不同结构的目标对象需要分别采取不同的算法模型。算法模型较多，算法流程也更复杂。而本发明提供的所述一种对象属性提取方法减少了算法模型，简化了算法流程。
53.根据本发明一优选实施例，其中融合所述目标对象的多个属性，以得到目标对象
的整体属性，包括：融合所述目标对象的所述内容属性、所述结构属性和所述颜色属性，以得到所述目标对象的整体属性。
54.具体的，即所述目标对象的整体属性是由所述结构属性、所述颜色属性和所述内容属性组合而成的。例如，当所述结构属性为双层、所述颜色属性为黄色，所述内容属性为沪ab0010时，则得到所述目标对象的整体属性为：双层黄色车牌沪ab0010。其中本实施例中的所述整体属性呈现的词序不受限制，可根据具体需求设置。
55.值得一提的是，本技术中得到目标对象即车牌的整体属性，例如双层黄色车牌沪ab0010，可以通过本领域公知常识得到车辆的类型信息为货车或大车，信息使用者（例如交通管理者）可以基于该车牌整体信息进行高速收费；而当得到的车牌的整体属性为单层蓝色车牌沪ab0010而本身车辆的图像又显示为货车时，信息使用者（例如交通管理者）可以基于该车牌整体信息判断该车牌存在问题，从而进一步采取措施去判断该车牌是否有套牌行为或者改变车型逃费的行为，因此融合所述目标对象的所述内容属性、所述结构属性和所述颜色属性，以得到所述目标对象的整体属性，所述整体属性在依据车型进行高速收费的场景中会有显著的有益效果。因而进一步提高了信息的有用性。
56.根据本发明一优选实施例，其中所述提取模型为训练后的卷积神经网络模型，用于提取所述目标对象的属性。本实施例中所提供的提取模型是通过大量样本对象的图片和对应样本的属性数据训练而成，从而可以对所述目标对象提取多个属性信息。
57.根据本发明一实施例，所述提取模型可以在对所述目标对象进行属性提取的过程中可以不断更新和学习，具体的，通过将所述目标图像的多个属性之间的相关性作为额外监督信息，来确认所述提取模型提取的相关属性是否正确，如果该额外监督信息与所述提取模型提取的相关属性不一致，则计算目标损失，从而利用该目标损失对所述提取模型进行训练。
58.根据本发明实施例可知，当所述目标对象的所述第一区域掩膜的域值为0时，则所述第一区域不存在任何内容数据；所述目标对象的所述第一区域掩膜的域值为1时，则所述第一区域存在目标内容数据。即当所述目标对象为单层车牌或双层车牌时，如果通过对应掩膜检测到第一区域掩膜的域值为0，则可以判断所述目标对象为单层车牌，如果通过对应掩膜检测到第一区域掩膜的域值为1，则可以判断所述目标对象为双层车牌。所以根据该域值结果可以监督所述提取模型提取到的结构属性是否正确，从而一方面监督所述提取模型最终输出的结果，另一方面可以训练所述提取模型，使得所述提取模型在对所述目标对象的属性提取的过程中，提取信息更加准确。
59.由上述实施例可知，本发明所提供的一种对象属性提取方法利用所述目标对象的内容属性和结构属性的相关性使得提取的最终所述目标对象的属性信息更加准确。而在现有技术中，对具有单层或双层结构的目标对象进行属性提取，需要先将对象分类为单层或双层，然后再采用不同结构对应的算法模型进行内容识别，这种方法将目标对象的内容属性和结构属性分开进行提取。并没有充分利用目标对象的内容属性和结构属性之间的相关性，使得数据处理的复杂度比较高并且造成了存储资源的浪费。
60.另一方面，所述提取模型对所述目标对象提取出的结构属性信息可以促进所述提取模型提取出的所述内容信息更加准确。因为当所述提取模型提取出所述目标对象的结构
属性时，对应所述目标对象的不同区域会有不同的域值。而所述目标对象的所述结构属性和域值是对应的。即，当所述提取模型提取到所述目标对象的结构属性为单层时，所述目标对象的所述第一区域的域值为0，所述第二区域的域值为1。当所述提取模型提取到所述目标对象的结构属性为双层时，所述目标对象的所述第一区域的域值为1，所述第二区域的域值为1。所以根据所述目标对象的所述结构属性信息可以监督通过提取掩膜并判断的域值是否正确，而域值的正确性可以促进最后得到的所述目标对象的内容属性更加准确。
61.由上述实施例可知，本发明所提供的一种对象属性提取方法利用所述目标对象的内容属性和结构属性的相关性使得提取的最终所述目标对象的内容信息更加准确。而在现有技术中，对具有单层或双层结构的目标对象进行属性提取，先将对象分类为单层或双层，然后再采用不同结构对应的算法模型进行内容识别，这种方法将目标对象的内容属性和结构属性分开进行提取。并没有充分利用目标对象的内容属性和结构属性之间的相关性，使得数据处理的复杂度比较高并且造成了存储资源的浪费。
62.简言之，由上述实施例可知，本发明所提供的一种对象属性提取方法利用所述目标对象的内容属性和结构属性的相关性使得提取的最终所述目标对象的属性信息更加准确。
63.在本实施例中还提供了一种对象属性的提取装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
64.图4是根据本发明实施例的对象属性的提取装置的结构框图，如图4所示，该装置包括：获取模块10，用于获取目标对象的初始特征；提取模块20，用于从所述目标对象的初始特征中提取所述目标对象的多个属性，其中当所述目标对象的结构属性不同时，所述提取模型的提取算法唯一；融合模块30，用于融合所述目标对象的多个所述属性，以得到目标对象的整体属性；其中所述获取模块还包括一目标对象获取模块11和一编码获取模块12，其中所述目标对象获取模块11用于获取所述目标对象，所述编码获取模块12用于获取所述目标对象的初始特征。
65.其中所述目标对象的初始特征为目标对象被卷积操作后得到的编码数据。优选的，该编码数据为包含所述目标对象所有属性的原始编码数据。基于该编码数据，将通过提取模块得到具体的所述目标对象的多个属性，例如内容属性、结构属性、和颜色属性等属性，这里所述目标对象的属性包括但不限于内容属性、结构属性、和颜色属性。
66.根据本发明一实施例，其中所述提取模块20被配置为利用注意力机制提取所述目标对象的结构属性、内容属性和颜色属性。
67.优选的，其中所述目标对象的所述结构属性、所述内容属性和所述颜色属性被所述提取模块同时提取。可以理解的是，在一些实施例中，也可以对所述目标对象的所述结构属性、所述内容属性和所述颜色属性分不同的顺序提取。
68.根据本发明一实施例，所述提取模块20还包括一区域划分模块21，其中所述区域
划分模块21被配置为利用所述注意力机制将每个所述目标对象都自动分为第一区域和第二区域。其中所述第一区域和所述第二区域可以分别位于所述目标对象的不同位置。以及所述注意力机制的算法模型可以被预设，并且预设的算法模型和对所述目标对象的区域划分相对应。
69.根据本发明一实施例，所述提取模块还包括一区域赋值模块22，其中所述区域赋值模块22被配置为基于所述目标对象的初始特征，利用卷积神经网络(convolutional neural network, cnn)为所述目标对象的所述第一区域和所述第二区域赋值，得到第一域值和第二域值。
70.根据本发明一实施例，所述区域赋值模块22包括一掩膜提取单元221和一区域赋值单元222，其中所述掩膜提取单元221被配置为利用卷积神经网络提取所述目标对象的掩膜，所述区域赋值单元222被配置为利用卷积神经网络判断所述掩膜是否存在目标内容信息，为所述第一区域和所述第二区域赋值。
71.其中，因为所述目标对象的初始特征为包含所述目标对象所有属性的原始编码数据，所以掩膜提取单元221可以基于所述初始特征，即原始编码数据，提取所述目标对象的掩膜。所以，当所述目标对象被所述区域划分模块21分为第一区域和第二区域时，所述第一区域对应被所述掩膜提取单元221提取第一区域掩膜，所述第二区域对应被所述掩膜提取单元221提取第二区域掩膜。
72.其中所述区域赋值模块22的所述区域赋值单元222还包括一检测模块2221，所述检测模块2221被配置为利用卷积神经网络（convolutional neural network, cnn）检测所述目标对象掩膜是否存在目标信息，以得到对应区域的域值，其中所述域值用于确认所述目标对象的所述内容属性。其中当所述目标对象的掩膜未被检测到目标信息时，则该掩膜对应的区域被赋值为0，当所述目标对象的掩膜检测到目标信息时，则该掩膜对应的区域被赋值为1。即当所述目标对象的所述第一区域掩膜或所述第二区域掩膜未被检测到任何目标信息时，则所述第一区域或所述第二区域被赋值为0，即所述第一域值或第二域值为0；当所述目标对象的第一区域掩膜或所述第二区域掩膜检测到目标信息时，则所述第一区域或所述第二区域被赋值为1，即所述第一域值或第二域值为1。
73.根据本发明一优选实施例，其中所述提取模块20还包括一内容处理模块23，其中所述内容处理模块包括一计算单元231、一拼接单元232和一解析单元233，其中所述计算单元231用于分别将所述第一区域内容数据与所述第一域值相乘、第二区域内容数据与所述第二域值相乘，对应得到第一区域内容表征和第二区域内容表征，所述拼接单元232用于拼接所述第一区域内容表征和所述第二区域内容表征，以得到所述目标对象的整体内容表征，所述解析单元233用于解析所述目标对象的整体内容表征，得到该目标对象的内容属性。
74.根据本发明一优选实施例，其中通过所述拼接单元232拼接所述第一区域内容表征和所述第二区域内容表征的方式可以为水平拼接，也可以采用其他拼接的方式，在此不做限制。其中该拼接的方式可以在所述提取模块20中预设。
75.其中所述解析单元233还用于将所述颜色内容表征和所述结构内容表征分别解析为所述目标对象的所述结构属性和所述颜色属性。
76.根据本发明一实施例，其中所述融合模块30融合所述目标对象的所述结构属性、
所述颜色属性和所述内容属性，以得到所述目标对象的整体属性。
77.由上述实施例可知，其中本发明所提供的一种对象属性提取装置利用所述目标对象的内容属性和结构属性的相关性使得提取的最终所述目标对象的内容信息更加准确。而在现有技术中，对具有单层或双层结构的目标对象进行属性提取，先将对象分类为单层或双层，然后再采用不同结构对应的算法模型进行内容识别，这种方法将目标对象的内容属性和结构属性分开进行提取。并没有充分利用目标对象的内容属性和结构属性之间的相关性，使得数据处理的复杂度比较高并且造成了存储资源的浪费。
78.通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质（如rom/ram、磁碟、光盘）中，包括若干指令用以使得一台终端设备（可以是手机，计算机，服务器，或者网络设备等）执行本发明各个实施例所述的方法。
79.需要说明的是，上述各个模块是可以通过软件或硬件来实现的，对于后者，可以通过以下方式实现，但不限于此：上述模块均位于同一处理器中；或者，上述各个模块以任意组合的形式分别位于不同的处理器中。
80.本发明的实施例还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
81.在一个示例性实施例中，上述计算机可读存储介质可以包括但不限于：u盘、只读存储器（read-only memory，简称为rom）、随机存取存储器（random access memory，简称为ram）、移动硬盘、磁碟或者光盘等各种可以存储计算机程序的介质。
82.本发明的实施例还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
83.在一个示例性实施例中，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。
84.本实施例中的具体示例可以参考上述实施例及示例性实施方式中所描述的示例，本实施例在此不再赘述。
85.显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。
86.以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。