数据的处理方法、装置及设备与流程
本发明涉及互联网技术领域，尤其涉及一种数据的处理方法、装置及设备。
背景技术：
图像植入技术是指将素材(文字、图像、视频等)插入到现有图片中，保持原有透视效果，无违和感的融入原图像中进行展示。现有技术中，在获取到待植入素材和现有图片之后，一般是通过人工指定或者选择的方式在现有图片中确定待植入素材的插入位置，这样的图像植入过程不仅增加了人工成本和时间成本，增加了图像植入过程的复杂程度，并且也降低了图像植入的效率，无法实现对图像的批量处理。
技术实现要素：
本发明实施例提供一种数据的处理方法、装置及设备，可以自动地确定用于插入数据的数据插入位置，节省了人力成本和时间成本，同时也降低了图像植入流程的复杂程度，提高了图像植入的效率，可实现对图像的批量处理。
第一方面，本发明实施例提供一种数据的处理方法，包括：
获取图像数据；
确定位于所述图像数据中的至少一个平面以及至少一个平面在世界坐标系下的水平线和竖直线；
基于所述水平线和竖直线获取至少一个平面中像素点的位置信息和方向信息；
在至少一个所述平面中，根据所述位置信息和方向信息确定至少一个用于插入数据的数据插入位置。
如上所述的方法，确定位于所述图像数据中的至少一个平面，包括：
获取所述图像数据中每个像素点的语义标签和预测法线方向；
根据所述语义标签对所述图像数据中的所有像素进行分组，获得分组结果；
基于所述预测法线方向获取所述分组结果中每个像素点的法线预测可信度；
根据所述法线预测可信度对所述分组结果进行处理，获得位于所述图像数据中的至少一个平面掩模。
如上所述的方法，获取所述图像数据中每个像素点的语义标签和预测法线方向，包括：
基于卷积神经网络获取数据分类系统；
利用所述数据分类系统对所述图像数据进行处理，获取所述图像数据中每个像素点的语义标签和预测法线方向。
如上所述的方法，基于卷积神经网络获取数据分类系统，包括：
获取训练数据，所述训练数据包括以下至少之一：基于预设训练图像的像素级语义标签、基于预设训练图像的颜色深度数据、基于预设训练图像中预设像素点的预测法线方向、基于预设训练图像的任意两个像素点与相机之间的距离关系；
利用所述卷积神经网络对所述训练数据进行学习训练，获得所述数据分类系统。
如上所述的方法，根据所述语义标签对所述图像数据中的所有像素进行分组，获得分组结果，包括：
获取所述图像数据中每个像素点的像素位置信息；
根据所述语义标签、所述像素位置信息和预测法线方向对所述像素点进行聚类处理，获得分组结果。
如上所述的方法，根据所述语义标签、所述像素位置信息和预测法线方向对所述像素点进行聚类处理，获得分组结果，包括：
根据所述语义标签、所述像素位置信息和预测法线方向对所述像素点进行聚类处理，获得多个聚类结果；
获取每个聚类结果中所包括的像素点信息；
根据所述像素点信息在多个聚类结果中确定至少一个分组结果。
如上所述的方法，根据所述像素点信息在多个聚类结果中确定至少一个分组结果，包括：
根据所述像素点信息的大小对多个聚类结果进行排序，获得多个聚类结果的排列顺序；
基于所述排列顺序，获取像素点信息之和大于预设阈值的至少一个聚类结果；
将至少一个所述聚类结果确定为至少一个所述分组结果。
如上所述的方法，基于所述预测法线方向获取所述分组结果中每个像素点的法线预测可信度，包括：
获取所述分组结果中每个像素点所对应的实际法线方向、像素点到图像边缘的距离信息；
根据所述预测法线方向、实际法线方向和距离信息确定所述分组结果中每个像素点的法线预测可信度。
如上所述的方法，根据所述预测法线方向、实际法线方向和距离信息确定所述分组结果中每个像素点的法线预测可信度，包括：
根据所述预测法线方向、实际法线方向以及距离信息，并利用以下公式确定所述法线预测可信度：
其中，cnormal(p)为法线预测可信度，median是计算给定集合中位数的算法，n(q)和
如上所述的方法，在基于所述预测法线方向获取所述分组结果中每个像素点的法线预测可信度之后，所述方法还包括：
获取所述分组结果中每个像素点的像素值；
将每个像素点的像素值与所对应的法线预测可信度进行加权，获得加权像素信息；
利用高斯分布算法和加权像素信息对分组结果进行拟合，获得所述像素点在高斯分布下的后验概率；
根据所述后验概率对所述法线预测可信度进行调整。
如上所述的方法，根据所述后验概率对所述法线预测可信度进行调整，包括：
根据所述后验概率确定初始法线预测可信度；
根据所述初始法线预测可信度、并利用以下公式对所述法线预测可信度进行调整：
其中，p为像素点，
如上所述的方法，根据所述后验概率确定初始法线预测可信度，包括：
根据所述后验概率、利用以下公式确定初始法线预测可信度：
其中，η(p)为像素点p的特征信息，fp为高斯分布函数，fp(η(p))是对η(p)进行拟合所获得的多维高斯分布的后验概率信息，μp为高斯分布函数的预设期望。
如上所述的方法，根据所述法线预测可信度对所述分组结果进行处理，获得位于所述图像数据中的至少一个平面掩模，包括：
根据所述法线预测可信度、并利用以下公式对所述分组结果进行处理，获得第一参数γu(p(pi))，
获取第二参数γp(p(pi),p(pj))；γp(p(pi),p(pj))＝σ(p(pi)≠p(pj))·
根据所述第一参数和所述第二参数获得位于所述图像数据中的至少一个平面掩模：
e(p)＝∑iγu(p(pi))+∑i∑j<iγp(p(pi),p(pj))；
其中，e(p)为平面掩模，γu(p(pi))为第一参数，γp(p(pi),p(pj))为第二参数。
如上所述的方法，确定位于所述图像数据中的至少一个平面在世界坐标系下的水平线和竖直线，包括：
利用直线段检测算法对所述图像数据进行处理，获得一个或多个线段；
根据一个或多个所述线段获得至少一个平面在世界坐标系下的水平线和竖直线。
如上所述的方法，根据一个或多个所述线段获得至少一个平面在世界坐标系下的竖直线，包括：
利用暴力搜索方法针对至少一个平面中的一平面确定一竖直方向；
在一个或多个所述线段中，确定平行于所述竖直方向的所有线段，并将所述线段确定为竖直线。
如上所述的方法，根据一个或多个所述线段获得至少一个平面在世界坐标系下的水平线，包括：
利用非线性优化方法确定一消失点，在至少一个平面中的一平面中经过所述消失点的线段数量大于或等于预设阈值；
将所述平面中任意像素点与所述消失点的直线确定为水平线。
如上所述的方法，在根据一个或多个所述线段获得至少一个平面在世界坐标系下的水平线和竖直线之后，所述方法还包括：
在满足预设的条件下，获取相机的内参矩阵和位姿信息；
利用以下公式、根据所述内参矩阵和位姿信息分别对所述水平线和竖直线进行参数处理，获得与所述水平线相对应的水平参数以及与所述竖直线相对应的竖直参数；
其中，|u(p)|为水平参数，|v(p)|为竖直参数，a为内参矩阵，r，t均为位姿信息，
如上所述的方法，所述预设的条件包括：
世界坐标系下，所述平面中的z坐标为0；
所述消失点是由世界坐标系下的水平线和竖直线生成的。
如上所述的方法，基于所述水平线和竖直线获取至少一个平面中像素点的位置信息，包括：
基于所述水平线和竖直线，利用预设划窗对至少一个平面进行统计，获得所述划窗内属于该平面的像素数量占比；
根据所述像素数量占比构建向量信息；
对所述向量信息进行数据降维处理，获得至少一个平面中像素点的位置信息。
如上所述的方法，基于所述水平线和竖直线获取至少一个平面中像素点的方向信息，包括：
基于所述水平线和竖直线，获取所述平面内各个像素处的法线向量；
将所述法线向量与预设的方向向量进行取内积处理，获得多个内积值；
根据所述内积值的大小对至少一个平面中的像素点进行计数，获得至少一个平面中像素点的方向信息。
如上所述的方法，在至少一个所述平面中，根据所述位置信息和方向信息确定至少一个用于插入数据的数据插入位置，包括：
将所述位置信息和方向信息进行合并，获得平面描述信息；
获取待插入数据以及所述待插入数据的数据描述信息；
根据所述平面描述信息和所述数据描述信息对所述待插入数据进行分析处理，获得至少一个所述数据插入位置。
如上所述的方法，根据所述平面描述信息和所述数据描述信息对所述待插入数据进行分析处理，获得至少一个所述数据插入位置，包括：
获取所述平面描述信息与所述数据描述信息的匹配度；
将所述匹配度大于或等于预设阈值的平面描述信息所对应的平面确定为目标平面；
在所述目标平面中确定至少一个与所述待插入数据相适配的数据插入位置。
如上所述的方法，在所述目标平面中确定至少一个与所述待插入数据相适配的数据插入位置，包括：
获取所述待插入数据的重心位置；
根据所述重心位置在所述目标平面中确定至少一个所述数据插入位置。
如上所述的方法，述方法还包括：
将所述待插入数据插入至所述图像数据中的至少一个数据插入位置处，生成至少一个目标图像数据；
输出所述目标图像数据。
如上所述的方法，在所述数据插入位置为多个时，所述方法还包括：
获取预先设置的识别规则；
根据所述识别规则对所述多个数据插入位置进行排序。
第二方面，本发明实施例提供一种数据的处理装置，包括：
第一获取模块，用于获取图像数据；
第一确定模块，用于确定位于所述图像数据中的至少一个平面以及至少一个平面在世界坐标系下的水平线和竖直线；
第一分析模块，用于基于所述水平线和竖直线获取至少一个平面中像素点的位置信息和方向信息；
第一处理模块，用于在至少一个所述平面中，根据所述位置信息和方向信息确定至少一个用于插入数据的数据插入位置。
第三方面，本发明实施例提供一种电子设备，包括：存储器、处理器；其中，所述存储器用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器执行时实现上述第一方面中的一种数据的处理方法。
第四方面，本发明实施例提供了一种计算机存储介质，用于储存计算机程序，所述计算机程序使计算机执行时实现上述第一方面中的一种数据的处理方法。
通过确定位于图像数据中的至少一个平面以及至少一个平面在世界坐标系下的水平线和竖直线；而后基于水平线和竖直线获取至少一个平面中像素点的位置信息和方向信息；并可以根据位置信息和方向信息确定至少一个用于插入数据的数据插入位置，有效地实现了在图像数据中能够自动寻找合适的区域来植入数据，有效地减轻了工作人员的工作量，节约了人力成本，并且降低了图像后期处理的制作成本，此外，该方法还可以复用原始图像内容，在不破坏原图像主要内容、不影响视觉效果的前提下，可以传递其他信息内容，从而有效地提高了该方法的实用性，有利于市场的推广与应用。
第五方面，本发明实施例提供一种数据的处理方法，包括：
获取数据处理请求，所述数据处理请求中包括待插入数据和图像数据；
确定位于所述图像数据中的至少一个平面以及至少一个平面在世界坐标系下的水平线和竖直线；
基于所述水平线和竖直线获取至少一个平面中像素点的位置信息和方向信息；
在至少一个所述平面中，根据所述位置信息和方向信息确定至少一个数据插入位置；
将所述待插入数据插入至所述图像数据中的至少一个数据插入位置处，生成与所述数据处理请求相对应的至少一个目标图像数据。
第六方面，本发明实施例提供一种数据的处理装置，包括：
第二获取模块，用于获取数据处理请求，所述数据处理请求中包括待插入数据和图像数据；
第二确定模块，用于确定位于所述图像数据中的至少一个平面以及至少一个平面在世界坐标系下的水平线和竖直线；
第二分析模块，用于基于所述水平线和竖直线获取至少一个平面中像素点的位置信息和方向信息；
第二处理模块，用于在至少一个所述平面中，根据所述位置信息和方向信息确定至少一个数据插入位置；
第一数据插入模块，还用于将所述待插入数据插入至所述图像数据中的至少一个数据插入位置处，生成与所述数据处理请求相对应的至少一个目标图像数据。
第七方面，本发明实施例提供一种电子设备，包括：存储器、处理器；其中，所述存储器用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器执行时实现上述第五方面中的一种数据的处理方法。
第八方面，本发明实施例提供了一种计算机存储介质，用于储存计算机程序，所述计算机程序使计算机执行时实现上述第五方面中的一种数据的处理方法。
在获得数据处理请求之后，可以对数据处理请求中所包括的待插入数据和图像数据进行分析处理，从而可以确定在图像数据中与待插入数据相适配的插入位置，并将待插入数据插入至所确定的数据插入位置处，进而可以得到与数据处理请求相对应的目标图像数据，该目标图像数据即为完成了图像植入操作后所获取的图像数据，上述过程有效地实现了可以自动地确定用于插入数据的数据插入位置，节省了人力成本和时间成本，同时也降低了图像植入流程的复杂程度，提高了图像植入的效率，可实现对图像的批量处理；这样不仅降低了图像后期处理的制作成本，复用原始图像内容；并且，还可以实现在不破坏原图像主要内容、不影响视觉效果的前提下，传递其他信息内容，从而有效地提高了该方法的实用性，有利于市场的推广与应用。
第九方面，本发明实施例提供一种视频植入方法，包括：
获取视频数据和素材数据；
确定位于所述视频数据中的至少一个平面以及至少一个平面在世界坐标系下的水平线和竖直线；
基于所述水平线和竖直线获取至少一个平面中像素点的位置信息和方向信息；
在至少一个所述平面中，根据所述位置信息和方向信息确定至少一个数据插入位置；
在所述数据插入位置，插入所述素材数据。
第十方面，本发明实施例提供一种视频植入装置，包括：
第三获取模块，用于获取视频数据；
第三确定模块，用于确定位于所述视频数据中的至少一个平面以及至少一个平面在世界坐标系下的水平线和竖直线；
第三分析模块，用于基于所述水平线和竖直线获取至少一个平面中像素点的位置信息和方向信息；
第三处理模块，用于在至少一个所述平面中，根据所述位置信息和方向信息确定至少一个数据插入位置；
第二数据插入模块，用于在所述数据插入位置，插入所述素材数据。
第十一方面，本发明实施例提供一种电子设备，包括：存储器、处理器；其中，所述存储器用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器执行时实现上述第九方面中的一种视频植入方法。
第十二方面，本发明实施例提供一种计算机存储介质，用于储存计算机程序，所述计算机程序使计算机执行时实现上述第九方面中的一种视频植入方法。
第十三方面，本发明实施例提供一种广告植入方法，包括：
获取待植入广告和图像数据；
确定位于所述图像数据中的至少一个平面以及至少一个平面在世界坐标系下的水平线和竖直线；
基于所述水平线和竖直线获取至少一个平面中像素点的位置信息和方向信息；
在至少一个所述平面中，根据所述位置信息和方向信息确定至少一个数据插入位置；
在所述数据插入位置，插入所述待植入广告。
第十四方面，本发明实施例提供一种广告植入装置，包括：
第四获取模块，用于获取待植入广告和图像数据；
第四确定模块，用于确定位于所述图像数据中的至少一个平面以及至少一个平面在世界坐标系下的水平线和竖直线；
第四分析模块，用于基于所述水平线和竖直线获取至少一个平面中像素点的位置信息和方向信息；
第四处理模块，用于在至少一个所述平面中，根据所述位置信息和方向信息确定至少一个数据插入位置；
第三数据插入模块，用于在所述数据插入位置，插入所述待植入广告。
第十五方面，本发明实施例提供一种电子设备，包括：存储器、处理器；其中，所述存储器用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器执行时实现上述第十三方面中的一种广告植入装置。
第十六方面，本发明实施例提供一种计算机存储介质，用于储存计算机程序，所述计算机程序使计算机执行时实现上述第十三方面中的一种广告植入装置。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1a为本发明实施例提供的一种应用数据的处理方法的系统结构示意图；
图1为本发明实施例提供的一种数据的处理方法的流程图；
图2为本发明实施例提供的确定位于所述图像数据中的至少一个平面的流程图；
图3为本发明实施例提供的根据所述语义标签对所述图像数据中的所有像素进行分组，获得分组结果的流程图；
图4为本发明实施例提供的基于所述预测法线方向获取所述分组结果中每个像素点的法线预测可信度的流程图；
图5为本发明实施例提供的另一种数据的处理方法的流程图；
图6为本发明实施例提供的确定位于所述图像数据中的至少一个平面在世界坐标系下的水平线和竖直线的流程图；
图7为本发明实施例提供的在至少一个平面中，根据所述位置信息和方向信息确定至少一个用于插入数据的数据插入位置的流程图；
图8为本发明实施例提供的又一种数据的处理方法的流程图；
图9为本发明实施例提供的还一种数据的处理方法的流程图；
图10为本发明实施例提供的另一种数据的处理方法的流程图；
图11为本发明实施例提供的一种视频植入方法的流程图；
图12为本发明实施例提供的一种广告植入方法的流程图；
图13为本发明应用实施例提供的一种数据的处理方法的示意图；
图14为本发明实施例提供的一种数据的处理装置的结构示意图；
图15为与图16所示实施例提供的数据的处理装置对应的电子设备的结构示意图；
图16为本发明实施例提供的另一种数据的处理装置的结构示意图；
图17为与图16所示实施例提供的数据的处理装置对应的电子设备的结构示意图；
图18为本发明实施例提供的一种视频植入装置的结构示意图；
图19为与图18所示实施例提供的视频植入装置对应的电子设备的结构示意图；
图20为本发明实施例提供的一种广告植入装置的结构示意图；
图21为与图20所示实施例提供的广告植入装置对应的电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义，“多种”一般包含至少两种，但是不排除包含至少一种的情况。
应当理解，本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。
取决于语境，如在此所使用的词语“如果”、“若”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。类似地，取决于语境，短语“如果确定”或“如果检测(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当检测(陈述的条件或事件)时”或“响应于检测(陈述的条件或事件)”。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的商品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种商品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的商品或者系统中还存在另外的相同要素。
另外，下述各方法实施例中的步骤时序仅为一种举例，而非严格限定。
术语定义：
均值漂移算法(mean-shift算法)是一种基于密度梯度上升的非参数方法，通过迭代运算找到目标位置，实现目标跟踪；举例来说，其实现原理为：对于给定的一定数量样本，任选其中一个样本，以该样本为中心点划定一个圆形区域，求取该圆形区域内样本的质心，即密度最大处的点，再以该点为中心继续执行上述迭代过程，直至最终收敛。
条件随机场算法(conditionalrandomfieldalgorithm，简称crf)结合了最大熵模型和隐马尔可夫模型的特点，是一种无向图模型，近年来在分词、词性标注和命名实体识别等序列标注任务中取得了很好的效果。条件随机场是一个典型的判别式模型，其联合概率可以写成若干势函数联乘的形式，其中，最常用的是线性链条件随机场。
主成分分析法也称主分量分析法，通过主成分分析法可以起到降低维度的作用，把多指标合成为少数几个相互无关的综合指标(即主成分)，其中，每个主成分都能够反映原始变量的绝大部分信息，而且所含信息互不重复。这种方法在引进多方面变量的同时将复杂因素归结为几个主成分，使问题简单化，同时得到更加科学有效的数据信息。
为了便于理解本申请的技术方案，下面对现有技术进行简要说明：图像植入技术一般包括以下几个步骤：获取原始图像，提取原始图像中的平面，对平面进行几何分析，而后基于处理后的平面选定数据插入位置。
(1)针对上述过程，在提取原始图像中的平面时，现有技术的平面提取技术主要可以包括自下向上提取方式和自上向下提取方式两种；其中，对于自下而上提取算法而言，由于特征提取的稳定性和精确度不高，从而容易导致平面提取的质量低；而对于自上而下提取算法而言，其主要是利用机器学习和深度学习技术直接对像素点进行分类。然而，由于缺少高质量训练数据或者网络结构设计不合理等原因，容易造成像素点的分类误差较大。
(2)在对平面进行几何分析处理时，现有的平面分析算法一般是通过原始图像中的特征边提取算法在原始图像中提取出能够表达图像平面的特征边，结合透视的消失点，对平面进行几何参数的估计。然而，由于上述几何分析过程主要是依赖特征边，缺少其他信息，从而容易造成分析结果的误差较大。
(3)在基于处理后的平面选定数据插入位置时，现有技术中，一般通过人工指定或者选择的方式在现有图片中确定待植入素材的插入位置。然而，上述的图像植入过程不仅增加了人工成本和时间成本，增加了图像植入过程的复杂程度，并且也降低了图像植入的效率，无法实现对图像的批量处理。
为了解决上述技术问题，参考附图1a所示，本实施例提供了一种可以实现数据处理方法的数据处理系统，该数据处理所实现的方法主旨在于：通过人工智能技术，解决图像内容植入流程复杂低效率的问题，做到全自动的完成植入平面提取、平面几何分析、植入位置推荐等关键步骤。在数据处理系统执行该处理方法时，可以实现：针对原始图片的图片内容和分析结果可以复用、同一张图片可以具有不同的植入效果，同一个位置可以具有不同的植入内容，适用于对图像数据进行批量化的输出设计。
具体的，该数据处理系统包括用户终端01和与用户终端01通信连接的处理装置02，其中，该用户终端01可以是手机、平板电脑、个人电脑等各种电子设备，而处理装置02可以实现为软件、或者软件和硬件的组合。另外，用户终端01和处理装置02可以为建立在局域网上的客户端/服务器cs架构；或者，用户终端01和处理装置02也可以为建立在广域网上的浏览器/服务器bs架构，本领域技术人员可以根据具体的应用场景来选择不同的实现方式。具体的：
用户终端01，用于检测用户输入的执行操作，并基于执行操作生成数据处理请求，该数据处理请求中可以包括：待插入数据和图像数据，其中，待插入数据可以包括以下至少之一：文本信息、图片信息和视频信息等等，在用户终端01获取到用户输入的数据处理请求之后,可以将数据处理请求发送至处理装置02。
其中，用户终端01上可以设置有与处理装置02相对应的应用程序或者应用网址，用户通过应用程序或者应用网址可以实现将所输入的数据处理请求发送至处理装置02；举例来说，在用户想要进行将数据插入至图像数据中时，可以通过应用程序中的数据输入端口输入数据处理请求，在用户终端01获取上述的数据处理请求之后，可以将数据处理请求发送至处理装置02进行处理。
处理装置02，与用户终端01通信连接，用于接收用户终端01发送的数据处理请求,在接收到数据处理请求之后，可以对数据处理请求中的图像数据和待插入数据进行分析处理，具体的，可以确定位于图像数据中的一个或多个平面以及每个平面在世界坐标系下的水平线和竖直线；基于水平线和竖直线获取每个平面中像素点的位置信息和方向信息；在一个或多个平面中，根据位置信息和方向信息确定至少一个数据插入位置；将待插入数据插入至图像数据中的至少一个数据插入位置处，生成与数据处理请求相对应的至少一个目标图像数据。
本实施例中，在获得数据处理请求之后，可以对数据处理请求中所包括的待插入数据和图像数据进行分析处理，从而可以确定在图像数据中与待插入数据相适配的插入位置，并将待插入数据插入至所确定的数据插入位置处，进而可以得到与数据处理请求相对应的目标图像数据，该目标图像数据即为完成了图像植入操作后所获取的图像数据，上述过程有效地实现了可以自动地确定用于插入数据的数据插入位置，节省了人力成本和时间成本，同时也降低了图像植入流程的复杂程度，提高了图像植入的效率，可实现对图像的批量处理；这样不仅降低了图像后期处理的制作成本，复用原始图像内容；并且，还可以实现在不破坏原图像主要内容、不影响视觉效果的前提下，传递其他信息内容，从而有效地提高了该方法的实用性，有利于市场的推广与应用。
进一步的，为了便于理解本实施例中的技术方案，下面以处理装置作为执行主体，对数据进行处理的具体过程进行详细说明，参考附图1所示，本实施例提供了一种数据的处理方法，该处理方法可以用于平面海报设计、广告植入、家居设计和装饰等技术领域，在将处理方法直接应用于视频植入时，可以带来巨大的商业价值。另外，该处理方法的执行主体为数据的处理装置，该处理装置可以实现为软件、或者软件和硬件的组合。具体的，该方法可以包括：
s1：获取图像数据。
其中，图像数据可以包括图片信息和视频信息，当图像数据中包括视频信息时，可以对视频信息进行关键帧提取处理，从而获得与视频信息相对应的关键帧图片集合。另外，本实施例对于获取图像数据的具体实现方式不做限定，本领域技术人员可以根据具体的使用需求进行设置，例如：图像数据可以存储在预设区域内，通过访问预设区域可以获取到图像数据。或者，图像数据也可以是存储在其他设备端(例如：用户终端)内，通过与设备端的通信连接来获取到存储至设备端内的图像数据，具体的，一种可实现的方式为：可以向设备端发送数据获取请求，使得设备端可以基于数据请求返回图像数据；或者，另一种可实现的方式为：设备端可以主动将图像数据发送至处理装置，从而使得处理装置可以主动地获取图像数据。
可以理解的是，在设备端为用户终端时，在用户终端获取到图像数据之后，较为优选的，用户终端可以主动地将图像数据发送至处理装置进行处理，从而可以提高数据处理的质量和效率。
s2：确定位于图像数据中的至少一个平面以及至少一个平面在世界坐标系下的水平线和竖直线。
其中，一个图像数据中可以包括至少一个平面(即一个或多个平面)，该平面可以通过现有技术中的平面提取算法来识别确定，例如：采用自下向上的平面提取算法来识别确认位于图像数据中的至少一个平面；或者，也可以采用自上向下的平面提取算法来识别确认位于图像数据中的至少一个平面；或者，也可以获取到图像数据中每个像素点所对应的特征信息，而后对像素点所对应的特征信息进行分析识别，从而确定至少一个平面。当然的，本领域技术人员还可以采用其他的方式来确定图像数据中所包括的平面，只要能够保证平面确定的准确可靠性即可，在此不再赘述。
另外，在确定图像数据中所包括的平面之后，可以获得至少一个平面中所包括的多个像素点，任意两个像素点之间可以构成一个线段，因此，至少一个平面中的像素点与像素点之间可以构成多条线段，该线段可以是水平线段、倾斜线段或者竖直线段，为了保证用于放置到数据插入位置中的数据可以按照用户的预设方向进行放置，可以确定至少一个平面在世界坐标系下的水平线和竖直线，具体的，预先设置有标准水平线和标准竖直线,而后可以获取到至少一个平面中像素点所构成的所有线段，而后在世界坐标系下，将与标准水平线相平行的线段确定为水平线，将与标准竖直线相平行的线段确定为竖直线，从而保证了数据处理的质量和效率。当然的，本领域技术人员还可以采用其他的方式来确定至少一个平面在世界坐标系下的水平线和竖直线，只要能够保证水平线和竖直线确定的准确可靠性即可，在此不再赘述。
s3：基于水平线和竖直线获取至少一个平面中像素点的位置信息和方向信息。
在确定位于图像数据中的至少一个平面在世界坐标系下的水平线和竖直线之后，可以基于水平线和竖直线获取至少一个平面中像素点的位置信息和方向信息，具体的，基于水平线和竖直线获取至少一个平面中像素点的位置信息可以包括：
s31：基于水平线和竖直线，利用预设划窗对至少一个平面进行统计，获得划窗内属于该平面的像素数量占比。
s32：根据像素数量占比构建向量信息。
s33：对向量信息进行数据降维处理，获得至少一个平面中像素点的位置信息。
其中，预设划窗为预先设置的，本实施例对于划窗的具体大小不做限定，本领域技术人员可以根据具体的设计需求进行设置，例如：可以将划窗的大小设置为10*10、15*15或者8*8等等，为了便于说明，以划窗大小为10*10为例进行说明，具体的，对于图像数据中的每个平面，考虑到数据处理的效率，可以将平面蒙版缩放至100*100，以5*5为步长，利用上述的划窗进行像素数量统计，从而可以获得划窗内属于该平面的像素数量占比，在获取到像素数量占比之后，可以基于像素数量占比构建向量信息，该向量信息的数据维度较高，因此，可以称为高维向量。为了提高对数据进行处理的质量和效率，可以对向量信息进行数据降维处理，具体的，可以采用主成分分析方法对向量信息进行降维处理，从而可以获得至少一个平面中像素点的位置信息，该位置信息也可以称为位置描述子。
可以理解的是，在对向量信息进行数据降维处理时，并不限于上述的主成分分析方法，还可以采用其他的数据降维方法对向量信息进行数据降维处理，例如，hash编码方法等等，只要能够实现对向量信息进行稳定的数据降维处理即可，在此不再赘述。
另外，基于水平线和竖直线获取至少一个平面中像素点的方向信息可以包括：
s34：基于水平线和竖直线，获取平面内各个像素处的法线向量。
s35：将法线向量与预设的方向向量进行取内积处理，获得多个内积值。
s36：根据内积值的大小对至少一个平面中的像素点进行计数，获得至少一个平面中像素点的方向信息。
其中，预设的方向向量可以为预设几何图形的方向向量，例如：正六面体的各顶点的方向向量、正十二面体的各顶点的方向向量等等，为了便于理解，以正二十面体的各顶点的方向向量作为预设的方向向量为例进行说明，具体的，在获取到平面在世界坐标系下的水平线和竖直线之后，可以基于水平线和竖直线获取平面内各个像素处的法线向量，而后将法线向量与正二十面体的各顶点的方向向量取内积，获得多个内积值；在获取到多个内积值之后，可以根据内积值的大小选择预设数量的目标内积值，例如，选择最大的三个内积值作为目标内积值，而后对目标内积值所对应的像素点进行计数，从而可以获得至少一个平面中像素点的方向信息，该方向信息是一个向量表示信息，例如：可以获得一个12维的方向向量。
当然的，本领域技术人员还可以采用其他的方式来实现基于水平线和竖直线获取至少一个平面中像素点的位置信息和方向信息，只要能够保证至少一个平面中像素点的位置信息和方向信息获取的准确可靠性即可，在此不再赘述。
s4：在至少一个平面中，根据位置信息和方向信息确定至少一个用于插入数据的数据插入位置。
在获取到位置信息和方向信息之后，可以根据位置信息和方向信息在至少一个平面中确定数据插入位置，该数据插入位置为一个或多个，并且，该数据插入位置与待插入的数据相适配，此处的相适配包括数据内容的相适配、数据位置的相适配和数据方向的相适配等等；待插入的数据包括以下至少之一：文本信息、图片信息、视频信息；以便可以实现在将数据插入到数据插入位置时，要保证图像数据植入的效果，不影响图像数据的舒适程度和美观程度。
本实施例提供的数据的处理方法，通过确定位于图像数据中的至少一个平面以及至少一个平面在世界坐标系下的水平线和竖直线；而后基于水平线和竖直线获取至少一个平面中像素点的位置信息和方向信息；并可以根据位置信息和方向信息确定至少一个用于插入数据的数据插入位置，有效地实现了在图像数据中能够自动寻找合适的区域来植入数据，有效地减轻了工作人员的工作量，节约了人力成本，并且降低了图像后期处理的制作成本，此外，该方法还可以复用原始图像内容，在不破坏原图像主要内容、不影响视觉效果的前提下，可以传递其他信息内容，从而有效地提高了该方法的实用性，有利于市场的推广与应用。
图2为本发明实施例提供的确定位于图像数据中的至少一个平面的流程图；在上述实施例的基础上，继续参考附图2所示，在确定图像数据中所包括的平面时，本实施例中对于确定位于图像数据中的至少一个平面的具体实现方式不做限定，本领域技术人员可以根据具体的设计需求进行设置，较为优选的，本实施例中的确定位于图像数据中的至少一个平面可以包括：
s21：获取图像数据中每个像素点的语义标签和预测法线方向。
在获取图像数据之后，可以获取图像数据中每个像素点的像素特征，以根据像素特征来确定图像数据中所包括的平面，其中，像素特征可以包括每个像素点的语义标签和预测法线方向。本实施例对于语义标签和预测法线方向的具体获取方式不做限定，本领域技术人员可以根据具体的设计需求进行设置，较为优选的，本实施例中的获取图像数据中每个像素点的语义标签和预测法线方向可以包括：
s211：基于卷积神经网络获取数据分类系统。
具体的，基于卷积神经网络获取数据分类系统可以包括：
s2111：获取训练数据，训练数据包括以下至少之一：基于预设训练图像的像素级语义标签、基于预设训练图像的颜色深度数据、基于预设训练图像中预设像素点的预测法线方向、基于预设训练图像的任意两个像素点与相机之间的距离关系。
其中，颜色深度数据可以包括rgbd数据，任意两个像素点与相机之间的距离关系可以是指针对任意两个像素点而言，哪个像素点与相机之间的距离较近，哪个像素点与相机之间的距离较远。另外，预设训练图像是预先设置的用于对卷积神经网络进行学习训练所提供的标准图像数据，该预设训练图像所对应的像素级语义标签、预测法线方向均是预先设定的标准参数。此外，对于颜色深度数据和预设训练图像中任意两个像素点与相机之间的距离关系而言，其可以是预先设定的标准参数，或者，也可以是对预设训练图像进行分析识别后所获取的参数，具体的，可以利用rgbd传感器对预设训练图像进行扫描，获得颜色深度数据和/或任意两个像素点与相机之间的距离关系。
s2112：利用卷积神经网络对训练数据进行学习训练，获得数据分类系统。
s212：利用数据分类系统对图像数据进行处理，获取图像数据中每个像素点的语义标签和预测法线方向。
在获取到训练数据之后，可以利用卷积神经网络对训练数据进行学习训练，获得一个可以输出多目标的数据分类系统，该数据分类系统可以对图像数据进行处理，从而可以获得图像数据中每个像素点的语义标签和预测法线方向，有效地保证了图像数据中每个像素点的语义标签和预测法线方向获取的准确可靠性。
s22：根据语义标签对图像数据中的所有像素进行分组，获得分组结果。
在获取到每个像素点的语义标签之后，可以根据语义标签对图像数据中的所有像素进行分组，例如：可以将语义标签相同的像素点划分在同一个分组中，将语义标签不同的像素点划分在不同的分组中，从而可以获得分组结果，该分组结果可以为一个或多个。
可以理解的是，本领域技术人员还可以采用其他的方式来实现对图像数据中的所有像素进行分组，例如：可以获取到每两个像素点的语义标签的相似度/关联度，在相似度大于或等于预设阈值时，可以将两个像素点划分在同一个分组中，当相似度小于预设阈值时，则可以将两个像素点划分在不同的分组中，从而可以得到分组结果。只要能够保证获得分组结果即可，在此不再赘述。
s23：基于预测法线方向获取分组结果中每个像素点的法线预测可信度。
在获取到分组结果之后，可以基于每个分组结果中像素点的预测法线方向获取每个像素点的法线预测可信度(也可以称为法线预测置信度)，该法线预测可信度用于准确地识别出图像数中的平面。
s24：根据法线预测可信度对分组结果进行处理，获得位于图像数据中的至少一个平面掩模。
在获取到法线预测可信度之后，可以对法线预测可信度进行分析处理，从而可以获得图像数据中的至少一个平面掩模，该至少一个平面掩模即为所要确定的图像数据中的至少一个平面。具体的，根据法线预测可信度对分组结果进行处理，获得位于图像数据中的至少一个平面掩模可以包括：
s241：根据法线预测可信度、并利用以下公式对分组结果进行处理，获得第一参数γu(p(pi))，
s242：获取第二参数γp(p(pi),p(pj))；γp(p(pi),p(pj))＝σ(p(pi)≠p(pj))·
s243：根据第一参数和第二参数获得位于图像数据中的至少一个平面掩模：
e(p)＝∑iγu(p(pi))+∑i∑j<iγp(p(pi),p(pj))；
其中，e(p)为平面掩模，γu(p(pi))为第一参数，γp(p(pi),p(pj))为第二参数。可以理解的是，上述的根据第一参数和第二参数获得位于图像数据中的至少一个平面掩模所对应的算法公式即为crf模型算法。
本实施例中，通过语义标签对图像数据中的所有像素进行分组，获得分组结果，基于预测法线方向获取分组结果中每个像素点的法线预测可信度，而后采用crf模型结合法线预测可信度对分组结果进行优化处理，从而获得位于图像数据中的至少一个平面掩模，有效地保证了图像数据中平面确定的稳定可靠性，进一步保证了该数据处理方法的准确可靠性。
图3为本发明实施例提供的根据语义标签对图像数据中的所有像素进行分组，获得分组结果的流程图；在上述实施例的基础上，继续参考附图3所示，在根据语义标签对图像数据中的所有像素进行分组，获得分组结果时，本实施例中对于根据语义标签对图像数据中的所有像素进行分组的具体实现方式不做限定，本领域技术人员可以根据具体的设计需求进行设置，较为优选的，本实施例中的根据语义标签对图像数据中的所有像素进行分组，获得分组结果可以包括：
s221：获取图像数据中每个像素点的像素位置信息。
在获取到图像数据之后，可以利用rgbd传感器对图像数据进行扫描，从而可以获取到图像数据中每个像素点的像素位置信息。当然的，本领域技术人员也可以采用其他的方式来获得图像数据中每个像素点的像素位置信息，只要能够保证像素点的像素位置信息获取的准确可靠性即可，在此不再赘述。
s222：根据语义标签、像素位置信息和预测法线方向对像素点进行聚类处理，获得分组结果。
在获取到像素位置信息之后，可以结合语义标签和预测法线方向对图像数据中的所有像素点进行聚类处理，以便获得分组结果，具体应用时，可以利用均值漂移算法mean-shift算法、k-means算法或者affinitypropagation算法对像素点进行聚类处理，从而可以获得分组结果。
较为优选的，本实施例中根据语义标签、像素位置信息和预测法线方向对像素点进行聚类处理，获得分组结果可以包括：
s2221：根据语义标签、像素位置信息和预测法线方向对像素点进行聚类处理，获得多个聚类结果。
其中，在对像素点进行聚类处理时，需要考虑语义标签、像素位置信息和预测法线方向对像素点的影响，举例来说：若两个像素点所对应的语义标签相同，但是两个像素点所对应的像素位置信息之间距离较远，或者两个像素点所对应的预测法线方向差异较大，则可以将两个像素点聚类到不同的分组中，获得多个聚类结果；这样可以保证对像素点进行聚类处理的准确可靠性。
s2222：获取每个聚类结果中所包括的像素点信息。
像素点信息可以包括以下至少之一：像素点个数、像素点所占比例、像素点所覆盖的范围。在获取到聚类结果之后，可以利用检测装置来识别每个聚类结果中所包括的像素点信息。
s2223：根据像素点信息在多个聚类结果中确定至少一个分组结果。
在获取到每个聚类结果中所包括的像素点信息之后，可以根据像素点信息在多个聚类结果中确定至少一个分组结果，具体的，根据像素点信息在多个聚类结果中确定至少一个分组结果可以包括：
s22231：根据像素点信息的大小对多个聚类结果进行排序，获得多个聚类结果的排列顺序。
s22232：基于排列顺序，获取像素点信息之和大于预设阈值的至少一个聚类结果。
s22233：将至少一个聚类结果确定为至少一个分组结果。
举例来说，当像素点信息为像素点所占比例时，则可以根据像素点所占比例的大小对多个聚类结果进行排序，例如：像素点所占比例大的聚类结果排列位置靠前，像素点所占比例小的聚类结果排列位置靠后，而后根据排列顺序，由前到后或者由大到小来获取多个聚类结果的像素点所占比例之和，当像素点所占比例之和大于预设阈值(例如：90％、95％等等)时，则可以将该像素点所占比例之和所对应的至少一个聚类结果确定为至少一个分组结果，也即：在保证数据多样性和全面性的同时，排除掉比较小的聚类结果中所包括的像素点数据，这样可以降低其他干扰数据对数据处理所构成的影响，有效地提高数据的处理效率，并且还能够保证数据处理的准确可靠性。
本实施例中，通过获取图像数据中每个像素点的像素位置信息，而后根据语义标签、像素位置信息和预测法线方向对像素点进行聚类处理，获得分组结果，有效地保证了分组结果获取的准确可靠性，进一步提高了数据处理的质量和效率。
图4为本发明实施例提供的基于预测法线方向获取分组结果中每个像素点的法线预测可信度的流程图；在上述实施例的基础上，继续参考附图4所示，在基于预测法线方向获取分组结果中每个像素点的法线预测可信度时，本实施例中其具体实现方式不做限定，本领域技术人员可以根据具体的设计需求进行设置，较为优选的，本实施例中的基于预测法线方向获取分组结果中每个像素点的法线预测可信度可以包括：
s231：获取分组结果中每个像素点所对应的实际法线方向、像素点到图像边缘的距离信息。
其中，在获取到分组结果之后，可以针对每个分组结果中的每个像素点进行处理，从而可以获取到每个像素点所对应的实际法线方向和像素点到图像边缘的距离信息，具体的，可以利用rgbd传感器对图像数据进行扫描，获得像素点到图像边缘的距离信息以及其他的颜色深度数据等等，在获取到深度数据之后，可以对深度数据就进行计算处理(例如：对点云邻域的特征分解降维)，从而可以获得每个像素点所对应的实际法线方向。
s232：根据预测法线方向、实际法线方向和距离信息确定分组结果中每个像素点的法线预测可信度。
在获取到实际法线方向和距离信息之后，可以结合预测法线方向确定每个分组结果中的每个像素点的法线预测可信度，具体的，根据预测法线方向、实际法线方向和距离信息确定分组结果中每个像素点的法线预测可信度可以包括：
s2321：根据预测法线方向、实际法线方向以及距离信息，并利用以下公式确定法线预测可信度：
其中，cnormal(p)为法线预测可信度，median是计算给定集合中位数的算法，n(q)和
可选地，参考附图5所示，在基于预测法线方向获取分组结果中每个像素点的法线预测可信度之后，为了保证法线预测可信度的准确可靠性，可以对法线预测可信度进行调整，具体的，本实施例中的方法还可以包括：
s233：获取分组结果中每个像素点的像素值。
s234：将每个像素点的像素值与所对应的法线预测可信度进行加权，获得加权像素信息。
s235：利用高斯分布算法和加权像素信息对分组结果进行拟合，获得像素点在高斯分布下的后验概率。
s236：根据后验概率对法线预测可信度进行调整。
举例来说，现有分组结果中的像素点包括：像素点a--像素值a1，像素点b--像素值b1,像素点c--像素值c1，其中，上述像素点a、像素点b和像素点c所对应的法线预测可信度分别为ca、cb和cc而后，将每个像素点的像素值与所对应的法线预测可信度进行加权，可以获得加权像素信息如下：a1*ca、b1*cb和c1*cc，而后利用上述加权像素信息和高斯分布算法对分组结果中的像素点进行拟合处理，从而可以获得像素点在高斯分布下的后验概率f，在获得后验概率之后，可以根据后验概率对法线预测可信度进行调整，具体的，根据后验概率对法线预测可信度进行调整可以包括：
s2361：根据后验概率确定初始法线预测可信度。
具体的，根据后验概率确定初始法线预测可信度可以包括：
s23611：根据后验概率、利用以下公式确定初始法线预测可信度：
其中，η(p)为像素点p的特征信息，fp为高斯分布函数，fp(η(p))是对η(p)进行拟合所获得的多维高斯分布的后验概率信息，μp为高斯分布函数的预设期望。
s2362：根据初始法线预测可信度、并利用以下公式对法线预测可信度进行调整：
其中，p为像素点，
本实施例中，通过获取分组结果中每个像素点所对应的实际法线方向、像素点到图像边缘的距离信息，而后根据预测法线方向、实际法线方向和距离信息确定分组结果中每个像素点的法线预测可信度，有效地保证了法线预测可信度获取的准确可靠性，并且还可以通过后验概率对法线预测可信度进行调整，进一步提高了该数据处理方法使用的准确可靠性。
图6为本发明实施例提供的确定位于图像数据中的至少一个平面在世界坐标系下的水平线和竖直线的流程图；在上述任意一个实施例的基础上，继续参考附图6所示，本实施例中对于图像数据中的至少一个平面在世界坐标系下的水平线和竖直线的具体确定方式不做限定，本领域技术人员可以根据具体的设计需求进行设置，较为优选的，本实施例中的确定位于图像数据中的至少一个平面在世界坐标系下的水平线和竖直线可以包括：
s25：利用直线段检测算法对图像数据进行处理，获得一个或多个线段。
其中，直线段检测算法(linesegmentdetector，简称lsd)是一种线段检测算法，该方法能在较短的时间内获得较高精度的直线段检测结果。该方法的实现原理为：首先，计算图像中所有点的梯度大小和方向，然后，将梯度方向变化小且相邻的点作为一个连通域，接着根据每一个域的矩形度判断是否需要按照规则将其断开以形成多个矩形度较大的域，最后对生成的所有的域做改善和筛选，保留其中满足条件的域，即为最后的直线检测结果,从而可以获得一个或多个线段。
可以理解的是，本领域技术人员还可以采用其他的方法或者其他算法来获得图像数据中的一个或多个线段，只要能够保证线段获取的准确可靠性即可，在此不再赘述。
s26：根据一个或多个线段获得至少一个平面在世界坐标系下的水平线和竖直线。
需要注意的是，本实施例中的步骤s25-步骤s26与上述实施例中的步骤s21-步骤s24之间并没有前后顺序，也即，本实施例中的步骤s25-步骤s26可以在上述实施例中的步骤s21-步骤s24执行之前进行执行，或者，也可以在上述步骤s21-步骤s24执行之后进行执行，或者，也可以与上述步骤s21-步骤s24同时执行。
在获得一个或多个线段之后，可以根据所获得的线段获取至少一个平面在世界坐标系下的水平线和竖直线，具体的，根据一个或多个线段获得至少一个平面在世界坐标系下的竖直线可以包括：
s261：利用暴力搜索方法针对至少一个平面中的一平面确定一竖直方向。
s262：在一个或多个线段中，确定平行于竖直方向的所有线段，并将线段确定为竖直线。
需要注意的是，在利用暴力搜索方法针对至少一个平面中的任一平面或者每个平面确定竖直方向时，所确定的竖直方向并不限定于百分之百的竖直方向，还可以包括接近于竖直的方向；也即通过暴力搜索方法，可以查找一个接近于竖直或者纯竖直的方向，使得平面内或者平面附近有尽可能多的平行(或者接近平行)于这一方向的线段。而后，对于平面中任意像素点，过该像素点做平行于该方向的直线段即为该像素处的竖直线。
另外，根据一个或多个线段获得至少一个平面在世界坐标系下的水平线可以包括：
s263：利用非线性优化方法确定一消失点，在至少一个平面中的一平面中经过消失点的线段数量大于或等于预设阈值。
s264：将所述平面中任意像素点与消失点的直线确定为水平线。
具体的，可以利用非线性优化方法或者其他方法查找空间中某一点，当所查找到点可以使得平面内或者平面附近有尽可能多的线段延长线经过，则可以将所查找到的点确定为消失点，在查找到消失点之后，对于平面中的任意像素点，过该像素点与消失点的直线即为该像素处的水平线。
本实施例中，利用直线段检测算法对图像数据进行处理，获得一个或多个线段，而后根据一个或多个线段获得至少一个平面在世界坐标系下的水平线和竖直线，有效地保证了至少一个平面在世界坐标系下的水平线和竖直线确定的准确可靠性，进一步提高了该方法使用的精确度。
可选地，在根据一个或多个线段获得至少一个平面在世界坐标系下的水平线和竖直线之后，为了便于对至少一个平面在世界坐标系下的水平线和竖直线进行应用，本实施例中的方法还可以包括对至少一个平面在世界坐标系下的水平线和竖直线进行参数化处理，具体的包括以下步骤：
s27：在满足预设的条件下，获取相机的内参矩阵和位姿信息；
其中，预设的条件包括：条件(1)世界坐标系下，平面中的z坐标为0；该预设的条件是用于保证物体在图像数据中的状态与实际状态相符合；条件(2)消失点是由世界坐标系下的水平线和竖直线生成的，该预设的条件用于保证物体在图像数据中的方向与实际环境中的方向是相同的，例如：竖直的物体在图像数据中也是竖直的，水平的物体在图像数据中也是水平的。在满足上述预设的条件下，可以采用现有技术中的方法来获取内参矩阵和位姿信息。
s28：利用以下公式、根据内参矩阵和位姿信息分别对水平线和竖直线进行参数处理，获得与水平线相对应的水平参数以及与竖直线相对应的竖直参数；
其中，|u(p)|为水平参数，|v(p)|为竖直参数，a为内参矩阵，r，t均为位姿信息，
通过对至少一个平面在世界坐标系下的水平线和竖直线进行参数化处理，有效地方便了对至少一个平面的水平线和竖直线的应用过程，进一步提高了该方法使用的方便程度。
图7为本发明实施例提供的在至少一个平面中，根据位置信息和方向信息确定至少一个用于插入数据的数据插入位置的流程图；在上述任意一个实施例的基础上，继续参考附图7所示，本实施例中，在至少一个平面中，根据位置信息和方向信息确定至少一个用于插入数据的数据插入位置可以包括：
s41：将位置信息和方向信息进行合并，获得平面描述信息。
举例来说，当所获取的位置信息为一个12维的向量信息，方向信息为一个15维的向量信息时，当将位置信息和方向信息进行合并处理后，可以获得一个27维的平面描述信息，或者也可以称为平面描述子；通过该平面描述信息，可以确定平面所在位置和平面的方向。
s42：获取待插入数据以及待插入数据的数据描述信息。
待插入数据可以包括以下至少之一：文本信息、图片信息或者视频信息，该待插入数据可以为预先设置的或者用户选取的，而数据描述信息可以是预先设置好的与待插入数据相适配的描述信息，或者，在获取到待插入数据之后，可以获取对待插入数据进行分析识别，从而可以获得待插入数据的数据描述信息，例如：待插入数据为带有花瓶的图片信息，在获取到待插入数据之后，可以对待插入数据进行分析识别，从而可以获取到与待插入数据相对应的数据描述信息“花瓶”。
s43：根据平面描述信息和数据描述信息对待插入数据进行分析处理，获得至少一个数据插入位置。
在获取到平面描述信息和数据描述信息之后，可以根据平面描述信息和数据描述信息来确定至少一个数据插入位置，具体的，根据平面描述信息和数据描述信息对待插入数据进行分析处理，获得至少一个数据插入位置可以包括：
s431：获取平面描述信息与数据描述信息的匹配度。
s432：将匹配度大于或等于预设阈值的平面描述信息所对应的平面确定为目标平面。
s433：在目标平面中确定至少一个与待插入数据相适配的数据插入位置。
举例来说，现有平面描述信息分别为p1、p2和p3,数据描述信息为c，在获取到平面描述信息和数据描述信息之后，可以对上述平面描述信息和数据描述信息进行分析识别，获取到平面描述信息与数据描述信息的匹配度分别如下：s1、s2和s3，而后将所获取到的匹配度分别与预设阈值s进行分析比较，比较可知s1<s，s2>s，s3＝s，此时，可以将s2和s3所对应的平面描述信息确定为目标平面的平面描述信息，也即，将平面描述信息p2和p3所对应的平面确定为目标平面，而后可以在目标平面中确定至少一个数据插入位置，可以理解的是，一个目标平面中可以确定一个或多个数据插入位置。
具体的，在目标平面中确定至少一个与待插入数据相适配的数据插入位置可以包括：
s4331：获取待插入数据的重心位置。
s4332：根据重心位置在目标平面中确定至少一个数据插入位置。
在确定数据插入位置时，可以基于待插入数据的重心位置进行确定，例如：要使得待插入数据的重心位置位于目标平面中，或者待插入数据的重心位置距离目标平面的边缘距离至少要大于预设距离等等。
当然的，本领域技术人员也可以采用其他的方式来确定数据插入位置，例如获取待插入数据的大小，根据待插入数据的大小在目标平面中确定至少一个数据插入位置；获取待插入数据的语义标签，根据语义标签在目标平面中确定至少一个数据插入位置等等；只要能够保证数据插入位置与待插入数据相适配即可，在此不再赘述。
可选的，在目标平面中确定至少一个与待插入数据相适配的数据插入位置之后，参考附图8所示，本实施例中的方法还可以包括：
s44：将待插入数据插入至图像数据中的至少一个数据插入位置处，生成至少一个目标图像数据。
s45：输出目标图像数据。
在获取到至少一个数据插入位置之后，可以将待插入数据植入到数据插入位置处，从而生成了目标图像数据，可以理解的是，目标图像数据为一个或多个，并且，该目标图像数据为植入了待插入数据之后的图像数据。另外，还可以根据用户的需求选择性的输出目标图像数据，举例来说，当用户需要将所有或者部分的目标图像数据进行输出时，则输出所有的或者部分的目标图像数据，当用户不需要将目标图像数据进行输出时，则可以不执行输出目标图像数据的操作步骤。
本实施例中，通过将待插入数据插入至图像数据中的至少一个数据插入位置处，生成至少一个目标图像数据，有效地实现了在保证原有的图像数据的基础上，自动的生成了嵌入待插入数据的目标图像数据，有效地提高了图像数据处理的质量和效率，并且还可以根据用户需求选择性地输出目标图像数据，进一步提高了该方法使用的方便程度。
图9为本发明实施例提供的还一种数据的处理方法的流程图；在上述实施例的基础上，继续参考附图9所示，可以理解的是，在数据插入位置为多个时，本实施例中的方法还可以包括：
s101：获取预先设置的识别规则；
其中，预先设置的识别规则包括以下至少一个方面的规则：检索排序、图像梯度、大小尺寸以及美学评价，具体的，(1)检索排序：要求最终排序结果与检索排序尽量一致；(2)图像梯度：植入区域的梯度变化要平缓，避免遮挡住其他物体；(3)大小尺寸：要求植入区域尽可能大，可以展示更多的内容；(4)美学评价：注入区域避免靠近平面边界，避免不美观。
可以理解的是，预先设置的识别规则并不限定于上述所包括的内容，本领域技术人员还可以根据具体的应用场景和设计需求将其设置为包括其他方面的规则信息，例如：可以包括有关图像植入数据效果的稳定性、自然性、舒适性等方面的影响因素等等，在此不再赘述。
s102：根据识别规则对多个数据插入位置进行排序。
在获取到识别规则之后，可以根据识别规则对多个数据插入位置进行分析识别，从而可以获得每个数据插入位置所对应的综合性评价，而后根据综合性评价的高低对多个数据插入位置进行排序，从而方便用户看到数据嵌入效果比较好的图像数据，
本实施例中，通过获取预先设置的识别规则，而后根据识别规则对多个数据插入位置进行排序，有效地实现了可以快速得到与待插入数据相适配的数据插入位置，从而便于生成数据嵌入效果较好的图像数据，同时可以产生最佳的展示效果，进一步提高了该方法的实用性。
图10为本发明实施例提供的另一种数据的处理方法的流程图；本实施例提供了另一种数据的处理方法，该处理方法同样可以用于平面海报设计、广告植入、家居设计和装饰等技术领域，在将处理方法直接应用于视频植入时，可以带来巨大的商业价值。另外，该处理方法的执行主体为数据的处理装置，该处理装置可以实现为软件、或者软件和硬件的组合。具体的，该方法可以包括：
s201：获取数据处理请求，数据处理请求中包括待插入数据和图像数据。
数据处理请求可以是根据用户的执行操作生成的，具体的，用户可以通过用户终端输入相应的执行操作，用户终端基于执行操作生成数据处理请求，该数据处理请求中可以包括：待插入数据和图像数据，其中，待插入数据可以包括以下至少之一：文本信息、图片信息和视频信息等等，图像数据可以包括：图片信息和视频信息等等。在用户终端获取到用户输入的数据处理请求之后,可以将数据处理请求发送至处理装置，从而使得处理装置可以获得数据处理请求。
s202：确定位于图像数据中的至少一个平面以及至少一个平面在世界坐标系下的水平线和竖直线。
s203：基于水平线和竖直线获取至少一个平面中像素点的位置信息和方向信息。
s204：在至少一个平面中，根据位置信息和方向信息确定至少一个数据插入位置。
s205：将待插入数据插入至图像数据中的至少一个数据插入位置处，生成与数据处理请求相对应的至少一个目标图像数据。
本实施例中上述步骤的实现过程和实现效果与上述实施例中的步骤s1-s4的实现过程和实现效果相类似，具体可参考上述陈述内容，在此不再赘述。
可以想到的是，本实施例中的方法还可以包括上述附图1-图9所示实施例中的部分或者全部方法，本实施例未详细描述的部分，可参考对图1-图9所示实施例的相关说明。该技术方案的执行过程和技术效果参见图1-图9所示实施例中的描述，在此不再赘述。
本实施例提供的数据的处理方法，在获得数据处理请求之后，可以对数据处理请求中所包括的待插入数据和图像数据进行分析处理，从而可以确定在图像数据中与待插入数据相适配的插入位置，并将待插入数据插入至所确定的插入位置处，进而可以得到与数据处理请求相对应的目标图像数据，该目标图像数据即为完成了图像植入操作后所获取的图像数据，上述过程有效地实现了可以自动地确定用于插入数据的数据插入位置，节省了人力成本和时间成本，同时也降低了图像植入流程的复杂程度，提高了图像植入的效率，可实现对图像的批量处理；这样不仅降低了图像后期处理的制作成本，复用原始图像内容；并且，还可以实现在不破坏原图像主要内容、不影响视觉效果的前提下，传递其他信息内容，从而有效地提高了该方法的实用性，有利于市场的推广与应用。
图11为本发明实施例提供的一种视频植入方法的流程图；参考附图11所示，本实施例提供了一种视频植入方法，该方法的执行主体为视频植入装置，该视频植入装置可以实现为软件、或者软件和硬件的组合。具体的，该方法可以包括：
s301：获取视频数据和素材数据。
s302：确定位于所述视频数据中的至少一个平面以及至少一个平面在世界坐标系下的水平线和竖直线。
s303：基于所述水平线和竖直线获取至少一个平面中像素点的位置信息和方向信息。
s304：在至少一个平面中，根据所述位置信息和方向信息确定至少一个数据插入位置。
s305：在所述数据插入位置，插入所述素材数据。
本实施例中上述步骤的实现过程和实现效果与上述实施例中的步骤s201-s205的实现过程和实现效果相类似，具体的可参考上述陈述内容，在此不再赘述。
可以想到的是，本实施例中的方法还可以包括上述附图1-图9所示实施例中的部分或者全部方法，本实施例未详细描述的部分，可参考对图1-图9所示实施例的相关说明。该技术方案的执行过程和技术效果参见图1-图9所示实施例中的描述，在此不再赘述。
图12为本发明实施例提供的一种广告植入方法的流程图；参考附图12所示，本实施例提供了一种广告植入方法，该方法的执行主体为广告植入装置，该广告植入装置可以实现为软件、或者软件和硬件的组合。具体的，该方法可以包括：
s401：获取待植入广告和图像数据。
s402：确定位于所述图像数据中的至少一个平面以及至少一个平面在世界坐标系下的水平线和竖直线。
s403：基于所述水平线和竖直线获取至少一个平面中像素点的位置信息和方向信息。
s404：在至少一个平面中，根据所述位置信息和方向信息确定至少一个数据插入位置。
s405：在所述数据插入位置，插入所述待植入广告。
本实施例中上述步骤的实现过程和实现效果与上述实施例中的步骤s201-s205的实现过程和实现效果相类似，具体的可参考上述陈述内容，在此不再赘述。
可以想到的是，本实施例中的方法还可以包括上述附图1-图9所示实施例中的部分或者全部方法，本实施例未详细描述的部分，可参考对图1-图9所示实施例的相关说明。该技术方案的执行过程和技术效果参见图1-图9所示实施例中的描述，在此不再赘述。
具体应用时，参考附图13所示，本应用实施例提供了一种数据的处理方法，该方法用于执行对给定的图像数据进行数据植入处理，大致的处理过程包括：对图像数据中的平面进行提取，对提取的平面进行几何分析，并通过分析后的平面进行数据插入位置的推荐，从而有效地实现了自动地确定用于插入数据的数据插入位置，节省了人力成本和时间成本，同时也降低了图像植入流程的复杂程度，提高了图像植入的效率，可实现对图像的批量处理。具体的，该方法包括：
step1：基于图像数据的平面提取
输入：图像数据i
输出：对于图像数据中每一个像素p，计算p(p)，即其所属的平面。
针输入的图像数据i，获取每个像素点的语义标签和法线方向；具体的，利用卷积神经网络对预设的训练数据进行学习训练，获得一个多目标的分类/回归系统，通过分类/回归系统对图像数据i进行分析处理，可以获得图像数据i中每个像素点的语义标签与法线方向。
(1.1)模式初始估计
将所输入的图像数据i中的所有像素点按照所获取的像素点的语义标签进行分组，例如，对于一个图像数据i而言，相同语义标签的像素点可以为一组，也即可以将所有像素点按照语义标签划分为：墙面组、地面组、桌面组等等。
具体的，在对图像数据中的所有像素点信息分组时，可以采用均值漂移mean-shift算法，按照像素点的语义标签对像素点的原始特征(包括：2维的像素位置：水平像素位置和竖直像素位置、3维的法线方向，共计5维特征)进行聚类处理，其中，聚类处理采用了高斯核，从而可以获得多个聚类结果，而后将聚类结果按照从大到小进行排序，并根据排序结果选取聚类，直至这些聚类覆盖该分组。
举例来说：墙面上设置有1000个像素点，聚类之后获得4个聚类结果，每个聚类结果所对应的像素点个数分别为500、300、150和50，那么通过对聚类结果的大小进行排序之后，可以获知像素点分别为500、300和150的所对应的聚类结果的像素点之和为950，其与前面所包括的像素点相比，占比达到95％，该占比数据大于预设阈值90％，此时，则可以将像素点分别为500、300和150的所对应的聚类结果确定为分组结果，而将像素点为50的聚类结果进行忽略处理，这样不仅可以保证数据处理的质量，还可以提高数据处理的效率。
(1.2)模式优化
针对图像数据中的每个像素点而言，定义其法线预测可信度，该法线预测可信度与像素点到图像边缘的最小距离有关。而后可以将每个像素点的像素值按照可信度进行加权，获得加权像素参数，根据加权像素参数，采用一个多维的高斯分布算法对上述过程所获得的分组结果进行拟合，从而可以获得针对各个像素在该高斯分布下的后验概率，该后验概率用于标识像素点属于分组结果(也可以称为分组平面)的概率是多少。
在获取到后验概率之后，可以通过后验概率对上述的法线预测可信度进行调整，从而可以提高法线预测可信度参数的准确性。并且，在获取到法线预测可信度之后，可以根据法线预测可信度并结合预设的crf能量优化函数对分组结果进行处理，从而获得位于图像数据中的至少一个平面掩模。
二、基于图像的平面几何分析算法
输入：平面p，该平面p即为上述过程所获得的平面掩模
输出：平面p的参数化结果，估计在世界坐标系下的水平线和竖直线。
(2.1)消失点估计
使用直线段检测算法linesegmentdetector算法，从图像中提取一族线段，每段线段均包括有起止点，并依据这族线段尝试求解空间中各像素处的水平线、竖直线。通过求解空间中各个像素点的水平线和竖直线，可以保证待插入内容植入到图像数据中的真实性。
具体的，对于竖直线而言，通过暴力搜索方法，查找一个接近于竖直的方向，使得平面内或者平面附近有尽可能多的、且平行(或者接近平行)于这一方向的线段。对于平面中任意像素点，过该像素点做平行于该方向的直线段即为该像素处的竖直线。
对于水平线而言，通过非线性优化方法查找空间中某一点，使得平面内或者平面附近有尽可能多的线段延长线经过(或接近经过)这一点，此时，该点称为消失点。对于平面中的任意像素点，过该像素点与消失点的直线即为该像素处的水平线。
(2.2)平面参数化
算法通过两个假设条件对相机的内参矩阵和位姿信息进行估计。两个假设用于保证图像数据中的环境与实际的环境相一致，例如，竖直的物体在图像数据中也是竖直的，水平的物体在图像数据中也是水平的。具体的，两个假设条件包括：
(1)平面的z坐标为0；
(2)消失点都是由世界坐标系下的水平线和竖直线生成的。
基于上述假设条件，结合现有技术的假设投影集合里面的定义，可以估计得到相机的内参矩阵a和其位姿信息(r，t)。由此，可以根据内参矩阵a和位姿信息对平面p进行参数化处理，以获得平面p的参数化结果，也即：估计得到平面在世界坐标系下的水平线和竖直线。
三、基于样例的植入位置推荐算法
输入：图像数据i及平面参数化结果
输出：图像数据i中可用于植入素材的区域，即数据插入位置
(3.1)基于上下文的检索
考虑到数据处理的效率和空间搜索的搜索效率，针对图像数据i中的每一个平面，将其蒙版缩放至100*100，以5*5为步长，构造大小为10*10的划窗，统计各窗口内属于该平面的像素数量占比，根据像素数量占比构建一个高维向量，通过主成分分析方法将高维向量降维至低维向量，而后生成该平面的位置描述子，例如，可以获得一个15维的位置向量信息。
与此同时，将平面内的各像素处法线向量与预设的正二十面体的各顶点的方向向量取内积，对最大的三个内积值对应的节点计数，构成一个12维的法向描述子。将上述所获得的位置描述子与法向描述子进行合并，即得27维的平面描述子，此时的平面描述子至少包括该平面的位置信息和朝向信息。
在获取到平面描述子之后，可以获取平面描述子与待插入数据所对应的数据描述子的匹配度；将匹配度大于或等于预设阈值的平面描述信息所对应的平面确定为目标平面；而后获取待插入数据的重心位置；根据重心位置在目标平面中确定至少一个数据插入位置，并可以将待插入数据迁移至数据插入位置处，生成目标图像数据。
需要注意的是，由于平面描述子可以包括多个，因此，在获取平面描述子时，为了提高对图像数据进行处理的效率，可以采集自然场景下拍摄的含有室内场景作为训练集，对训练集进行学习训练，获得平面处理算法，而后利用平面处理算法对一张准备进行植入素材的输入图片，同样经上述流程生成几何平面，而后对其中的每一个平面，在样例集合(包括：一个平面所对应的多个平面描述子)中查找一个平面描述子最接近且覆盖素材的平面。
(3.2)基于上下文的排序
为了得到与待植入数据最接近的目标图像数据，同时产生最佳的展示效果，可以预先设计了一个综合检索排序、图像梯度、大小尺寸和美学评价四个指标的排序方法，通过该排序方法可以对所获得的多个数据插入位置进行排序，从而便于用户查找到符合需求的目标图像数据。具体的：
(1)检索排序：要求最终排序结果与检索排序尽量一致
(2)图像梯度：植入区域的梯度变化要平缓，避免遮挡住其他物体；
(3)大小尺寸：要求植入区域尽可能大，可以展示更多的内容；
(4)美学评价：注入区域避免靠近平面边界，避免不美观。
本应用实施例提供了一种数据点额处理方法，该方法技术可以应用于平面设计、家居设计和装饰、视频植入等多种应用中；并且，该方法技术相对于传统方法而言，包括以下几点改进：(1)基于图像的平面提取算法：将平面提取问题表达为平面模式搜索问题进行解决，算法分为初始估计和后期优化两个步骤，具体还结合了对图像的语言分割结果和法线估计结果，提出了一种可以适应复杂场景的广告植入平面检测算法，进而有效地提高了平面提取的抗干扰性和准确性。(2)基于图像的平面几何分析算法：将平面几何分析算法转化为一个透视消失点的优化问题，转而计算消失点位置，计算中提出了非线性能量函数的快速求解方法。通过采用了一种局部估计消失点的方法分析平面几何参数，比传统计算消失点的精度高，同时在分析时隐含的加入了平面法向信息，有助于降低分析误差。(3)基于样例的植入位置推荐算法：提出了一种布局抽象描述子，融合了方向和位置性；提出了一种基于检索排序、图像梯度、大小和美学评价四个指标的综合推荐排序算法，从而有效地避免了其他自动生成方法中产生不合理结果的可能性，生成结果稳定行比较高。
图14为本发明实施例提供的一种数据的处理装置的结构示意图；参考附图14所示，本实施例提供了一种数据的处理装置，并且，该处理装置可以执行上述图1所对应的数据的处理方法。具体的，该处理装置可以包括：
第一获取模块11，用于获取图像数据；
第一确定模块12，用于确定位于图像数据中的至少一个平面以及至少一个平面在世界坐标系下的水平线和竖直线；
第一分析模块13，用于基于水平线和竖直线获取至少一个平面中像素点的位置信息和方向信息；
第一处理模块14，用于在至少一个平面中，根据位置信息和方向信息确定至少一个用于插入数据的数据插入位置。
可选地，在第一确定模块12确定位于图像数据中的至少一个平面时，该第一确定模块12可以用于执行：获取图像数据中每个像素点的语义标签和预测法线方向；根据语义标签对图像数据中的所有像素进行分组，获得分组结果；基于预测法线方向获取分组结果中每个像素点的法线预测可信度；根据法线预测可信度对分组结果进行处理，获得位于图像数据中的至少一个平面掩模。
可选地，在第一确定模块12获取图像数据中每个像素点的语义标签和预测法线方向时，该第一确定模块12可以用于执行：基于卷积神经网络获取数据分类系统；利用数据分类系统对图像数据进行处理，获取图像数据中每个像素点的语义标签和预测法线方向。
可选地，在第一确定模块12基于卷积神经网络获取数据分类系统时，该第一确定模块12可以用于执行：获取训练数据，训练数据包括以下至少之一：基于预设训练图像的像素级语义标签、基于预设训练图像的颜色深度数据、基于预设训练图像中预设像素点的预测法线方向、基于预设训练图像的任意两个像素点与相机之间的距离关系；利用卷积神经网络对训练数据进行学习训练，获得数据分类系统。
可选地，在第一确定模块12根据语义标签对图像数据中的所有像素进行分组，获得分组结果时，该第一确定模块12可以用于执行：获取图像数据中每个像素点的像素位置信息；根据语义标签、像素位置信息和预测法线方向对像素点进行聚类处理，获得分组结果。
可选地，在第一确定模块12根据语义标签、像素位置信息和预测法线方向对像素点进行聚类处理，获得分组结果时，该第一确定模块12可以用于执行：根据语义标签、像素位置信息和预测法线方向对像素点进行聚类处理，获得多个聚类结果；获取每个聚类结果中所包括的像素点信息；根据像素点信息在多个聚类结果中确定至少一个分组结果。
可选地，在第一确定模块12根据像素点信息在多个聚类结果中确定至少一个分组结果时，该第一确定模块12可以用于执行：根据像素点信息的大小对多个聚类结果进行排序，获得多个聚类结果的排列顺序；基于排列顺序，获取像素点信息之和大于预设阈值的至少一个聚类结果；将至少一个聚类结果确定为至少一个分组结果。
可选地，在第一确定模块12基于预测法线方向获取分组结果中每个像素点的法线预测可信度时，该第一确定模块12可以用于执行：获取分组结果中每个像素点所对应的实际法线方向、像素点到图像边缘的距离信息；根据预测法线方向、实际法线方向和距离信息确定分组结果中每个像素点的法线预测可信度。
可选地，在第一确定模块12根据预测法线方向、实际法线方向和距离信息确定分组结果中每个像素点的法线预测可信度时，该第一确定模块12可以用于执行：根据预测法线方向、实际法线方向以及距离信息，并利用以下公式确定法线预测可信度：
其中，cnormal(p)为法线预测可信度，median是计算给定集合中位数的算法，n(q)和
可选地，在基于预测法线方向获取分组结果中每个像素点的法线预测可信度之后，本实施例中的第一获取模块11、第一分析模块13和第一处理模块14还可以用于执行以下步骤：
第一获取模块11，用于获取分组结果中每个像素点的像素值；
第一分析模块13，用于将每个像素点的像素值与所对应的法线预测可信度进行加权，获得加权像素信息；
第一处理模块14，用于利用高斯分布算法和加权像素信息对分组结果进行拟合，获得像素点在高斯分布下的后验概率；
该第一处理模块14，用于根据后验概率对法线预测可信度进行调整。
可选地，在第一处理模块14根据后验概率对法线预测可信度进行调整时，第一处理模块14可以用于执行：根据后验概率确定初始法线预测可信度；根据初始法线预测可信度、并利用以下公式对法线预测可信度进行调整：
其中，p为像素点，
可选地，在第一处理模块14根据后验概率确定初始法线预测可信度时，第一处理模块14可以用于执行：根据后验概率、利用以下公式确定初始法线预测可信度：
其中，η(p)为像素点p的特征信息，fp为高斯分布函数，fp(η(p))是对η(p)进行拟合所获得的多维高斯分布的后验概率信息，μp为高斯分布函数的预设期望。
可选地，在第一确定模块12根据法线预测可信度对分组结果进行处理，获得位于图像数据中的至少一个平面掩模时，该第一确认模块12可以用于执行：
根据法线预测可信度、并利用以下公式对分组结果进行处理，获得第一参数γu(p(pi))，
获取第二参数γp(p(pi),p(pj))；γp(p(pi),p(pj))＝σ(p(pi)≠p(pj)/·
根据第一参数和第二参数获得位于图像数据中的至少一个平面掩模：
e(p)＝∑iγu(p(pi))+∑i∑j<iγp(p(pi),p(pj))；
其中，e(p)为平面掩模，γu(p(pi))为第一参数，γp(p(pi),p(pj))为第二参数。
可选地，在第一确定模块12确定位于图像数据中的至少一个平面在世界坐标系下的水平线和竖直线时，该第一确定模块12可以用于执行：利用直线段检测算法对图像数据进行处理，获得一个或多个线段；根据一个或多个线段获得至少一个平面在世界坐标系下的水平线和竖直线。
可选地，在第一确定模块12根据一个或多个线段获得至少一个平面在世界坐标系下的竖直线时，该第一确定模块12可以用于执行：利用暴力搜索方法针对至少一个平面确定一竖直方向；在一个或多个线段中，确定平行于竖直方向的所有线段，并将线段确定为竖直线。
可选地，在第一确定模块12根据一个或多个线段获得至少一个平面在世界坐标系下的水平线时，该第一确定模块12可以用于执行：利用非线性优化方法确定一消失点，在至少一个平面中的一平面中经过消失点的线段数量大于或等于预设阈值；将所述平面中任意像素点与消失点的直线确定为水平线。
可选地，在根据一个或多个线段获得至少一个平面在世界坐标系下的水平线和竖直线之后，本实施例中的第一获取模块11和第一处理模块14还可以用于执行以下步骤：
第一获取模块11，用于在满足预设的条件下，获取相机的内参矩阵和位姿信息；
第一处理模块14，用于利用以下公式、根据内参矩阵和位姿信息分别对水平线和竖直线进行参数处理，获得与水平线相对应的水平参数以及与竖直线相对应的竖直参数；
其中，|u(p)|为水平参数，|v(p)|为竖直参数，a为内参矩阵，r，t均为位姿信息，
可选地，预设的条件包括：世界坐标系下，平面中的z坐标为0；消失点是由世界坐标系下的水平线和竖直线生成的。
可选地，在第一分析模块13基于水平线和竖直线获取至少一个平面中像素点的位置信息时，该第一分析模块13可以用于执行：基于水平线和竖直线，利用预设划窗对至少一个平面进行统计，获得划窗内属于该平面的像素数量占比；根据像素数量占比构建向量信息；对向量信息进行数据降维处理，获得至少一个平面中像素点的位置信息。
可选地，在第一分析模块13基于水平线和竖直线获取至少一个平面中像素点的方向信息时，该第一分析模块13可以用于执行：基于水平线和竖直线，获取平面内各个像素处的法线向量；将法线向量与预设的方向向量进行取内积处理，获得多个内积值；根据内积值的大小对至少一个平面中的像素点进行计数，获得至少一个平面中像素点的方向信息。
可选地，在第一处理模块14在至少一个平面中，根据位置信息和方向信息确定至少一个用于插入数据的数据插入位置时，该第一处理模块14可以用于执行：将位置信息和方向信息进行合并，获得平面描述信息；获取待插入数据以及待插入数据的数据描述信息；根据平面描述信息和数据描述信息对待插入数据进行分析处理，获得至少一个数据插入位置。
可选地，在第一处理模块14根据平面描述信息和数据描述信息对待插入数据进行分析处理，获得至少一个数据插入位置时，该第一处理模块14可以用于执行：获取平面描述信息与数据描述信息的匹配度；将匹配度大于或等于预设阈值的平面描述信息所对应的平面确定为目标平面；在目标平面中确定至少一个与待插入数据相适配的数据插入位置。
可选地，在第一处理模块14在目标平面中确定至少一个与待插入数据相适配的数据插入位置时，该第一处理模块14可以用于执行：获取待插入数据的重心位置；根据重心位置在目标平面中确定至少一个数据插入位置。
可选地，本实施例中的第一处理模块14还可以用于执行：将待插入数据插入至图像数据中的至少一个数据插入位置处，生成至少一个目标图像数据；输出目标图像数据。
可选地，在数据插入位置为多个时，本实施例中的第一处理模块14还可以用于执行：获取预先设置的识别规则；根据识别规则对多个数据插入位置进行排序。
图14所示装置可以执行图1-图9、图13所示实施例的方法，本实施例未详细描述的部分，可参考对图1-图9、图13所示实施例的相关说明。该技术方案的执行过程和技术效果参见图1-图9、图13所示实施例中的描述，在此不再赘述。
在一个可能的设计中，图14所示数据的处理装置的结构可实现为一电子设备，该电子设备可以是手机、平板电脑、服务器等各种设备。如图15所示，该电子设备可以包括：第一处理器21和第一存储器22。其中，第一存储器22用于存储支持电子设备执行上述图1-图9、图13所示实施例中提供的数据的处理方法的程序，第一处理器21被配置为用于执行第一存储器22中存储的程序。
程序包括一条或多条计算机指令，其中，一条或多条计算机指令被第一处理器21执行时能够实现如下步骤：
获取图像数据；
确定位于图像数据中的至少一个平面以及至少一个平面在世界坐标系下的水平线和竖直线；
基于水平线和竖直线获取至少一个平面中像素点的位置信息和方向信息；
在至少一个平面中，根据位置信息和方向信息确定至少一个用于插入数据的数据插入位置。
可选地，第一处理器21还用于执行前述图1-图9、图13所示实施例中的全部或部分步骤。
其中，电子设备的结构中还可以包括第一通信接口23，用于电子设备与其他设备或通信网络通信。
另外，本发明实施例提供了一种计算机存储介质，用于储存电子设备所用的计算机软件指令，其包含用于执行上述图1-图9、图13所示方法实施例中数据的处理方法所涉及的程序。
图16为本发明实施例提供的另一种数据的处理装置的结构示意图；参考附图16所示，本实施例提供了另一种数据的处理装置，并且，该处理装置可以执行上述图10所对应的数据的处理方法。具体的，该处理装置可以包括：
第二获取模块31，用于获取数据处理请求，数据处理请求中包括待插入数据和图像数据；
第二确定模块32，用于确定位于图像数据中的至少一个平面以及至少一个平面在世界坐标系下的水平线和竖直线；
第二分析模块33，用于基于水平线和竖直线获取至少一个平面中像素点的位置信息和方向信息；
第二处理模块34，用于在至少一个平面中，根据位置信息和方向信息确定至少一个数据插入位置；
第一数据插入模块35，还用于将待插入数据插入至图像数据中的至少一个数据插入位置处，生成与数据处理请求相对应的至少一个目标图像数据。
图16所示装置可以执行图10、图13所示实施例的方法，本实施例未详细描述的部分，可参考对图10、图13所示实施例的相关说明。该技术方案的执行过程和技术效果参见图10、图13所示实施例中的描述，在此不再赘述。
在一个可能的设计中，图16所示数据的处理装置的结构可实现为一电子设备，该电子设备可以是手机、平板电脑、服务器等各种设备。如图17所示，该电子设备可以包括：第二处理器41和第二存储器42。其中，第二存储器42用于存储支持电子设备执行上述图10、图13所示实施例中提供的数据的处理方法的程序，第二处理器41被配置为用于执行第二存储器42中存储的程序。
程序包括一条或多条计算机指令，其中，一条或多条计算机指令被第二处理器41执行时能够实现如下步骤：
获取数据处理请求，数据处理请求中包括待插入数据和图像数据；
确定位于图像数据中的至少一个平面以及至少一个平面在世界坐标系下的水平线和竖直线；
基于水平线和竖直线获取至少一个平面中像素点的位置信息和方向信息；
在至少一个平面中，根据位置信息和方向信息确定至少一个数据插入位置；
将待插入数据插入至图像数据中的至少一个数据插入位置处，生成与数据处理请求相对应的至少一个目标图像数据。
其中，电子设备的结构中还可以包括第二通信接口43，用于电子设备与其他设备或通信网络通信。
另外，本发明实施例提供了一种计算机存储介质，用于储存电子设备所用的计算机软件指令，其包含用于执行上述图10、图13所示方法实施例中数据的处理方法所涉及的程序。
图18为本发明实施例提供的一种视频植入装置的结构示意图；参考附图18所示，本实施例提供了一种视频植入装置，并且，该视频植入装置可以执行上述图11所对应的视频植入方法。具体的，该视频植入装置可以包括：
第三获取模块51，用于获取视频数据和素材数据；
第三确定模块52，用于确定位于所述视频数据中的至少一个平面以及至少一个平面在世界坐标系下的水平线和竖直线；
第三分析模块53，用于基于所述水平线和竖直线获取至少一个平面中像素点的位置信息和方向信息；
第三处理模块54，用于在至少一个平面中，根据所述位置信息和方向信息确定至少一个数据插入位置；
第二数据插入模块55，用于在所述数据插入位置，插入所述素材数据。
图18所示装置可以执行图11、图13所示实施例的方法，本实施例未详细描述的部分，可参考对图11、图13所示实施例的相关说明。该技术方案的执行过程和技术效果参见图11、图13所示实施例中的描述，在此不再赘述。
在一个可能的设计中，图18所示视频植入装置的结构可实现为一电子设备，该电子设备可以是手机、平板电脑、服务器等各种设备。如图19所示，该电子设备可以包括：第三处理器61和第三存储器62。其中，第三存储器62用于存储支持电子设备执行上述图11、图13所示实施例中提供的视频植入方法的程序，第三处理器61被配置为用于执行第三存储器62中存储的程序。
程序包括一条或多条计算机指令，其中，一条或多条计算机指令被第三处理器61执行时能够实现如下步骤：
获取视频数据和素材数据；
确定位于所述视频数据中的至少一个平面以及至少一个平面在世界坐标系下的水平线和竖直线；
基于所述水平线和竖直线获取至少一个平面中像素点的位置信息和方向信息；
在至少一个平面中，根据所述位置信息和方向信息确定至少一个数据插入位置；
在所述数据插入位置，插入所述素材数据。
其中，电子设备的结构中还可以包括第三通信接口63，用于电子设备与其他设备或通信网络通信。
另外，本发明实施例提供了一种计算机存储介质，用于储存电子设备所用的计算机软件指令，其包含用于执行上述图11、图13所示方法实施例中视频植入方法所涉及的程序。
图20为本发明实施例提供的一种广告植入装置的结构示意图；参考附图20所示，本实施例提供了一种广告植入装置，并且，该处理装置可以执行上述图12所对应的一种广告植入方法。具体的，该广告植入装置可以包括：
第四获取模块71，用于获取待植入广告和图像数据；
第四确定模块72，用于确定位于所述图像数据中的至少一个平面以及至少一个平面在世界坐标系下的水平线和竖直线；
第四分析模块73，用于基于所述水平线和竖直线获取至少一个平面中像素点的位置信息和方向信息；
第四处理模块74，用于在至少一个平面中，根据所述位置信息和方向信息确定至少一个数据插入位置；
第三数据插入模块75，用于在所述数据插入位置，插入所述待植入广告。
图20所示装置可以执行图12-图13所示实施例的方法，本实施例未详细描述的部分，可参考对图12-图13所示实施例的相关说明。该技术方案的执行过程和技术效果参见图12-图13所示实施例中的描述，在此不再赘述。
在一个可能的设计中，图20所示广告植入装置的结构可实现为一电子设备，该电子设备可以是手机、平板电脑、服务器等各种设备。如图21所示，该电子设备可以包括：第四处理器81和第四存储器82。其中，第四存储器82用于存储支持电子设备执行上述图12-图13所示实施例中提供的广告植入方法的程序，第四处理器81被配置为用于执行第四存储器82中存储的程序。
程序包括一条或多条计算机指令，其中，一条或多条计算机指令被第四处理器81执行时能够实现如下步骤：
获取待植入广告和图像数据；
确定位于所述图像数据中的至少一个平面以及至少一个平面在世界坐标系下的水平线和竖直线；
基于所述水平线和竖直线获取至少一个平面中像素点的位置信息和方向信息；
在至少一个平面中，根据所述位置信息和方向信息确定至少一个数据插入位置；
在所述数据插入位置，插入所述待植入广告。
其中，电子设备的结构中还可以包括第四通信接口83，用于电子设备与其他设备或通信网络通信。
另外，本发明实施例提供了一种计算机存储介质，用于储存电子设备所用的计算机软件指令，其包含用于执行上述图12-图13所示方法实施例中广告植入方法所涉及的程序。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助加必需的通用硬件平台的方式来实现，当然也可以通过硬件和软件结合的方式来实现。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以计算机产品的形式体现出来，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程设备的处理器以产生一个机器，使得通过计算机或其他可编程设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(cpu)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(ram)和/或非易失性内存等形式，如只读存储器(rom)或闪存(flashram)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、快闪记忆体或其他内存技术、只读光盘只读存储器(cd-rom)、数字多功能光盘(dvd)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitorymedia)，如调制的数据信号和载波。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
- 还没有人留言评论。精彩留言会获得点赞！