3D内容的搜索方法、装置、计算机设备和存储介质与流程

本申请涉及互联网技术领域，尤其涉及一种3d内容的搜索方法、装置、计算机设备和存储介质。

背景技术：

随着互联网技术的发展，互联网上出现大量的3d内容，众所周知三维图像比二维图像更加立体、形象。为了提高搜索质量，向用户提供更加优质的展现内容，为用户提供搜索3d内容功能是亟待解决的问题。

技术实现要素：

本申请提出一种3d内容的搜索方法、装置、计算机设备和存储介质，以实现根据用户的二维绘画内容，搜索获取绘画内容对应的3d模型，从而向用户提供更加优质的展现内容。

本申请一方面实施例提出了一种3d内容的搜索方法，包括：

获取用户绘画内容；

根据所述绘画内容生成识别结果；以及

根据所述识别结果获取所述识别结果对应的3d模型，并将所述3d模型发送至客户端，以使所述客户端对所述3d模型进行渲染以生成3d展现内容。

本申请实施例的3d内容的搜索方法，通过首先获取用户绘画内容，然后根据绘画内容生成识别结果，再根据识别结果获取识别结果对应的3d模型，并将3d模型发送至客户端，以使客户端对3d模型进行渲染以生成3d展现内容。由此，实现了根据用户的二维绘画内容，搜索获取绘画内容对应的3d模型，从而向用户提供更加优质的展现内容。

本申请另一方面实施例提出了一种3d内容的搜索方法，包括：

获取用户的绘画操作信息；

将所述绘画操作信息发送给服务器，以使服务器根据所述绘画操作信息记录所述用户在web页面中输入的绘制轨迹，并根据所述绘制轨迹生成绘画内容；

接收服务器返回的3d模型，并对所述3d模型进行渲染以生成3d展现内容，其中，所述3d模型是由所述服务器根据所述绘画内容获取的。

本申请实施例的3d内容的搜索方法，通过首先获取用户的绘画操作信息，将绘画操作信息发送给服务器，以使服务器根据绘画操作信息记录用户在web页面中输入的绘制轨迹，并根据绘制轨迹生成绘画内容，然后接收服务器返回的3d模型，并对3d模型进行渲染以生成3d展现内容。由此，实现了根据用户绘画操作，获取所绘物体的3d模型并进行展现，从而向用户提供更加优质的展现内容。

本申请另一方面实施例提出了一种3d内容的搜索装置，包括：

获取模块，用于获取用户绘画内容；

生成模块，用于根据所述绘画内容生成识别结果；以及

发送模块，用于根据所述识别结果获取所述识别结果对应的3d模型，并将所述3d模型发送至客户端，以使所述客户端对所述3d模型进行渲染以生成3d展现内容。

本申请实施例的3d内容的搜索装置，通过首先获取用户绘画内容，然后根据绘画内容生成识别结果，再根据识别结果获取识别结果对应的3d模型，并将3d模型发送至客户端，以使客户端对3d模型进行渲染以生成3d展现内容。由此，实现了根据用户的二维绘画内容，搜索获取绘画内容对应的3d模型，从而向用户提供更加优质的展现内容。

本申请另一方面实施例提出了一种3d内容的搜索装置，包括：

获取模块，用于获取用户的绘画操作信息；

发送模块，用于将所述绘画操作信息发送给服务器，以使服务器根据所述绘画操作信息记录所述用户在web页面中输入的绘制轨迹，并根据所述绘制轨迹生成绘画内容；

接收模块，用于接收服务器返回的3d模型，并对所述3d模型进行渲染以生成3d展现内容，其中，所述3d模型是由所述服务器根据所述绘画内容获取的。

本申请实施例的3d内容的搜索装置，通过首先获取用户的绘画操作信息，将绘画操作信息发送给服务器，以使服务器根据绘画操作信息记录用户在web页面中输入的绘制轨迹，并根据绘制轨迹生成绘画内容，然后接收服务器返回的3d模型，并对3d模型进行渲染以生成3d展现内容。由此，实现了根据用户绘画操作，获取所绘物体的3d模型并进行展现，从而向用户提供更加优质的展现内容。

本申请另一方面实施例提出了一种计算机设备，包括处理器和存储器；

其中，所述处理器通过读取所述存储器中存储的可执行程序代码来运行与所述可执行程序代码对应的程序，以用于实现如上述一方面实施例所述的3d内容的搜索方法或者实现如上述另一方面实施例所述的3d内容的搜索方法。

本申请另一方面实施例提出了一种非临时性计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如上述一方面实施例所述的3d内容的搜索方法或者实现如上述另一方面实施例所述的3d内容的搜索方法。

本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。

附图说明

本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为本申请实施例提供的一种3d内容的搜索方法的流程示意图；

图2为本申请实施例提供的一种客户端根据手绘内容搜索获取并展示3d模型的示意图；

图3为本申请实施例提供的另一种3d内容的搜索方法的流程示意图；

图4为本申请实施例提供的另一种3d内容的搜索方法的流程示意图；

图5为本申请实施例提供的一种3d内容的搜索装置的结构示意图；

图6为本申请实施例提供的另一种3d内容的搜索装置的结构示意图；

图7示出了适于用来实现本申请实施方式的示例性计算机设备的框图。

具体实施方式

下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。

下面参考附图描述本申请实施例的3d内容的搜索方法、装置、计算机设备和存储介质。

本申请实施例，针对相关技术中，互联网上出现大量的3d内容，亟待解决为用户提供搜索3d内容功能的问题，提出一种3d内容的搜索方法。

本申请实施例的3d内容的搜索方法，通过首先获取用户绘画内容，然后根据绘画内容生成识别结果，再根据识别结果获取识别结果对应的3d模型，并将3d模型发送至客户端，以使客户端对3d模型进行渲染以生成3d展现内容。由此，实现了根据用户的二维绘画内容，搜索获取绘画内容对应的3d模型，从而向用户提供更加优质的展现内容。

图1为本申请实施例提供的一种3d内容的搜索方法的流程示意图。

本申请实施例的3d内容的搜索方法，可在服务器端执行。

如图1所示，该3d内容的搜索方法包括：

步骤101，获取用户绘画内容。

本实施例中，服务器可从客户端获取用户的绘画内容。比如，客户端将用户选择的二维绘画内容发送给服务器，以使服务器获取绘画内容。

或者，服务器从提供绘画功能的web页面获取绘画内容。具体而言，服务器向客户端提供web页面，其中，web页面有绘画功能。当用户在web界面上进行绘画操作时，客户端将绘画操作信息发送给服务器。服务器根据绘画操作信息，如操作时间、操作位置信息等，将记录用户在web页面中输入的绘制轨迹，从而服务器根据绘画轨迹生成用户绘画内容。

步骤102，根据绘画内容生成识别结果。

本实施例中，可根据预先训练的识别模型对绘画内容进行识别，得到识别结果，其中，识别结果为文本识别结果。或者，将绘画内容与多个物体的多个角度的视图进行比较，将相似度最大的视图对应的物体，作为识别结果。

预先训练识别模型的步骤为：选取多个样本物体，并根据各个样本物体的简化图片、视图集和样本物体的名称，进行监督式学习，得到识别模型。其中，视图集中包括样本物体多个视角的视图，如正视图、俯视图、侧视图等。视图集可通过对物体的3d模型进行扫描获取。

在进行监督式学习时，以样本物体的名称为标签，如{name:乌龟}，由此在将用户的绘画内容输入至识别模型后，识别模型可输出绘画内容的名称，即通过识别模型将用户的绘画内容转化为文本。例如，识别结果为{name:乌龟}。

步骤103，根据识别结果获取识别结果对应的3d模型，并将3d模型发送至客户端，以使客户端对3d模型进行渲染以生成3d展现内容。

本实施例中，若识别结果为文本，那么可根据识别结果查询预先建立3d模型与文本描述信息之间的对应关系，获得识别结果对应的3d模型。然后，将3d模型发送给客户端，以使客户端对3d模型进行渲染生成3d展现内容，并进行展示。其中，对3d模型进行渲染时，可以对3d模型的色彩、3d模型对应的物体的生活环境等进行渲染。

如图2所示，客户端web页面上具有绘画画板，用户在绘画画板上绘画出了乌龟的二维图像，点击搜索按钮后，客户端获取了乌龟的3d模型，并对3d模型进行渲染，最终在显示界面上展示乌龟的3d模型。图2中，客户端最终展示的乌龟，是生活在蓝色海洋中的乌龟，乌龟下面还有水草，使得客户端展示的搜索结果更加生动形象。另外，显示界面上还显示有汉字“乌龟”，乌龟的拼音“wūguī”、乌龟的英文单词“turtle”，从而便于用户学习。

在对绘画内容进行识别时，可通过比较绘画内容与样本物体的视图之间的相似度，确定3d模型。下面结合图3进行说明，图3为本申请实施例提供的另一种3d内容的搜索方法的流程示意图。

如图2所示，上述根据绘画内容生成识别结果，包括：

步骤201，根据绘画内容查询视图数据库。

本实施例中，视图数据库中包括多个物体对应的图像集，其中，图像集中包括每个物体在多个视角下的视图，如正视图、侧视图、俯视图等。

在获取物体多个视角下的视图时，作为一种可能的实现方式，可根据物体多个角度的图像进行3d建模，以获取物体的3d模型，然后根据物体的3d模型获取3d模型的正视图、侧视图和俯视图，以生成物体在多个视角下的视图。

作为另一种可能的实现方式，获取样本物体的3d模型，然后根据初始扫描视角对3d模型进行扫描，以生成该初始视角下的视图。其中，扫描视角包括水平角度和垂直角度。

为了获得更多视角下的视图，在水平角度以第一调整间隔，且在垂直角度以第二调整间隔对初始扫描视角依次进行调整，并根据将调整后的扫描视角对3d模型件扫描，直至水平角度和垂直角度扫描完毕，生成物体在多个视角下的视图。

例如，第一调整间隔为a度，第二调整间隔为b度，初始扫描视角中水平角度为0，垂直角度也为0。那么，在以初始扫描视角扫描完3d模型后，将水平角度由0度调整为a度，将垂直角度由0度调整为b度，并以该扫描视角扫描3d模型，获得该视角下的视图。接着，将水平角度由a度调整为2a度，将垂直角度由b度调整为2b度，并以该扫描视角扫描3d模型。直至，水平角度和垂直角度扫描完毕。

需要说明的是，第一调整间隔和第二调整间隔可以相同，也可以不同，本实施例对此不作限定。

由于图像集中包括物体多个视角下的二维视图，从而将二维的绘画内容与图像集中的各个视图进行比较时，可以提高识别的准确率。

步骤202，获取绘画内容与多个视角下的视图之间的相似度值。

本实施例中，可提取绘画内容的轮廓特征以及视图数据库中每个视图的轮廓特征，计算绘画内容的轮廓特征与每个视图的轮廓特征之间的相似度值，作为绘画内容与视图之间的相似度值。

步骤203，如果多个视角下的视图中一个视图与绘画内容的相似度值大于预设阈值，则将多个视角下的视图对应的物体作为识别结果。

本实施例中，将绘画内容与视图之间的相似度值，与预设阈值进行比较，以确定相似度值是否大于预设阈值。当某物体多个视角下的视图中存在一个视图与绘画内容的相似度值大于预设阈值，则将该视图对应的物体作为识别结果。

为了实现上述实施例，本申请实施例还提出一种3d内容的搜索方法。该3d内容的搜索方法，可由客户端侧执行。图4为本申请实施例提供的另一种3d内容的搜索方法的流程示意图。

如图4所示，该3d内容的搜索方法包括：

步骤301，获取用户的绘画操作信息。

本实施例中，客户端显示web页面，其中，web页面具有绘画功能。当用户在web页面进行绘画操作时，客户端获取用户的绘画操作信息。其中，绘画操作信息包括绘画操作的位置信息、绘画操作的时间等等。

例如，web页面上有绘画画板，当用户在绘画画板上进行触发操作时，客户端获取触发操作的位置信息和触发操作时间。

步骤302，将绘画操作信息发送给服务器，以使服务器根据绘画操作信息记录用户在web页面中输入的绘制轨迹，并根据绘制轨迹生成绘画内容。

客户端将绘画操作信息发送给服务器，服务器可按照绘画操作的时间的先后顺序，将绘画操作的位置进行连接，以记录用户在在web页面中输入的绘制轨迹，并根据绘制轨迹生成绘画内容。

此外，客户端可将绘制轨迹通过canvasapi(画布)在浏览器中显示绘画内容。其中，canvasapi是在html5中新增的标签用于在网页中实时生成图像，并且可以操作图像内容。

步骤303，接收服务器返回的3d模型，并对3d模型进行渲染以生成3d展现内容。

服务器可根据绘画内容生成识别结果，进而根据识别结果获取3d模型，并将3d模型发送给客户端。客户端接收服务器返回的3d模型，并对3d模型进行渲染以生成3d展现内容。其中，对3d模型进行渲染时，可以对3d模型的色彩、3d模型对应的物体的生活环境等进行渲染。

客户端在生成3d展现内容后，在web页面展示渲染后的3d模型。

由于webgl(web图像库)可以为html5canvas提供硬件3d加速渲染，因此在具体实现时，web页面可采用webgl以使web页面更加流畅的展示3d模型。其中，webgl是一种3d绘图协议。

作为一种应用场景，为了便于儿童认识各种动物，可教儿童在客户端展示的web页面中输入动物的手绘图，然后点击搜索，客户端可在web页面中展示物体的3d模型，便于儿童快速学习。

为了实现上述实施例，本申请实施例还提出一种3d内容的搜索装置。图5为本申请实施例提供的一种3d内容的搜索装置的结构示意图。

如图5所示，该3d内容的搜索装置包括：获取模块410、生成模块420、发送模块430。

获取模块410，用于获取用户绘画内容。

生成模块420，用于根据绘画内容生成识别结果。

发送模块430，用于根据识别结果获取识别结果对应的3d模型，并将3d模型发送至客户端，以使客户端对3d模型进行渲染以生成3d展现内容。

在本申请实施例一种可能的实现方式中，上述获取模块410还用于：

提供web页面；

记录用户在所述web页面中输入的绘制轨迹；以及

根据绘制轨迹生成用户绘画内容。

在本申请实施例一种可能的实现方式中，上述生成模块420还用于：

根据绘画内容查询视图数据库，其中，视图数据库包括多个物体对应的图像集，图像集包括所述物体在多个视角下的视图；

获取绘画内容与多个视角下的视图之间的相似度值；以及

如果多个视角下的视图中一个视图与绘画内容的相似度值大于预设阈值，则将多个视角下的视图对应的物体作为识别结果。

在本申请实施例一种可能的实现方式中，上述生成模块420还用于：

获取样本物体对应的3d模型；

根据初始扫描视角对3d模型进行扫描以生成初始视角下的视图；

在水平角度以第一调整间隔，且在垂直角度以第二调整间隔对初始扫描视角依次进行调整，并根据调整后的扫描视角对3d模型进行扫描，直至水平角度和所述垂直角度扫描完毕，以生成物体在多个视角下的视图。

需要说明的是，前述对3d内容的搜索方法实施例的解释说明，也适用于该实施例的3d内容的搜索装置，故在此不再赘述。

本申请实施例的3d内容的搜索装置，通过首先获取用户绘画内容，然后根据绘画内容生成识别结果，再根据识别结果获取识别结果对应的3d模型，并将3d模型发送至客户端，以使客户端对3d模型进行渲染以生成3d展现内容。由此，实现了根据用户的二维绘画内容，搜索获取绘画内容对应的3d模型，从而向用户提供更加优质的展现内容。

为了实现上述实施例，本申请实施例还提出一种3d内容的搜索装置。图6为本申请实施例提供的另一种3d内容的搜索装置的结构示意图。

如图6所示，该3d内容的搜索装置包括：获取模块510、发送模块520、接收模块530。

获取模块510用于获取用户的绘画操作信息。

发送模块520用于将绘画操作信息发送给服务器，以使服务器根据绘画操作信息记录所述用户在web页面中输入的绘制轨迹，并根据绘制轨迹生成绘画内容。

接收模块530用于接收服务器返回的3d模型，并对3d模型进行渲染以生成3d展现内容，其中，3d模型是由服务器根据所述绘画内容获取的。

在本申请实施例一种可能的实现方式中，上述获取模块510还用于：

显示web页面；

获取用户在web页面中进行的绘画操作信息。

需要说明的是，前述对3d内容的搜索方法实施例的解释说明，也适用于该实施例的3d内容的搜索装置，故在此不再赘述。

本申请实施例的3d内容的搜索装置，通过首先获取用户的绘画操作信息，将绘画操作信息发送给服务器，以使服务器根据绘画操作信息记录用户在web页面中输入的绘制轨迹，并根据绘制轨迹生成绘画内容，然后接收服务器返回的3d模型，并对3d模型进行渲染以生成3d展现内容。由此，实现了根据用户绘画操作，获取所绘物体的3d模型并进行展现，从而向用户提供更加优质的展现内容。

为了实现上述实施例，本申请实施例还提出一种计算机设备，包括处理器和存储器；

其中，处理器通过读取所述存储器中存储的可执行程序代码来运行与可执行程序代码对应的程序，以用于实现如上述所述的服务器侧的3d内容的搜索方法或者实现如上述所述的客户端侧的3d内容的搜索方法。

图7示出了适于用来实现本申请实施方式的示例性计算机设备的框图。图7显示的计算机设备12仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。

如图7所示，计算机设备12以通用计算设备的形式表现。计算机设备12的组件可以包括但不限于：一个或者多个处理器或者处理单元16，系统存储器28，连接不同系统组件(包括系统存储器28和处理单元16)的总线18。

总线18表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(industrystandardarchitecture；以下简称：isa)总线，微通道体系结构(microchannelarchitecture；以下简称：mac)总线，增强型isa总线、视频电子标准协会(videoelectronicsstandardsassociation；以下简称：vesa)局域总线以及外围组件互连(peripheralcomponentinterconnection；以下简称：pci)总线。

计算机设备12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算机设备12访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。

存储器28可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(randomaccessmemory；以下简称：ram)30和/或高速缓存存储器32。计算机设备12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统34可以用于读写不可移动的、非易失性磁介质(图7未显示，通常称为“硬盘驱动器”)。尽管图7中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如：光盘只读存储器(compactdiscreadonlymemory；以下简称：cd-rom)、数字多功能只读光盘(digitalvideodiscreadonlymemory；以下简称：dvd-rom)或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18相连。存储器28可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本申请各实施例的功能。

具有一组(至少一个)程序模块42的程序/实用工具40，可以存储在例如存储器28中，这样的程序模块42包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本申请所描述的实施例中的功能和/或方法。

计算机设备12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信，还可与一个或者多个使得用户能与该计算机设备12交互的设备通信，和/或与使得该计算机设备12能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(i/o)接口22进行。并且，计算机设备12还可以通过网络适配器20与一个或者多个网络(例如局域网(localareanetwork；以下简称：lan)，广域网(wideareanetwork；以下简称：wan)和/或公共网络，例如因特网)通信。如图所示，网络适配器20通过总线18与计算机设备12的其它模块通信。应当明白，尽管图中未示出，可以结合计算机设备12使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、raid系统、磁带驱动器以及数据备份存储系统等。

处理单元16通过运行存储在系统存储器28中的程序，从而执行各种功能应用以及数据处理，例如实现前述实施例中提及的方法。

为了实现上述实施例，本申请实施例还提出一种非临时性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述服务器侧所述的3d内容的搜索方法或者实现如上述客户端侧所述的3d内容的搜索方法。

在本说明书的描述中，流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(ram)，只读存储器(rom)，可擦除可编辑只读存储器(eprom或闪速存储器)，光纤装置，以及便携式光盘只读存储器(cdrom)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(pga)，现场可编程门阵列(fpga)等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。