一种模型训练方法、装置、电子设备及存储介质与流程

1.本技术涉及人工智能技术领域，公开了一种模型训练方法、装置、电子设备及存储介质。


背景技术：

2.个性化推荐是根据对象的画像和历史行为推荐其感兴趣的内容，已广泛应用在生活中的各个领域。目前，推荐系统通常采用召回-推荐两阶段架构。其中，召回用于生成推荐的候选文本，旨在从大量语料库中高效地检索出部分(通常是数百个)个性化的高质量内容。召回的结果决定了排序的输入，因此，召回比排序更注重推荐结果的多样性。
3.实际推荐过程中，对象行为反映对象偏好，若仅根据对象的偏好来推送其感兴趣的内容，会导致该对象浏览的内容局限于单一领域，形成茧房效应。为了解决该问题，目前推荐系统大多采用跨域推荐方法。
4.跨域推荐(cross-domain recommendation，cdr)方法通过将不同源域学习到的知识迁移到目标域以平衡推荐结果。一个好的cdr召回应从不同目标域综合传递对象的不同偏好。
5.然而，传统的cdr召回中，源域和目标域之间的知识迁移，对对象和对象行为的依赖性较强。针对对象行为较少的冷启动领域以及内容曝光率较低的非流行领域，因数据稀疏和流行性偏差，导致召回结果中很少包含这些领域的内容，降低了推荐结果的多样性；此外，考虑到对象行为有限，无法涉及到各个领域，导致不同领域间的关联信息得不到充分的学习，知识表示的可靠性较差。


技术实现要素：

6.本技术实施例提供一种模型训练方法、装置、电子设备及存储介质，用以提高召回阶段知识表示的可靠性，进而提高推荐结果的多样性。
7.第一方面，本技术实施例提供一种跨域对比推荐模型的训练方法，包括：
8.获取样本图谱集合；所述样本图谱集合包含：分别基于各个样本域中的多个设定属性信息和多个样本推荐文本搭建的样本图谱，以及对其中一个样本域对应的样本图谱进行扩充后得到的样本图谱；
9.基于所述样本图谱集合，对待训练的跨域对比推荐模型进行至少一次迭代训练，获得目标跨域对比推荐模型，其中，每次迭代过程中，执行以下操作：
10.采用所述待训练的跨域对比推荐模型，基于提取的各个样本图谱各自对应的各个设定属性信息之间的图谱连接关系，分别提取所述各个样本图谱各自对应的各个设定属性信息的属性特征向量；其中，所述各个设定属性信息通过关联的样本推荐文本实现图谱连接；
11.基于获得的所述各个样本图谱各自的各个设定属性信息对应的属性特征向量，分别计算所述各个设定属性信息在相应样本域中的子损失值；
12.基于获得的各子损失值，确定目标损失值，并基于所述目标损失值对所述待训练的跨域对比推荐模型进行参数调整。
13.第二方面，本技术实施例提供一种推荐装置，包括：
14.样本获取模块，用于获取样本图谱集合；所述样本图谱集合包含：分别基于各个样本域中的多个设定属性信息和多个样本推荐文本搭建的样本图谱，以及对其中一个样本域对应的样本图谱进行扩充后得到的样本图谱；
15.模型训练模块，用于基于所述样本图谱集合，对待训练的跨域对比推荐模型进行至少一次迭代训练，获得目标跨域对比推荐模型；其中，所述模型训练模块包括特征提取单元、损失值计算单元、参数调整单元；
16.在每次迭代过程中：
17.所述特征提取单元，用于采用所述待训练的跨域对比推荐模型，基于提取的各个样本图谱各自对应的各个设定属性信息之间的图谱连接关系，分别提取所述各个样本图谱各自对应的各个设定属性信息的属性特征向量；其中，所述各个设定属性信息通过关联的样本推荐文本实现图谱连接；
18.所述损失值计算单元，用于基于获得的所述各个样本图谱各自的各个设定属性信息对应的属性特征向量，分别计算所述各个设定属性信息在相应样本域中的子损失值；
19.所述参数调整单元，用于基于获得的各子损失值，确定目标损失值，并基于所述目标损失值对所述待训练的跨域对比推荐模型进行参数调整。
20.可选的，还包括样本图谱搭建模块，用于：
21.针对各个样本域，分别执行以下操作：将一个样本域中的各个设定属性信息分别作为相应的图谱节点，将所述一个样本域中所述各个设定属性信息连接的样本推荐文本分别作为相应的图谱边，基于各个节点和连接所述各个节点的图谱边，构建所述一个样本域对应的样本图谱。
22.可选的，所述样本图谱搭建模块，还用于：
23.删除所述一个样本域对应的样本图谱中的至少一个节点；
24.删除所述一个样本域对应的样本图谱中的至少一条边。
25.可选的，所述特征提取单元，具体用于：
26.针对所述各个样本图谱中的一个样本图谱中的所述各个设定属性信息，分别执行以下操作：
27.根据一个设定属性信息连接的样本推荐文本，确定所述一个设定属性信息对应的相邻设定属性信息集合；
28.分别确定所述相邻设定属性信息集合中，各个相邻设定属性信息各自与所述一个设定属性信息的相似度；
29.根据确定的各个相似度，分别确定相应的相邻设定属性信息与所述一个设定属性信息的多头注意力系数；
30.根据确定的各个多头注意力系数，对所述各个相邻设定属性信息的属性特征向量进行加权，得到所述一个设定属性信息的属性特征向量。
31.可选的，所述损失值计算单元具体用于：
32.针对非扩充的第一类样本图谱中的各个设定属性信息，分别执行以下操作：
33.根据一个设定属性信息的属性特征向量，与相邻设定属性信息的属性特征向量之间的相似度，以及，所述一个设定属性信息的属性特征向量，与非相邻设定属性信息的属性特征向量之间的相似度，确定所述一个设定属性信息在相应样本域中的子损失值；以及
34.针对扩充后的第二类样本图谱中的各个设定属性信息，分别执行以下操作：
35.根据一个设定属性信息的属性特征向量，与扩充前的样本图谱中相应的设定属性信息的属性特征向量之间的相似度，以及，所述相应的设定属性信息的属性特征向量，分别与所述一个设定属性信息的非相邻设定属性信息的属性特征向量之间的相似度，确定所述一个设定属性信息在相应样本域中的子损失值。
36.可选的，所述损失值计算单元还用于：
37.基于所述各个样本域对应的样本图谱中各个设定属性信息的属性特征向量，计算所述各个样本域之间的子损失值。
38.可选的，所述各个样本图谱至少包括源域对应的第一样本图谱，目标域对应的第二样本图谱；所述损失值计算单元具体用于：
39.基于所述第一样本图谱和所述第二样本图谱中，相同的设定属性信息的属性特征向量，计算所述源域和所述目标域之间的第一损失值；
40.基于所述第一样本图谱和所述第二样本图谱中，相邻的设定属性信息的属性特征向量，计算所述源域和所述目标域之间的第二损失值；
41.根据所述第一损失值和所述第二损失值，确定所述各个样本域之间的子损失值。
42.可选的，所述损失值计算单元具体用于：
43.基于同一设定属性信息在所述第一样本图谱和所述第二样本图谱中的属性特征向量之间的相似度，以及，所述同一设定属性信息在所述第一样本图谱中的属性特征向量，分别与所述第二样本图谱中所述同一设定属性信息不相邻的设定属性信息的属性特征向量之间的相似度，确定所述样本域之间的第一损失值；
44.所述损失值计算单元具体用于：
45.确定目标设定属性信息在所述第二样本图谱中的相邻设定属性信息集合，所述目标设定属性信息为所述第一样本图谱和所述第二样本图谱中相同的设定属性信息；
46.基于所述目标设定属性信息在所述第一样本图谱中的属性特征向量，分别与所述相邻设定属性信息集合中的相邻设定属性信息的属性特征向量之间的相似度，以及，所述目标设定属性信息在所述第一样本图谱中的属性特征向量，分别与所述第二样本图谱中不属于相邻设定属性信息集合中的设定属性信息的属性特征向量之间的相似度，确定所述样本域之间的第二损失值。
47.可选的，所述推荐装置还包括：
48.响应模块，用于响应于目标对象发送的推荐请求，获得所述目标对象对应的推荐文本集合；
49.获取模块，用于采用目标跨域对比推荐模型，基于所述推荐文本集合中的各个推荐文本和所述各个推荐文本各自连接的设定属性信息，分别获得归属于多个领域的多个目标推荐文本；
50.展示模块，用于将所述多个目标推荐文本展示给所述目标对象。
51.本技术的实施例中，分别基于各个样本域中的多个设定属性信息和多个样本推荐
文本搭建样本图谱，各个设定属性信息通过关联的样本推荐文本实现图谱连接，从而获取反映对象不同兴趣的知识表示，并对其中一个样本域对应的样本图谱进行扩充得到扩充后的样本图谱，实现在该样本域内更均衡和有效的知识表示；在每一轮模型迭代训练过程中，采用待训练的跨域对比推荐模型，基于提取的各个样本图谱各自对应的各个设定属性信息之间的图谱连接关系，分别提取各个样本图谱各自对应的各个设定属性信息的属性特征向量；基于获得的各个样本图谱各自对应的各个属性特征向量，分别计算各个设定属性信息在相应样本域中的子损失值，基于获得的各子损失值，确定目标损失值，并基于目标损失值对待训练的跨域对比推荐模型进行参数调整。通过对样本图谱进行扩充，可以缓解召回中样本稀疏和流行性偏差的问题，提高知识表示的可靠性，进而提高召回性能；并且，由于样本图谱通过多个设定属性信息反映了对象在不同领域的兴趣，因此，基于训练好的目标跨域对比推荐模型进行推荐时，可以提高了推荐内容的多样性。
附图说明
52.图1a为本技术实施例提供一种跨域对比推荐系统的结构示意图；
53.图1b为本技术实施例提供一种跨域对比推荐系统的结构示意图；
54.图2a为本技术实施例提供的一种样本图谱；
55.图2b为本技术实施例提供的扩充样本图谱的示意图；
56.图2c为本技术实施例提供的另一种扩充样本图谱的示意图；
57.图3a为申请实施例提供的获得跨域对比推荐模型的流程图；
58.图3b为本技术实施例提供的每轮模型训练的流程图；
59.图3c为本技术实施例提供的提取属性特征向量提取的流程图；
60.图3d为本技术实施例提供的单域和域内子损失值的计算流程图；
61.图3e为本技术实施例提供的域间子损失值计算流程图；
62.图4a为本技术实施例提供的一个设定属性信息对应的节点在样本图谱中的部分图谱结构；
63.图4b为本技术实施例提供的扩充前后的样本图谱间的关系图；
64.图4c为本技术实施例提供的域间对比学习示意图，
65.图5为本技术实施例提供的跨域对比推荐模型训练的整体示意图；
66.图6a为本技术实施例提供的跨域对比推荐方法流程图；
67.图6b为本技术实施例提供的跨域对比推荐过程示意图；
68.图7为本技术实施例提供的一种推荐装置结构图；
69.图8为本技术实施例提供的一种电子设备的结构图；
70.图9为本技术实施例提供的一种终端设备的结构图。
具体实施方式
71.为了更好的理解本技术实施例提供的技术方案，下面将结合说明书附图以及具体的实施方式进行详细的说明。
72.需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用
的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
73.为了便于本领域技术人员更好地理解本技术的技术方案，下面对本技术涉及的基本概念进行说明。
74.马太效应：存在的两极分化现象，本技术实施例中指越流行的内容越被推荐，越不流行的内容越不被推荐。
75.源域：包含多个领域的推荐文本，例如，影视、购物、新闻、体育等领域。
76.目标域：同样包含多个领域的推荐文本，目标域中推荐文本对应的对象行为少于源域中推荐文本对应的对象行为。
77.跨域推荐：将源域中学习到的知识迁移到目标域进行推荐。
78.目前，cdr召回阶段通过分别学习源域和目标域的知识表示，然后根据对齐的对象及其行为表示构建映射函数来实现知识迁移，主要面临以下挑战：
79.1)在对百万级对象和推荐文本之间的交互进行建模时，由于对象与冷启动领域中的推荐文本交互较少，缺少对象行为，因此，通常会遇到严重的数据稀疏问题。此外，由于马太效应(matthew effect)，样本数据更偏向于高曝光率的流行推荐文本，这使得热门的推荐文本变得更热门，造成长尾推荐文本。这样，构建的模型不可避免的损害了冷启动领域和长尾推荐文本的推荐概率，且随着召回级别的增加，损害甚至会成倍增加。
80.2)由于源域和目标域的对齐依赖于对象及其行为表示，针对对象和推荐文本交互较少的冷启动域，模型无法学习到可靠的知识表示，cdr的召回性能降低。此外，在cdr中仅通过对象及其行为以关联不同领域的推荐文本，导致跨领域推荐时知识迁移的稳定性和有效性较低。
81.3)多样性是评价召回结果的重要指标，而源域和目标域的知识迁移的稳定性和有效性较低，无法综合传递对象在不同目标域的偏好，降低了推荐结果的多样性。
82.为了解决上述问题，本技术实施例提供了一种跨域对比推荐模型的训练方装置、电子设备及存储介质。具体的，基于多个设定属性信息与多个样本推荐文本的交互，分别构建了源域和目标域对应的样本图谱以增强跨域连接，以解决数据稀疏和流行性偏差的问题，并采用图神经网络聚合器，基于单样本域中相邻设定属性信息之间的相似性损失，学习对象在不同领域的兴趣，从而提高了召回结果的多样性。
83.为了加强跨领域知识迁移，本技术实施例提供了一种跨域对比推荐 (contrastive cross-domain recommendation，ccdr)方法进行域内对比学习 (intra-cl)和域间对比学习(inter-cl)。其中，intra-cl基于扩充后的样本图谱进行额外的自我监督学习，以学习目标域中更可靠的知识表示，从而提高 cdr召回性能。inter-cl设计了三个对比学习任务，分别基于行为对象、语义信息和相邻节点对源域和目标域进行跨域映射，实现多通道跨域召回，使得不同类型的设定属性信息间的交互信息最大化，进而提高跨领域知识迁移的有效性和稳定性。
84.同时，本技术实施例在多任务学习(multi-task learning，mtl)框架下，将源域的
召回损失、目标域的召回损失、域内召回损失和域间召回损失中的全部或部分相结合，进一步提高了推荐结果的多样性。
85.为了更清楚地理解本技术的设计思路，以下对本技术实施例的应用场景进行示例介绍。
86.图1a为本技术实施例提供一种跨域对比推荐系统的结构示意图；如图1a 所示，该应用场景中可以包括至少处理装置10(如，智能终端100)和服务器 200。其中，智能终端100可以但不局限于包括图1a中的台式计算机100-1或智能手机100-2等，服务器200可以是独立的服务器，也可以是由多个服务器 (200-1,200-2,
…
)构成的服务器集群或者分布式服务系统。本技术实施例对智能终端和服务器的类别和数量不做限制性要求。
87.如图1a所示，在智能终端100上可以安装有推荐应用程序110，可以但不局限于包括图1a中的应用程序110-1或应用程序110-2等。服务器200上安装有智能推荐系统的服务器侧的应用程序。智能终端100的应用程序上部署有本技术实施例提供的目标跨域对比推荐模型，服务器200可以通过访问数据库 300来获取智能设备100所需的推荐文本，例如统计数据、文本、文本索引等，并经由网络400发送给智能设备100，由智能终端100展示给目标对象。其中，网络30可以是广义上的用于信息传递的网络，可以包括一个或多个通信网络，诸如无线通信网络、因特网、私域网、局域网、城域网、广域网或是蜂窝数据网络等。
88.本技术实施例还提供另一种跨域对比推荐系统的结构示意图，参见图1b；该系统中包括智能终端100和处理装置10(如，服务器200)。服务器200上部署有本技术实施例提供的目标跨域对比推荐模型，通过访问数据库300来获取智能设备100所需的推荐文本，并返回给智能终端100，由智能终端100展示给目标对象。
89.需要说明的是，图1a和图2b中的数据库300中存储有不同领域的样本推荐文本，每个样本推荐文本关联至少一个设定属性信息。
90.在随后的描述中仅就单个服务器或终端设备加以详述，但是本领域技术人员应当理解的是，示出的单个智能终端100、服务器200和数据库300旨在表示本技术的技术方案涉及终端设备、服务器及数据库的操作。对单个智能终端以及单个服务器和数据库加以详述至少为了说明方便，而非暗示对智能终端和服务器的类型或是位置等具有限制。
91.基于图1a和图1b的应用场景，下面对本技术实施例中涉及的目标跨域对比推荐模型进行详细描述。
92.本技术的实施例中，首先搭建目标跨域对比推荐模型所需的样本图谱集合。针对各个样本域，分别执行以下操作：将一个样本域中的各个设定属性信息分别作为相应的图谱节点，将一个样本域中各个设定属性信息连接的样本推荐文本分别作为相应的图谱边，基于各个节点和连接各个节点的图谱边，构建一个样本域对应的样本图谱。
93.可选的，设定属性信息分别为行为对象、推荐文本、文本标签、文本类别、发布媒体和主题词等多个反映对象不同兴趣的关键节点。具体的，行为对象是根据对象的基本画像聚集在一起的对象组，同一对象组中的对象具有相同的性别、年龄段、地域，行为对象缓解数据稀疏和加速离线训练。文本标签代表对象对样本推荐文本的细粒度兴趣，文本类别代表对象对样本推荐文本的粗粒度兴趣，发布媒体代表样本推荐文本的制作者，主题词的描述了从样本推荐文本的标题或内容中提取的语义信息。
94.其中，同一样本推荐文本可以具有多个设定属性信息，通过样本推荐文本，将各个
样本域各自的节点进行连接。一个样本图谱的图谱边具体包括：
95.与行为对象节点连接的样本推荐文本(简称为ui边)，如果一个样本推荐文本被一个对象组交互的次数大于设定阈值(例如，3次)，则构建一条ui边，并且，在构建ui边时，考虑了一个对象组内多个对象的交互行为(如，浏览、点击、购买、分享、点赞等)对应的不同权重；
96.与样本推荐文本连接的样本推荐文本(简称为i-i边)，如果两个样本推荐文本出现在一个会话中的相邻位置(即，上下文中)，则构建一条i-i边，可以反映会话中对象的行为顺序信息；
97.与文本标签连接的样本推荐文本(简称为t-i边)，反映样本推荐文本的细粒度分类信息；
98.与文本类别连接的样本推荐文本(简称为c-i边)，反映样本推荐文本的粗粒度分类信息
99.与发布媒体连接的样本推荐文本(简称为m-i边)，将样本推荐文本与其内容生产者或者发布平台关联起来；
100.与主题词连接的样本推荐文本(简称为w-i边)，用于反映样本推荐文本的语义信息。
101.本技术实施例的样本图谱中，每条图谱边都是无向的，而边的数量可根据边的类型和重要程度进行加权，例如，u-i边的计数。与传统的基于对象行为和样本推荐文本构建的u-i图谱相比，本技术实施例的样本图谱基于不同类型的异构节点和边，从不同的角度描述对象对样本推荐文本的偏好，通过引入其它异构信息(如i-i边、t-i边、c-i边、m-i边、w-i边)作为u-i的补充，提高了不同领域知识表示的准确性和可靠性，并且，通过多个设定属性信息建立不同领域之间潜在的关联信息，提高了不同领域知识表示的多样性。
102.图2a示例性示出了本技术实施例提供的一种样本图谱。如图2a示出的，圆圈表示样本图谱的节点，细实线表示图谱的样本边。具体的，“对象组1”中有5人分享了样本推荐文本1，有12人点赞了样本推荐文本1，有8人点赞了样本推荐文本2，样本推荐文本1对应的粗粒度分类信息为“体育比赛”，样本推荐文本1对应的细粒度分类信息为“排球”，样本推荐文本2对应的细粒度分类信息为“排球”，“对象组2”有4人点赞了样本推荐文本3，样本推荐文本3对应的细粒度分类信息为“排球”，“对象组3”有3人分享了样本推荐文本4，有15人点赞了样本推荐文本4，有2人分享了样本推荐文本5，有2人点赞了样本推荐文本5，样本推荐文本4对应的细粒度分类信息为“体操”，样本推荐文本4对应的粗粒度分类信息为“体育比赛”，样本推荐文本5对应的细粒度分类信息为“演员”，样本推荐文本6中的对象“体操”退役后成为了“演员”，“对象组4”有6人点赞了样本推荐文本7，样本推荐文本8和9中的主题词为“团体赛”。
103.本技术的上述实施例中，各个样本域至少包含源域和目标域。其中，源域中样本推荐文本对应的对象行为多于目标域中样本推荐文本对应的对象行为。为了提高节点间连接知识的可靠性，对目标域对应的样本图谱进行了扩充，得到扩充后的样本图谱。具体的，扩充后的样本图谱可通过以下至少一种方式获得：
104.删除一个样本域(目标域)对应的样本图谱中的至少一个节点；
105.删除一个样本域(目标域)对应的样本图谱中的至少一条边。
106.例如，以图2a为例，删除“排球”节点和“体育比赛”节点之间的样本推荐文本1，“游泳”节点和“体育比赛”节点之间的样本推荐文本5，以及“演员”节点和“体操”节点之间的样本推荐文本6，得到扩充后的样本图谱，如图2b所示。
107.再例如，仍以图2a为例，删除“团体赛”节点，同时，需要删除该节点关联的边，即样本推荐文本8、9，得到扩充后的样本图谱，如图2c所示。
108.基于样本图谱集合中包含的源域对应的样本图谱、目标域对应的样本图谱、以及扩充后的样本图谱，对待训练的跨域对比推荐模型进行迭代训练。训练过程参见图3a：
109.s301：处理装置获取样本图谱集合。
110.在s301中，样本图谱集合包含基于源域中的多个设定属性信息和多个样本推荐文本搭建的样本图谱、基于目标域中的多个设定属性信息和多个样本推荐文本搭建的样本图谱、以及对目标域对应的样本图谱进行扩充后得到的样本图谱。其中，设定属性信息的设定以及样本图谱的搭建过程参见前述实施例，在此不再重复。
111.s302：处理装置基于样本图谱集合，对待训练的跨域对比推荐模型进行至少一次迭代训练，获得目标跨域对比推荐模型。
112.在s302中，处理装置基于样本图谱集合中的各个样本图谱，对待训练的跨域对比推荐模型进行多轮训练，当模型的目标损失值不大于预设收敛阈值时停止训练，并将最后一轮输出的跨域对比推荐模型作为目标跨域对比推荐模型。由于样本图谱集合中的样本图谱包含了除u-i边以外的其他异构交互信息，跨域连接性更强，以学习对象在不同领域的兴趣，从而解决数据稀疏和流行性偏差的问题，提高召回结果的多样性；并且，在每一轮训练过程中，除了考虑源域和目标域中节点的损失外，还通过对比扩充前后目标域对应的样本图谱，计算了(目标域)域间损失，以学习目标域中更可靠的知识表示，从而提高cdr 召回性能。
113.具体实施时，目标跨域对比推荐模型的每一轮训练过程具体包括如下步骤，参见图3b：
114.s3021：处理装置采用待训练的跨域对比推荐模型，基于提取的各个样本图谱各自对应的各个设定属性信息之间的图谱连接关系，分别提取各个样本图谱各自对应的各个设定属性信息的属性特征向量。
115.在s3021中，由图2a至图2c所示的样本图谱可知，一个样本图谱中各个设定属性信息通过关联的样本推荐文本实现图谱连接，也就是说，一个样本推荐文本连接了一个样本图谱中两个相邻的节点。对于一个样本图谱中的任意一个设定属性信息对应的节点i，与该节点的相邻节点集合ni，构成了图结构关系特征，结合该设定属性信息自身的属性特征向量，可以提取出该设定属性信息的属性特征向量。
116.本技术的实施例中，采用图注意力网络(graph attention networks，gat) 作为gnn的聚合器来提取各个设定属性信息的属性特征向量。下面以各个样本图谱中的一个样本图谱中的任意一个设定属性信息为例，描述属性特征向量提取过程，参见图3c：
117.s3021_1：处理装置根据一个设定属性信息连接的样本推荐文本，确定设定属性信息对应的相邻设定属性信息集合。
118.在s3021_1中，两个设定属性信息关联同一个样本推荐文本，表明这两个设定属性信息相邻，表现在样本图谱中，即两个设定属性信息对应的节点由一个边连接。一个设定属
embedding的召回方法(如，矩阵分解(matrix factorization，mf)，不能从对应与样本推荐文本交互的稀疏数据中获得足够的监督信息，因此，无法学习到用于召回的对象和文本的可靠表示。在s3022中，基于本技术实施例搭建的样本图谱包含了丰富的异构交互信息，可以从行为对象、会话、分类、语义和样本推荐文本等多个方面获取更多的相邻节点，增强了不同领域间的连接，提高了用于召回的节点特征的可靠性表示。
135.在本技术的实施例中，为了描述方面，将非扩充的样本图谱记为第一类样本图谱，第一类样本图谱包含源域对应的样本图谱(记为第一样本图谱)和目标域对应的样本图谱(记为第二样本图谱)，将扩充后的样本图谱记为第二类样本图谱。针对不同类型的样本图谱中的各个设定属性信息，子损失值的计算过程参见图3d：
136.针对第一类样本图谱中的各个设定属性信息，执行s3022_1：
137.s3022_1：处理装置根据一个设定属性信息的属性特征向量，与相邻设定属性信息的属性特征向量之间的相似度，以及，一个设定属性信息的属性特征向量，与非相邻设定属性信息的属性特征向量之间的相似度，确定一个设定属性信息在相应样本域中的子损失值。
138.在s3022_1中，一个样本图谱中的全部节点位于同一个空间，在该空间中，将所有类型的图谱边视为无监督信息，以补充u-i边的不足，以使更多的节点相邻。
139.以计算一个样本图谱中各个设定属性信息中的任意一个设定属性信息(对应节点i)在相应样本域(包含源域或目标域)中的子损失值为例，参见图4a，节点k为节点i对应的相邻设定属性信息对应的节点，节点j为节点i对应的非相邻设定属性信息对应的节点，节点i的属性特征向量为ei，节点k的属性特征向量为ek，节点j的属性特征向量为ej，构建基于邻居相似性的损失函数计算子损失值，计算公式如下：
[0140][0141]
其中，t表示矩阵转置。
[0142]
在s3022_1中，基于邻居相似性的损失函数计算子损失值，相对于只考虑 u-i边的经典mf方法，一方面，在召回中充分利用了所有类型的异构设定属性信息与样本推荐文本的交互信息，这些交互信息来自u-i边、i-i边、t-i边、 c-i边、m-i边和w-i边，有助于捕捉对象的不同偏好，以平衡召回的准确性和多样性；另一方面，通过引入除u-i边外的其他异构节点和边，增加了无人监管的信息，有效解决了cdr召回中的长尾项，以及利于冷启动领域中的文本的推荐。
[0143]
针对第一类样本图谱中的各个设定属性信息，分别执行s3022_2：
[0144]
s3022_2：处理装置根据一个设定属性信息的属性特征向量，与扩充前的样本图谱中相应的设定属性信息的属性特征向量之间的相似度，以及，相应的设定属性信息的属性特征向量，分别与一个设定属性信息的非相邻设定属性信息的属性特征向量之间的相似度，确定一个设定属性信息在相应样本域中的子损失值。
[0145]
对比学习是一种广泛使用的自我监督学习(self supervised learning，ssl) 方法，充分利用了未标记的样本推荐文本对的属性特征向量。在s3022_2中，针对目标域对应的扩充前后的样本图谱，将扩充后的样本图谱中具有对应关系的设定属性信息作为正训练样本，将扩充前后样本图谱中不具有对应关系的设定属性信息作为负训练样本，确定目标
域的域内子损失值。可选的，正训练样本和负训练样本的比例为1:10。
[0146]
图4b为目标域对应的扩充前后的样本图谱间的关系图，扩充后的第二类样本图谱，以计算节点i和节点i’在目标域的域内子损失值为例，域内损失函数公式如下：
[0147][0148]
其中，b表示相同设定属性信息在扩充前后的样本图谱中分别对应的节点 (i，i’)集合，即正训练样本，sb表示扩充后的样本图谱中与节点i’不相邻的节点集合，即负训练样本，e
′i表示扩充后的样本图谱中节点i’对应的设定属性信息的属性特征向量，ei表示扩充前的样本图谱中相应的节点i对应的设定属性信息的属性特征向量，e
′j表示扩充后的样本图谱中不与节点i’相邻的节点j’对应的设定属性信息的属性特征向量，sim(
·
)表示相似度函数，τ表示温度因子，
[0149]
在s 3022_2中，通过扩充前后样本图谱中的各个设定属性信息，计算目标域的域内子损失值，用该子损失值增强节点的可靠性表示，提高召回的可靠性，并缓解了召回中数据稀疏和流行性偏差的问题。
[0150]
s3023：处理装置基于获得的各子损失值，确定目标损失值，并基于目标损失值对待训练的跨域对比推荐模型进行参数调整。
[0151]
在s3023中，联合优化源域的召回损失、目标域的召回损失和目标域的域内对比学习损失，确定目标损失值，公式如下：
[0152][0153]
其中，λ1、λ2、λ3分别表示源域损失目标域损失和目标域的域内损失l
intra-cl
权重。
[0154]
在一些实施例中，本技术实施例除了考虑目标域的域内对比学习损失外，还考虑了源域和目标域的域间对比学习(inter-cl)损失。inter-cl旨在通过样本图谱中的不同类型的节点和边来改善不同领域之间的知识迁移。
[0155]
本技术在域间对比学习时，通过行为对象、语义信息、和相邻节点三个角度实现源域到目标域的知识迁移。如图4c所示，s表示源域、t表示目标域，表示基于行为对象的源域到目标域的知识迁移，为节点i在源域中的对象特征向量，为节点i在目标域中的对象特征向量，为节点j在目标域中的对象特征向量，表示基于语义信息的源域到目标域的知识迁移，通常的，不同领域中的相同的文本类别、文本标签、主题词大多具有相同的语义信息，因此，语义信息包括文本类别、文本标签、主题词中的至少一项，为节点i在源域中的语义特征向量，为节点i在目标域中的语义特征向量，为节点j在目标域中的语义特征向量，为节点j在目标域中的语义特征向量，表示基于域间邻节点的源域到目标域的知识迁移,为节点i在源域中的节点特征向量，为节点i在目标域中的节点特征向量，为在目标
域中与节点i相邻的节点k的节点特征向量，为在目标域中与节点i 不相邻的节点j的节点特征向量，
[0156]
需要说明的是，图4c仅是一种示例，例如，语义信息还可以为发布媒体，即假设同一媒体号发布的大多数内容相似。
[0157]
基于域间对比学习，在s3022_2之后，在s3023之前，还包括：
[0158]
s3022_3：处理装置基于各个样本域对应的样本图谱中的各个设定属性信息的属性特征向量，计算各个样本域之间的子损失值。
[0159]
在s3022_3中，源域对应的第一样本图谱和目标域对应的第二样本图谱中存在相同的设定属性信息，例如，对象组1对源域中的样本推荐文本产生了交互行为，同时，对象组1’还对目标域中的样本推荐文本产生了交互行为，对象组1和对象组1’为第一样本图谱和第二样本图谱中相同的节点。并且，第二样本图谱中与第一样本图谱中相同的节点，其存在相邻节点和不相邻节点。因此，源域和目标域之间的子损失值包括，相同设定属性信息对应的节点在两样本图谱中的召回损失，以及目标域中与源域相同的设定属性信息的相邻和不相邻的设定属性信息的召回损失，具体参见图3e：
[0160]
s3022_31：处理装置基于第一样本图谱和第二样本图谱中，相同的设定属性信息的属性特征向量，计算源域和目标域之间的第一损失值。
[0161]
在s3022_31，当设定属性信息为行为对象时，以图4c为例，通过gnn 聚合器的学习，同一行为对象在第一样本图谱中有一个节点表示，在第二样本图谱中也有一个节点表示，但由于同一行为对象对源域和目标域中的样本推荐文本的行为不一致，因此，在两样本图谱中的节点表示不同。
[0162]
以第一样本图谱和第二样本图谱中一个相同的设定属性信息为例，假设该设定属性信息在两样本图谱中对应节点i，则基于该设定属性信息在第一样本图谱和第二样本图谱中的属性特征向量之间的相似度，以及，该设定属性信息在第一样本图谱中的属性特征向量分别与第二样本图谱中该设定属性信息不相邻的设定属性信息的属性特征向量之间的相似度，确定样本域之间的第一损失值，具体的，基于行为对象的域间第一损失值的计算公式如下：
[0163][0164]
其中，表示第二样本图谱中除节点i之外其他行为对象的节点。
[0165]
在s3022_31，当设定属性信息为表征语义信息的文本类别、文本标签、主题词中至少一项时，以图4c为例，通过gnn聚合器的学习，同一文本类别、文本标签或主题词在第一样本图谱中有一个节点表示，在第二样本图谱中也有一个节点表示，与基于行为对象的域间第一损失值的计算类似，基于语义信息的域间第一损失值的计算公式如下：
[0166]
[0167]
其中，表示第二样本图谱中除节点i之外其他文本类别、文本标签、主题词的节点。
[0168]
需要说明的是，公式7和公式8中的温度参数τ的取值可以不同，以突出语义差异。
[0169]
s3022_32：处理装置基于第一样本图谱和第二样本图谱中各个设定属性信息的相邻关系，计算源域和目标域之间的第二损失值。
[0170]
在s3022_31中计算第一损失值时，假设了不同领域中相似的样本推荐文本可能有相似的行为对象、文本类别、文本标签、主题词等。而在s3022_32 中，考虑到一些基本的设定属性信息没有显式映射的样本推荐文本，如图4b 中虚线连接的两个节点。因此，在s3022_32中，基于相邻节点的inter-cl对不同领域中的设定属性信息之间建立间接(多跳)连接，也就是说，在进行源域和目标域的知识迁移时，对行为对象、文本标签、文本类别、发布媒体和主题词进行整体的映射。
[0171]
如图4c所示，假设第一样本图谱和第二样本图谱中相同的设定属性信息记为目标设定属性信息，在两样本图谱中对应节点i，首先，确定节点i在第二样本图谱中的相邻设定属性信息集合然后，基于目标设定属性信息在第一样本图谱中的属性特征向量分别与相邻设定属性信息集合中的相邻设定属性信息的属性特征向量之间的相似度，以及，目标设定属性信息在第一样本图谱中的属性特征向量分别与第二样本图谱中不属于相邻设定属性信息集合中的设定属性信息的属性特征向量之间的相似度，确定样本域之间的第二损失值。具体的，基于相邻节点的域间第二损失值的计算公式如下：
[0172][0173]
其中，ea为源域中的全部节点集合，为目标域中节点i的邻节点集合。
[0174]
s3022_33：处理装置根据第一损失值和第二损失值，确定各个样本域之间的子损失值。
[0175]
在s3022_32中，将三个域间损失值组合，得到最终的域间子损失值 l
inter-cl
：
[0176][0177]
考虑到源域和目标域之间的域间子损失值，则s3023中确定的目标损失值为：
[0178][0179]
其中，λ4为域间损失l
inter-cl
对应的权重。
[0180]
上述实施例中的待训练的跨域对比推荐模型，可以是由具有样本图谱处理功能的图神经网络(graph neural networks，gnn)构成的架构，包括但不限于嵌入式映射跨域推荐(embedding mapping cross-domain recommendation， emcdr)、sscdr模型、深度双转移跨域推荐(deep dual transfer cross domainrecommendation，ddtcdr)、跨域推荐的传输元框架(transfer-meta frameworkfor cross-domain recommendation，tmcdr)，ican模型。
[0181]
图5为跨域对比推荐模型训练的整体示意图，如图5示出的，将源域对应的第一样
本图谱、目标域对应的第二样本图谱、以及对第二样本图谱扩充后的样本图谱输入至输入层(input)，提取各个样本图谱中各个设定属性信息的属性特征向量，通过嵌入层(embedding)对属性特征向量进行增维和拼接，对嵌入层处理后的属性特征向量进行gnn聚合，并加入多头注意力机制 (attention)，最后，基于第一样本图谱中各个设定属性信息的属性特征向量，计算源域召回损失基于第二样本图谱中的各个设定属性信息的属性特征向量，计算目标域召回损失基于第二样本图谱和扩充后的样本图谱中的各个设定属性信息的属性特征向量，计算目标域的域内召回损失l
intra-cl
，基于第一样本图谱和第二样本图谱中的各个设定属性信息的属性特征向量，计算目标域的域内召回损失l
inter-cl
，结合l
intra-cl
、l
inter-cl
得到最终的目标损失值l。
[0182]
本技术的上述实施例中，在源域和目标域分别搭建了样本图谱，每个样本图谱包含多个设定属性信息以及样本推荐文本，以增强不同领域的相关性，并对目标域对应的样本图谱进行了扩充，以缓解数据稀疏和流行性偏差的问题。在模型训练阶段，采用gnn聚合器来学习对象在不同领域的兴趣，从而减少了长尾样本推荐文本。为了加强跨领域知识迁移，设计了intra-cl和inter-cl，其中，intra-cl通过扩充后的样本图谱进行额外的自监督学习，以学习目标域中各个设定属性信息的可靠性知识表示，inter-cl引入三个对比学习任务，在源域和目标域之间分别基于行为对象、语义信息、相邻节点进行映射，使得不同类型的设定属性信息与样本推荐文本之间的交互信息最大化，提高跨领域知识迁移的有效性和稳定性。并且，在mtl框架下，进行了跨域多通道召，将源域的召回损失、目标域的召回损失、域内对比学习损失和域间对比学习损失相结合，进一步提高召回结果的多样性。
[0183]
基于本技术训练后的目标跨域对比推荐模型，进行跨域推荐，具体参见图 6a：
[0184]
s601：处理装置响应于目标对象发送的推荐请求，获得所述目标对象对应的推荐文本集合。
[0185]
在s601中，处理装置响应于目标对象通过应用程序发送的推荐请求，从该应用程序的后台服务器中获得对应的推荐文本集合，推荐文本集合包含不同领域中的多个推荐文本。
[0186]
s602：处理装置采用目标跨域对比推荐模型，基于推荐文本集合中的各个推荐文本和各个推荐文本各自连接的设定属性信息，分别获得归属于多个领域的多个目标推荐文本。
[0187]
s603：处理装置将多个目标推荐文本展示给目标对象。
[0188]
以处理装置为服务器为例，图6b示出了本技术实施例提供的跨域对比推荐过程示意图；目标对象点击智能终端的“好看”应用程序，向“好看”后台服务器发送推荐请求，后台服务器接收到推荐请求后，访问数据库，得到推荐文本集合，该推荐文本集合中包含了用户在“好看”平台发布的不同领域的多个推荐文本，后台服务器部署有目标跨域对比推荐模型，基于推荐文本集合中的各个推荐文本和各个推荐文本各自连接的设定属性信息，获得时事新闻、明星娱乐、公交出行、旅游攻略等领域的多个推荐文本，并发送给智能终端，由智能终端展示给目标对象。
[0189]
为验证本技术实施例提供的ccdr在实际应用场景中有效应，在某一视频在线推荐系统分别部署了目标跨域对比推荐模型和传统的跨域推荐模型，处召回环境外，其他数据
保持不变。通过比较跨域推荐中三个重要的指标：1)点击率(click-through rate，ctr)，2)平均用户时长，3)人均分享率，评估目标跨域对比推荐模型的有效性。经为期8天的在线a/b test数据得到，相对于传统的跨域推荐模型，本技术实施例提供的目标跨域对比推荐模型的线上ctr 提升了14.368％，平均用户时长提升了6.623％，人均分享率提升了10.401％。
[0190]
基于同一发明构思，本技术实施例提供一种推荐装置，该推荐装置可执行上述模型训练方法和跨域推荐方法，参见图7，该推荐装置包括：
[0191]
样本获取模块701，用于获取样本图谱集合；样本图谱集合包含：分别基于各个样本域中的多个设定属性信息和多个样本推荐文本搭建的样本图谱，以及对其中一个样本域对应的样本图谱进行扩充后得到的样本图谱；
[0192]
模型训练模块702，用于基于样本图谱集合，对待训练的跨域对比推荐模型进行至少一次迭代训练，获得目标跨域对比推荐模型；其中，模型训练模块包括特征提取单元7021、损失值计算单元7022、参数调整单元7023；
[0193]
在每次迭代过程中：
[0194]
特征提取单元7021，用于采用待训练的跨域对比推荐模型，基于提取的各个样本图谱各自对应的各个设定属性信息之间的图谱连接关系，分别提取各个样本图谱各自对应的各个设定属性信息的属性特征向量；其中，各个设定属性信息通过关联的样本推荐文本实现图谱连接；
[0195]
损失值计算单元7022，用于基于获得的各个样本图谱各自的各个设定属性信息对应的属性特征向量，分别计算各个设定属性信息在相应样本域中的子损失值；
[0196]
参数调整单元7023，用于基于获得的各子损失值，确定目标损失值，并基于目标损失值对待训练的跨域对比推荐模型进行参数调整。
[0197]
可选的，还包括样本图谱搭建模块703，用于：
[0198]
针对各个样本域，分别执行以下操作：将一个样本域中的各个设定属性信息分别作为相应的图谱节点，将一个样本域中各个设定属性信息连接的样本推荐文本分别作为相应的图谱边，基于各个节点和连接各个节点的图谱边，构建一个样本域对应的样本图谱。
[0199]
可选的，样本图谱搭建模块703，还用于：
[0200]
删除一个样本域对应的样本图谱中的至少一个节点；
[0201]
删除一个样本域对应的样本图谱中的至少一条边。
[0202]
可选的，特征提取单元7021，具体用于：
[0203]
针对各个样本图谱中的一个样本图谱中的各个设定属性信息，分别执行以下操作：
[0204]
根据一个设定属性信息连接的样本推荐文本，确定一个设定属性信息对应的相邻设定属性信息集合；
[0205]
分别确定相邻设定属性信息集合中，各个相邻设定属性信息各自与一个设定属性信息的相似度；
[0206]
根据确定的各个相似度，分别确定相应的相邻设定属性信息与一个设定属性信息的多头注意力系数；
[0207]
根据确定的各个多头注意力系数，对各个相邻设定属性信息的属性特征向量进行加权，得到一个设定属性信息的属性特征向量。
[0208]
可选的，损失值计算单元7022具体用于：
[0209]
针对非扩充的第一类样本图谱中的各个设定属性信息，分别执行以下操作：
[0210]
根据一个设定属性信息的属性特征向量，与相邻设定属性信息的属性特征向量之间的相似度，以及，一个设定属性信息的属性特征向量，与非相邻设定属性信息的属性特征向量之间的相似度，确定一个设定属性信息在相应样本域中的子损失值；以及
[0211]
针对扩充后的第二类样本图谱中的各个设定属性信息，分别执行以下操作：
[0212]
根据一个设定属性信息的属性特征向量，与扩充前的样本图谱中相应的设定属性信息的属性特征向量之间的相似度，以及，相应的设定属性信息的属性特征向量，分别与一个设定属性信息的非相邻设定属性信息的属性特征向量之间的相似度，确定一个设定属性信息在相应样本域中的子损失值。
[0213]
可选的，损失值计算单元7022还用于：
[0214]
基于各个样本域对应的样本图谱中各个设定属性信息的属性特征向量，计算各个样本域之间的子损失值。
[0215]
可选的，各个样本图谱至少包括源域对应的第一样本图谱，目标域对应的第二样本图谱；损失值计算单元7022具体用于：
[0216]
基于第一样本图谱和第二样本图谱中，相同的设定属性信息的属性特征向量，计算源域和目标域之间的第一损失值；
[0217]
基于第一样本图谱和第二样本图谱中，相邻的设定属性信息的属性特征向量，计算源域和目标域之间的第二损失值；
[0218]
根据第一损失值和第二损失值，确定各个样本域之间的子损失值。
[0219]
可选的，损失值计算单元7022具体用于：
[0220]
基于同一设定属性信息在第一样本图谱和第二样本图谱中的属性特征向量之间的相似度，以及，同一设定属性信息在第一样本图谱中的属性特征向量，分别与第二样本图谱中同一设定属性信息不相邻的设定属性信息的属性特征向量之间的相似度，确定样本域之间的第一损失值；
[0221]
损失值计算单元7022具体用于：
[0222]
确定目标设定属性信息在第二样本图谱中的相邻设定属性信息集合，目标设定属性信息为第一样本图谱和第二样本图谱中相同的设定属性信息；
[0223]
基于目标设定属性信息在第一样本图谱中的属性特征向量，分别与相邻设定属性信息集合中的相邻设定属性信息的属性特征向量之间的相似度，以及，目标设定属性信息在第一样本图谱中的属性特征向量，分别与第二样本图谱中不属于相邻设定属性信息集合中的设定属性信息的属性特征向量之间的相似度，确定样本域之间的第二损失值。
[0224]
可选的，推荐装置还包括：
[0225]
响应模块704，用于响应于目标对象发送的推荐请求，获得目标对象对应的推荐文本集合；
[0226]
获取模块705，用于采用目标跨域对比推荐模型，基于推荐文本集合中的各个推荐文本和各个推荐文本各自连接的设定属性信息，分别获得归属于多个领域的多个目标推荐文本；
[0227]
展示模块706，用于将多个目标推荐文本展示给目标对象。
[0228]
作为一种实施例，图7中的装置可以用于本技术实施例提供的模型训练方法和跨域推荐方法，并能实现相同的技术效果，在此不再赘述。
[0229]
上述装置作为硬件实体的一个实例如图8所示的电子设备，该电子设备包括处理器801、存储介质802以及至少一个外部通信接口803；上述处理器801、存储介质802以及外部通信接口803均通过总线804连接。
[0230]
存储介质802中存储有计算机程序；
[0231]
处理器801执行该计算机程序时实现前文论述的模型训练方法和跨域推荐方法。
[0232]
图8中是以一个处理器801为例，但是实际上不限制处理器801的数量。
[0233]
其中，存储介质802可以是易失性存储介质(volatile memory)，例如随机存取存储介质(random-access memory，ram)；存储介质802也可以是非易失性存储介质(non-volatile memory)，例如只读存储介质，快闪存储介质(flashmemory)，硬盘(hard disk drive，hdd)或固态硬盘(solid-state drive，ssd)、或者存储介质802是能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其它介质，但不限于此。存储介质802可以是上述存储介质的组合。
[0234]
基于同一发明构思，本技术实施例提供一种终端设备，下面对该终端设备进行介绍。
[0235]
请参照图9，该终端设备包括显示单元940、处理器980以及存储器920，其中，显示单元940包括显示面板941，用于显示由用户输入的信息或提供给用户的信息以及各种操作界面和显示页面等，在本技术实施例中主要用于显示终端设备中已安装的客户端的界面、快捷窗口等。
[0236]
可选的，可以采用液晶显示器(liquid crystal display，lcd)或有机发光二极管oled(organic light-emitting diode)等形式来配置显示面板941。
[0237]
处理器980用于读取计算机程序，然后执行计算机程序定义的方法，例如处理器980读取问答客户端的应用等，从而在该终端设备上运行应用，在显示单元940上显示应用的界面。处理器980可以包括一个或多个通用处理器，还可包括一个或多个dsp(digital signal processor，数字信号处理器)，用于执行相关操作，以实现本技术实施例所提供的技术方案。
[0238]
存储器920一般包括内存和外存，内存可以为随机存储器(ram)，只读存储器(rom)，以及高速缓存(cache)等。外存可以为硬盘、光盘、usb 盘、软盘或磁带机等。存储器920用于存储计算机程序和其他数据，该计算机程序包括客户端对应的应用程序等，其他数据可包括操作系统或应用程序被运行后产生的数据，该数据包括系统数据(例如操作系统的配置参数)和用户数据。本技术实施例中程序指令存储在存储器920中，处理器980执行存储器1620 中的程序指令，实现前文图论述的任意的模型训练方法和跨域推荐方法。
[0239]
此外，终端设备还可以包括显示单元940，用于接收输入的数字信息、词语信息或接触式触摸操作或非接触式手势，以及产生与终端设备的用户设置以及功能控制有关的信号输入等。具体地，本技术实施例中，该显示单元940可以包括显示面板941。显示面板941例如触摸屏，可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在显示面板941 上或在显示面板941的操作)，并根据预先设定的程式驱动相应的连接装置。可选的，显示面板941可包括触摸检测装置和触摸控制器两个部分。其中，触摸检
测装置检测玩家的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器980，并能接收处理器980发来的命令并加以执行。在本技术实施例中，若用户点击显示面板941，则在显示面板941中的触摸检测装置检测到触摸操作，则将检测到的触摸操作对应的信号发送的触摸控制器，触摸控制器将信号转换成触点坐标发送给处理器980，处理器980根据接收到的触点坐标响应用户操作。
[0240]
其中，显示面板941可以采用电阻式、电容式、红外线以及表面声波等多种类型实现。除了显示单元940，终端设备还可以包括输入单元930，输入单元930可以包括但不限于包括图像输入设备931和其他输入设备932，其他输入设备932可以但不局限于包括物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。
[0241]
除以上之外，终端设备还可以包括用于给其他模块供电的电源990、音频电路960、近场通信模块970和rf电路910。终端设备还可以包括一个或多个传感器950，例如加速度传感器、光传感器、压力传感器等。音频电路960具体包括扬声器961和麦克风962等，例如终端设备可以通过麦克风962采集用户的声音，进行相应的操作等。
[0242]
作为一种实施例，处理器980的数量可以是一个或多个，处理器980和存储器920可以是耦合设置，也可以是相对独立设置。
[0243]
作为一种实施例，图9中的处理器980可以用于实现如图7中各个模块的功能。
[0244]
作为一种实施例，图9中的处理器980可以用于实现前文论述的处理装置的功能。
[0245]
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的计算机程序可以存储于一计算机可读取存储介质中，该计算机程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0246]
或者，发明上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本发明各个实施例上述方法的全部或部分。而前述的存储介质包括：移动存储设备、rom、ram、磁碟或者光盘等各种可以存储程序代码的介质。
[0247]
基于同一技术构思，本技术实施例还一种计算机可读存储介质，该计算机可读存储介质存储有计算机指令，当上述计算机指令在计算机上运行时，使得计算机执行如前文论述的问句扩展方法。
[0248]
本领域内的技术人员应明白，本技术的实施例可提供为方法、系统、或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、 cd-rom、光学存储器等)上实施的计算机程序产品的形式。
[0249]
显然，本领域的技术人员可以对本技术进行各种改动和变型而不脱离本技术的精
神和范围。这样，倘若本技术的这些修改和变型属于本技术权利要求及其等同技术的范围之内，则本技术也意图包含这些改动和变型在内。