自动并智能地探索设计空间的制作方法

自动并智能地探索设计空间
1.相关申请的交叉引用
2.本技术要求于2020年7月30日提交的美国申请no.16/943,126和2020年4月15日提交的美国临时申请no.63/010,438的权益，其内容通过引用并入本文。
技术领域
3.本文档涉及提供一种数据收集和模型生成过程，该过程持续减少由于使用来自不均匀分布或不具有代表性的群体的数据点而引入的偏差并且探索设计空间。


技术实现要素：

4.一般而言，本说明书中描述的主题的一个创新方面能够体现在一种用于生成新产品设计的方法中，该方法包括从用户设备接收针对在用户设备上呈现的数字组成部分的请求，接收关于特定产品设计的用户提供的信息的数据集，基于用户提供的信息的数据集来生成将设计因素映射到表示潜在产品设计几何形状的连续形状的视觉表示，基于设计因素值将视觉表示分割成多个片段，选择包含少于阈值数量的数据点的视觉表示的片段，选择向用户征求信息的数字组成部分，基于视觉表示的所选片段，动态地改变向用户征求关于包含少于阈值数量的数据点的视觉表示的片段的信息的数字组成部分的呈现，分发动态改变的数字组成部分以在用户设备处呈现，从用户设备并且通过反馈机制获得关于包含少于阈值数量的数据点的视觉表示的片段的反馈信息，至少部分地基于从用户获得的反馈信息来修改特定产品设计的设计因素以创建修改后的产品设计。
5.这些和其他实施例能够各自可选地包括一个或多个以下特征。
6.在一些实施方式中，该方法包括针对向用户征求信息的特定内容项目选择征求信息的格式，并且基于视觉表示的所选片段来验证向用户征求信息的特定内容项目所征求的信息。在一些实施方式中，选择征求信息的格式包括选择与动态改变的数字组成部分提供的特定反馈机制。
7.在一些实施方式中，该方法包括基于针对在用户设备处呈现的数字组成部分的请求，确定用户设备的用户在第一用户组中，其中针对在用户设备处呈现的数字组成部分的请求指示用户设备的用户的用户人口统计信息。该方法能够包括从第二用户设备接收针对用于在第二用户设备处呈现的指示第二用户设备的用户的用户人口统计信息的数字组成部分的请求，基于针对用于在第二用户设备处呈现的数字组成部分的请求，确定第二用户设备的用户与该用户设备的用户在相同的第一用户组中，以及响应于确定第二用户设备的用户与用户设备的用户在相同的第一用户组中，提供修改后的产品设计而不是特定产品设计。
8.在一些实施方式中，基于设计因素值将视觉表示分割成多个片段包括基于设计因素值将视觉表示划分成多个片段，使得视觉表示的每个片段共享定义的值范围内的设计因素值。
9.用户界面元素能够是例如产品或品牌的图像、音频或视频表示、反馈机制、任务的
主题和/或任务的措辞等元素。例如，数据质量处理器120能够确定用户设备106的用户在对手提包的产品设计感兴趣的用户群中，并且识别要改变的任务的视觉主题。在一些实施方式中，数据处理器120能够通过替换用户元素来改变用户元素。在一些实施方式中，数据处理器120能够通过修改元素来改变用户元素。例如，数据质量处理器120能够通过添加特定于用户确定感兴趣的特定产品设计的元素来改变任务的视觉主题，包括特定品牌手提包的标志、让人想起特定品牌手提包的配色方案、特定品牌手提包使用的音轨以及其他元素。
10.在一些实施方式中，动态地改变数字组成部分的呈现包括基于针对用于在用户设备处呈现的数字组成部分的请求，确定用户设备的用户在第一用户组中，其中针对用于在用户设备处呈现的数字组成部分的请求包含指示用户的一个或多个属性的信息，基于确定用户设备的用户在第一用户组中，识别数字组成部分的用户界面元素，以及改变数字组成部分的呈现的用户界面元素。
11.在一些实施方式中，将设计因素映射到表示潜在产品设计几何形状的连续形状的视觉表示是可逆的，使得基于用户提供的信息的数据集来生成将设计因素映射到表示潜在产品设计几何形状的连续形状的视觉表示包括通过将潜在产品设计几何形状映射到设计因素来生成视觉表示。
12.在一些实施方式中，该方法包括基于修改后的产品设计并且从多个现有产品设计中识别最接近的现有产品设计，该现有产品设计具有与修改后的产品设计共同的多个设计因素值。
13.在一些实施方式中，该方法包括向集成制造系统提供修改后的产品设计。
14.在一些实施方式中，该方法包括基于反馈信息来构建预测用户接受潜在产品设计几何形状的行为模型，其中修改特定产品设计的设计因素至少部分基于行为模型。
15.在一些实施方式中，特定产品设计是软件应用的用户界面设计。
16.在一些实施方式中，动态地改变内容项目的呈现包括使用机器学习或人工智能技术来指定由数字组成部分请求的信息。
17.该方面的其他实施例包括对应的系统、装置和计算机程序，其被配置为执行该方法的动作，并且被编码在计算机存储设备上。
18.可以实施本文档中描述的主题的特定实施例，以便实现一个或多个以下优点。在某些环境中，先前没有办法自动和系统地减少不代表群体或被确定为在特定片段中缺少数据的数据集中的偏差，并且该缺点由本文讨论的技术、设备和系统来解决。
19.在本新系统的一些实施方式中，识别为其收集数据的群体中未被充分代表的片段，并且生成任务以分发给这些片段中的用户。这些任务向用户征求关于特定主题或领域的响应，使得这些响应补充现有的数据集。例如，系统能够确定来自特定年龄范围内的用户的关于两个产品之间的优选选择的响应小于阈值量，然后生成任务以分发给该年龄范围内的用户，该任务要求用户在两个产品之间进行选择。这些响应由系统接收和处理作为对现有数据集的补充，从而改善数据质量。该系统持续监视数据集，提供一种解决方案，即使在数据集更新时也能自动地保持数据质量。
20.本新系统可以访问清理、处理和维护一组全面的带标签的可搜索数据的复杂的数据处理基础设施，这些数据能够在许多不同的情况下使用以改善模型的结果，而先前没有解决方案可以在收集更多数据时自动改善数据质量并且保持数据质量。如果模型使用不完
整或不具代表性的数据集，模型能够产生不代表群体实际行为的结果：新系统自动地补充供模型从中提取的数据集，从而改善数据的鲁棒性和模型结果的准确性。通过自动地识别数据不足或不具有代表性的群体片段，该系统减少了用作各种模型输入的数据集的偏差。这些更鲁棒的数据集反过来又改善了依赖这些数据的模型的结果的可靠性和准确性。改善后的数据集能够被不同方面标记和使用，包括可能没有系统维护的标记和可搜索数据集的基础设施或无法访问这些数据集的内容提供商和产品制造商。
21.除了改善数据集，该系统能够自动地探索设计空间。设计空间是设计值的概念表示并且能够被称为连续形状。设计空间能够与特定产品或服务相关联并且能够是多维的，表示感兴趣的参数的可能设计值。在一些实施方式中，能够扩充设计空间以将设计参数映射到语义值。例如，系统能够使用产品的语义属性和几何特征的映射来创建模型；这些模型存在于单个连续的形状空间中，该空间表示可能属性值的范围。设计能够基于一个或多个感官特征。例如，设计能够是视觉的、听觉的、触觉的、基于气味的或基于味道的。例如，汽车座椅的设计可以包括视觉和触觉特征。
22.本新系统能够通过识别设计空间中存在很少或没有数据的偏度和生成要分发给用户的关于所识别片段的任务来自动地探索设计空间。通过收集这些片段的数据，该系统允许将先前未探索的设计考虑在内。例如，系统能够自动地生成具有尚未呈现给用户以供反馈的参数值的设计。基于接收到的反馈，系统能够不断地更新现有的设计并且生成新的设计，在原型制作、制造和分发阶段之前征求用户对该新设计的反馈。该反馈能够作为输入提供给输出例如用户偏好预测的模型。该系统能够基于数据分析和行为模型的输出来确定引导产品设计的方向，并且允许内容提供商、产品设计者和制造商关注最有可能被目标消费者群体接受的设计。换句话说，改善的更新过程能够减少完成产品设计所需的反馈周期的数量，从而减少从初始数据收集到完成设计的整个设计周期所需的计算资源。
23.利用这种方法允许实现产品的快速设计开发，从而更加准确可靠地满足不同人群的消费者需求和期望。此外，改善的更新过程通过改善数据质量和减少收集用户数据以输入到行为模型所需的反馈周期的数量来提供设计系统的高效率。本系统为产品设计者、开发者和制造商提供了在全球范围内快速接收各种反馈并且在制造和运输阶段之前根据人口统计数据确定用户偏好的途径，这需要大量的资源投入。本方法可以允许为个人或用户群体进行个性化的设计和制造。例如，制造商能够使用这种方法来审查个人偏好以衡量更大市场的接受统计数据。
24.本文档中描述的技术使系统能够使用更少的资源和执行更少的操作来生成与特定产品或服务相关的高质量数据。通过自动检测和减少数据集中的偏差，该系统使得使用该数据的模型能够提供更准确和可靠的结果。此外，该系统通过允许设计空间的有目标探索和数据质量的持续改进，减少了完成新产品或新服务设计所需的资源量。
25.本说明书中描述的主题的一个或多个实施例的细节在附图和以下描述中阐述。根据说明书、附图和权利要求书，本主题的其他特征、方面和优点将变得显而易见。
附图说明
26.图1是用于数据质量改进和设计空间探索的示例环境的框图。
27.图2a示出了数据质量改进过程的示例数据流。
28.图2b和图2c描绘了模型训练过程。
29.图3示出了数据质量改进过程的示例数据流。
30.图4示出了设计空间探索过程的示例数据流。
31.图5a和图5b描绘了特定示例的数据流，其中系统使用行为模型为用户生成任务。
32.图6a和图6b描绘了系统将用户反馈整合到设计周期中的具体示例的数据流。
33.图7a和图7b描绘了具体示例的数据流，其中系统实施用户反馈以定制现有设计和产品。
34.图7c至图7f描绘了系统将用户反馈实施到设计周期中的具体示例。
35.图8是用于数据质量改进的示例过程的流程图。
36.图9是用于自动设计空间探索的示例过程的流程图。
37.图10是示例计算系统的框图。
38.不同附图中相同的附图标记和名称表示相同的元件。
具体实施方式
39.本文描述了改进数据质量、减少固有偏差、并且允许自动、智能设计空间探索的方法、系统和设备。模型的准确性和对人群的代表性取决于提供给模型的输入数据。所提议的系统改进了能够提供给各种系统用于建模和产品开发的数据的质量。能够通过各种方式收集用户反馈数据和行为数据。
40.在一些实施方式中，系统生成分发给用户的任务。每个任务能够是问题、任务或其他形式的用户输入征求。用户的输入能够被标记并被用作能够在不同情境中使用的综合数据库的一部分。例如，能够向用户呈现要完成的任务，其中用户必须从多个标志设计中选择看起来最吸引人的单个标志设计。然后，用户的选择能够使用用户的人口统计信息来标记并且作为标记的可搜索数据库的一部分来存储。该系统能够基于对标记数据集的分析来确定来自特定用户人口统计或关于特定产品段的数据缺失、不足或不代表已知人群，并且自动地生成任务或问题以收集更多数据并且减少不代表数据集中的固有偏差。补充的标记数据集能够作为输入提供给各种模型。例如，被标记的数据集能够被提供给行为模型以预测特定设计是否会吸引特定的用户群体。能够使用各种模型来预测用户对例如特定设计的反应和接受。
41.该系统还允许自动和智能地探索特定的设计空间。例如，基于对标记数据集的分析，系统能够确定关于设计空间的特定区域的数据是缺失的、不充分的、不代表已知人群的，并且自动地生成任务或问题以收集更多数据。该系统能够通过使用人工智能和机器学习模型基于设计空间的未探索区域生成产品设计来探索设计空间。然后，这些人工生成的设计能够与征求反馈的任务一起呈现给用户。
42.图1是用于数据质量改进和设计空间探索的示例环境100的框图。示例环境100包括网络102，诸如局域网(lan)、广域网(wan)、互联网或其组合。网络102连接电子文档服务器104(“电子文档服务器”)、用户设备106和数字组成部分分发系统110(也称为dcds 110)。示例环境100可以包括许多不同的电子文档服务器104和用户设备106。
43.用户设备106是能够通过网络102请求和接收资源(例如，电子文档)的电子设备。示例用户设备106包括个人计算机、移动通信设备以及能够通过网络102发送和接收数据的
其他设备。用户设备106通常包括用户应用，诸如网络浏览器，以促进通过网络102发送和接收数据，但是由用户设备106执行的本地应用也能够促进通过网络102发送和接收数据。
44.一个或多个第三方140包括内容提供商、产品设计者、产品制造商以及参与产品或服务的设计、开发、制造、营销或分销的其他方。
45.电子文档是在用户设备106处呈现一组内容的数据。电子文档的示例包括网页、文字处理文档、可移植文档格式(pdf)文档、图像、视频、搜索结果页面和提要源。本地应用(例如，“应用”)，诸如安装在移动、平板或桌面计算设备上的应用也是电子文档的示例。电子文档105(“电子文档”)能够由电子文档服务器104提供给用户设备106。例如，电子文档服务器104能够包括托管出版商网站的服务器。在该示例中，用户设备106能够发起针对给定发布者网页的请求，并且托管给定发布者网页的电子文档服务器104能够通过发送启动给定网页在用户设备106处的呈现的机器超文本标记语言(html)代码来响应该请求。
46.电子文档能够包括各种内容。例如，电子文档105能够包括电子文档本身内和/或不随时间改变的静态内容(例如，文本或其他指定内容)。电子文档还能够包括可以随时间或者基于每个请求而改变的动态内容。例如，给定电子文档的发布者能够维护用于填充电子文档部分的数据源。在该示例中，给定的电子文档能够包括标签或脚本，当用户设备106处理(例如，呈现或执行)给定的电子文档时，该标签或脚本使用户设备106向数据源请求内容。用户设备106将从数据源获得的内容整合到给定电子文档的呈现中以创建包括从数据源获得的内容的复合电子文档。
47.在一些情况下，给定的电子文档能够包括引用dcds 110的数字内容标签或数字内容脚本。在这些情况下，当用户设备106处理给定的电子文档时，用户设备106执行数字内容标签或数字内容脚本。数字内容标签或数字内容脚本的执行将用户设备106配置为生成针对数字内容的请求108，该请求108通过网络102被传输到dcds 110。例如，数字内容标签或数字内容脚本能够使用户设备106能够生成包括报头和有效载荷数据的分组化数据请求。请求108能够包括数据，诸如被请求数字内容的服务器的名称(或网络位置)、请求设备(例如，用户设备106)的名称(或网络位置)、和/或dcds 110能够使用以选择响应于该请求而提供的数字内容的信息。用户设备106通过网络102(例如，电信网络)将请求108传输到dcds 110的服务器。
48.请求108能够包括指定电子文档和能够呈现数字内容的位置的特征的数据。例如，指定对将呈现数字内容的电子文档(例如，网页)的引用(例如，url)、可用于呈现数字内容的电子文档的可用位置(例如，数字内容槽)、可用位置的大小、可用位置在电子文档的呈现中的位置、和/或有资格在这些位置中呈现的媒体类型的数据能够被提供给dcds 110。类似地，指定被指派为选择电子文档的关键词(“文档关键词”)或电子文档引用的实体(例如，人、地点或事物)的数据也能够被包括在请求108中(例如，作为有效载荷数据)，并且被提供给dcds 110以促进识别有资格与电子文档一起呈现的数字内容项目。
49.请求108还能够包括与其他信息相关的数据，诸如用户已经提供的信息、指示提交请求的州或地区的地理信息、或者针对将显示数字内容的环境提供上下文的其他信息(例如，将显示数字内容的设备类型，诸如移动设备或平板设备)。用户提供的信息能够包括用户设备106的用户的人口统计数据。例如，人口统计信息能够包括年龄、性别、地理位置、教育水平、婚姻状况、家庭收入、职业、爱好、社交媒体数据以及用户是否拥有特定项目等特
征。
50.对于这里讨论的系统收集关于用户的个人信息或者可以利用个人信息的情况，可以向用户提供机会以控制程序或特征是否收集个人信息(例如，关于用户的社交网络、社交动作或活动、职业、用户的偏好或者用户的当前位置的信息)，或者控制是否和/或如何从内容服务器接收可能与用户更相关的内容。此外，在存储或使用某些数据之前，可能会以一种或多种方式对其进行匿名处理，从而去除个人身份信息。例如，用户的身份可能被匿名化，从而无法确定用户的身份信息，或者在获得位置信息的情况下用户的地理位置可能被概括(例如城市、邮政编码或州级)，从而无法确定用户的特定位置。因此，用户可以控制内容服务器如何收集和使用关于他或她的信息。
51.指定用户设备106的特征的数据也能够在请求108中提供，诸如识别用户设备106的型号、用户设备106的配置、或呈现电子文档的电子显示器(例如，触摸屏或桌面监视器)的大小(例如，物理大小或分辨率)的信息。请求108能够例如在分组网络上传输，并且请求108本身能够被格式化为具有报头和有效载荷数据的分组数据。报头能够指定分组的目的地并且有效载荷数据能够包括上面讨论的任何信息。
52.响应于接收到请求108和/或使用请求108中包括的信息，dcds110选择将与给定电子文档一起呈现的数字内容。在一些实施方式中，dcds 110在分布式计算系统(或环境)中实施，该分布式计算系统包括例如服务器和一组多个互连并响应于请求108来识别和分发数字内容的计算设备。该组多个计算设备一起操作以从数百万或更多可用数字内容的语料库中识别有资格在电子文档中呈现的一组数字内容。例如，能够在数字组成部分数据库112中索引数百万或更多的可用数字内容。每个数字内容索引条目能够引用对应数字内容和/或包括调节对应数字内容分发的分发参数(例如，选择准则)。
53.在一些实施方式中，来自数字组成部分数据库112的数字组成部分能够包括由第三方140提供的内容。例如，数字组成部分数据库112能够从使用机器学习和/或人工智能来导航公共街道的第三方140接收公共交叉路口的照片。在另一个示例中，数字组成部分数据库112能够从向骑车人提供服务的第三方140接收第三方140希望用户做出响应的特定问题。
54.合格数字内容的识别能够被分割成多个任务，然后在该组多个计算设备中的计算设备之间分配这些任务。例如，该组多个计算设备中的不同计算设备能够各自分析数字组成部分数据库112的不同部分，以识别具有与请求108中包括的信息相匹配的分发参数的各种数字内容。
55.dcds 110聚集从该组多个计算设备接收的结果，并且使用与聚集的结果相关联的信息来选择将响应于请求108而提供的数字内容的一个或多个实例。反过来，dcds 110能够生成并且通过网络102传输回复数据114(例如，表示回复的数字数据)，回复数据114使得用户设备106能够将所选择的数字内容集整合到到给定的电子文档中，使得所选的数字内容集和电子文档的内容一起呈现在用户设备106的显示器上。由dcds 110分发并且由回复数据114表示的数字内容能够包括例如征求用户输入的数字内容。该输入能够被分析、标记和存储为综合数据库的一部分，诸如标记数据库130。标记数据库130存储已经被分析和分类的标记数据。标记数据库130能够被搜索并且能够存储与用户相关的数据，包括用户人口统计信息、用户响应数据和其他用户特征。例如，标记数据库130能够存储用户的匿名人口统
计信息，并且将其与用户对先前呈现给用户的问题的响应相关联。来自用户的输入作为响应数据116从用户设备106传输到数据质量处理器120。
56.数据质量处理器120生成征求用户输入的数字内容，接收和处理用户输入数据，并且生成和修改设计空间和设计。数据质量处理器120包括任务处理器122、数据处理器124和模型生成器126。任务处理器122生成要分发给用户的任务。数据处理器124分析并标记响应于任务而接收的输入。模型生成器126基于来自诸如内容提供商、产品设计者和制造商等第三方的标记数据和输入来生成和修改设计空间和设计。为了便于解释，任务处理器122、数据处理器124和模型生成器126在图1中被示为数据质量处理器120的独立组件。数据质量处理器120能够被实施为计算机可读介质上的单个系统，该计算机可读介质可以是非暂时性的。在一些实施方式中，任务处理器122、数据处理器124和模型生成器126中的一个或多个可以被实施为单个系统的集成组件。
57.任务处理器122创建征求来自用户或任务的输入的数字内容。任务处理器122与dcds 110、电子文档服务器104和第三方140通信。数据质量处理器120能够从由任务处理器122直接发布的任务中或者从由诸如第三方140的第三方发布的任务中收集数据，该第三方向数据质量处理器120提供对其数据源的访问。任务能够包括要求不同交互级别的内容，从要求用户画一幅画的活动到只要求用户选择答案的问题，再到要求用户授予系统访问用户数据的权限的单击活动。在一些实施方式中，任务能够包括请求用户回答输入的问题。例如，呈现给用户的任务能够包括问题“你喜欢巧克力还是香草冰淇淋？”并且用户能够输入他们的答案或者从预先选择的答案中选择。在一些实施方式中，任务能够包括需要用户更多参与的活动。例如，呈现给用户的任务能够要求用户选择包括自行车的交通路口的图像的一个或多个部分，并且用户能够点击或以其他方式指示适当的部分。在一些实施方式中，任务能够包括认证协议挑战，诸如captcha或recaptcha。
58.除了生成提供给用户的任务之外，任务处理器122还能够修改任务。例如，任务处理器122能够修改先前已经提供给一个或多个用户的任务，并且修改该任务以收集不同的数据，询问更有针对性的问题，或者以其他方式改变任务的方向。任务处理器122及其输出将在以下进一步详细描述。
59.数据处理器124接收并处理数据以识别缺失的、不准确的、代表性不足的或不具代表性的数据，并且自动地确定数据质量改进解决方案。数据处理器124分析特定数据集，并且基于设计指南和其他输入来确定现有数据是否满足质量阈值。数据处理器124能够处理从用户设备接收的响应数据和现有的响应数据。例如，数据处理器124能够通过确定从45至54岁的消费者接收到的响应与其他年龄的消费者接收到的响应的比例，并将现有比例与野营背包目标市场的预期或现实比例进行比较，来确定存储在标记数据库130中的关于特定野营背包设计的现有用户响应数据是否包括来自该年龄消费者的代表性数量的响应。数据处理器124还能够确定是否已经探索了设计空间内的设计值，或者是否有关于这些值的足够数据。例如，数据处理器124能够通过将现有数量的用户响应与阈值数量的用户响应进行比较，来确定笔记本电脑上特定尺寸的轨迹板是否已经接收到足够数量的用户响应。
60.数据处理器124还能够接收和提取从数字内容分发过程中收集的数据。例如，数据分析器124能够接收请求数据108和回复数据114，以确定由请求数据108和回复数据114中指示的cookies所代表的用户的群体和特征。数据分析器124能够将人口统计和其他特征数
据存储在数据库中，诸如标记数据库130。在一些实施方式中，数据分析器124能够从标记数据库130中检索已经由其他系统分析和标记的数据。数据分析器124能够例如从标记数据库130中检索数据，该数据指示提供请求数据108和接收回复数据114的用户的人口统计数据。数据处理器124能够例如基于用户人口统计信息来分割数据。数据处理器124及其输出将在以下进一步详细描述。
61.除了上面的描述之外，可以向用户提供控制，允许用户选择是否以及何时本文描述的系统、程序或特征能够收集用户信息(例如，关于用户的社交网络、社交动作或活动、职业、用户的偏好或用户的当前位置的信息)，以及是否从服务器向用户发送内容或通信。此外，在存储或使用某些数据之前，可能会以一种或多种方式对其进行处理，以便去除个人身份信息。例如，可以处理用户的身份，从而不能确定用户的个人身份信息，或者在获得位置信息的情况下可以概括用户的地理位置(例如城市、邮政编码或州级)，从而不能确定用户的特定位置。因此，用户可以控制收集关于用户的什么信息、如何使用该信息以及向用户提供什么信息。
62.模型生成器126生成、修改和维护设计空间和模型。模型生成器126能够基于由数据处理器124提供的或者从标记数据库130中检索的数据来生成设计空间和/或模型。例如，模型生成器126能够基于由数据处理器124提供的数据来生成预测关于特定设计的用户偏好的行为模型。行为模型将主观因素映射为连续的语义形状作为人口统计信息的函数，创建了可用于在特定约束条件下优化设计的设计空间。
63.这种模型的输出范围能够从特定设计到对特定设计的预测用户响应。模型生成器126及其输出将在以下进一步详细描述。
64.以下描述的技术使系统能够连续地和自动地改进数据质量和探索设计空间。
65.图2a示出了图1的示例环境中的数据质量改进过程的示例数据流200。数据流200的操作由系统100的各种组件执行。例如，数据流200的操作能够由与dcds 110、用户设备106、第三方140和标记数据库130通信的数据质量处理器120来执行。
66.流程从步骤a开始，在该步骤中，数据质量处理器120的数据处理器124分析并且分割与用户群体相关联的数据集。在一些实施方式中，数据集是从标记数据库130中检索的现有数据。例如，该数据集能够包括响应于recaptcha的用户输入集，该recaptcha要求用户从照片网格中选择示出诸如自行车的一类交通工具的一部分的所有正方形。在另一个示例中，该数据集能够包括响应于询问用户他们通常每月在狗粮上花费多少的问题的用户输入集。用户输入能够与提供输入的用户的用户特征数据相关联。例如，用户特征数据能够包括人口统计数据和浏览历史，以及系统100可以访问并且系统100具有使用权限的其他数据。在另一个示例中，该数据集能够包括用户输入集，该用户输入集响应于一个问题，该问题要求用户在映射到诸如“实用”或“时尚”的主观描述符的手提包设计范围内，对他们购买特定手提包产品设计的可能性进行评级。
67.数据处理器124基于包括用户特征数据的各种参数对数据进行分割。例如，数据处理器124能够基于用户年龄、用户位置和/或用户兴趣，以及系统100可以访问并且系统100具有使用权限的其他用户特征数据，将该数据集划分成片段。在另一个示例中，数据处理器124能够基于数据本身的特征来分割数据。例如，数据处理器124能够基于产品设计的特定主观因素的值来划分数据集，诸如基于用户提供的反馈来感知手提包产品设计的“时尚”程
度。
68.流程继续到步骤b，在该步骤中，数据处理器124根据一个或多个度量来识别数据集的不足片段。在一些实施方式中，该度量由诸如产品设计者的第三方140提供。例如，该度量能够是用户响应的数量和做出响应的用户的目标人口统计信息。在一些实施方式中，度量是自动确定的。例如，该度量能够是作出响应的用户的群体比例的阈值差异，其中群体比例差异大于阈值差异的数据集可以被认为不代表征求响应的实际群体。在一个示例中，数据处理器124能够将车辆检测集中的自行车检测片段识别为粒度不足。
69.流程继续到步骤c，在该步骤中，任务处理器122基于所识别的片段，动态地改变要呈现给用户的任务。在一些实施方式中，任务处理器122动态地改变先前已经生成和/或呈现给用户的现有任务。在一些实施方式中，任务处理器122生成要呈现给用户的全新任务。任务处理器122能够响应于识别出片段来实时执行这种改变。例如，数据质量处理器120能够持续地监视数据集的质量并且基于接收到的新的和更新后的信息来更新其度量。
70.在一个示例中，任务处理器122通过修改网格系统以使用更小的正方形来提供更好的分辨率，来自动地改变要求用户选择包含自行车的一部分的所有正方形的先前分发的任务的一个方面。在步骤b中，数据处理器124自动地确定需要更大的粒度，并且使用该信息，任务处理器122能够将具有自行车的交叉路口照片分成更小的正方形。
71.数据质量处理器120基于对现有数据集的分析自动地修改或生成新任务，并且执行有助于生成任务的附加操作。例如，数据质量处理器120能够确定修改后的任务包括向用户提供视野中有自行车的交叉路口的照片数据。数据处理器122能够从第三方140接收交叉路口的特定照片数据。数据处理器122还能够自动地获取要作为任务的一部分提供的数据。例如，数据处理器122能够从例如标记数据库130中检索被标记为视野中至少有一辆自行车的公共交叉路口的照片数据。数据处理器122然后能够执行数据清理操作，包括擦除个人身份信息的数据、清理数据、以及调整数据使得数据可用，以及其他操作。例如，数据处理器122能够通过过滤掉视野中不包括自行车的图像、调整照明以及在图像中创建更大的动态范围等操作，来调整来自在公共交叉路口上对准的街道摄像机的现场照片流。数据处理器122能够执行复杂的数据处理操作，包括移除阻碍另一个对象的对象和增强特定对象的焦点，以及其他操作。
72.任务处理器122还能够基于所识别的片段来确定在分发任务之前必须满足的一个或多个分发参数。分发参数能够包括用户为了接受任务而必须具有的用户特征。例如，分发参数能够包括生活在美国西海岸的18至24岁之间的女性的特定人口统计信息。
73.任务处理器122能够改变任务，以例如对标记数据库130内的图像、视频或音频对象的空间的现有或新区域进行采样。任务处理器122还能够测试品牌信息的移除或添加以评估例如用户对品牌的反应或用户偏见。
74.流程继续到步骤d，在该步骤中任务处理器122将动态改变或生成的任务传输到dcds 110，以便分发给用户。例如，任务处理器122能够传输任务数据，该任务数据指示要呈现给用户的任务以及作为任务的一部分要呈现给用户的内容。任务处理器122能够包括为了将任务分发给特定用户而必须满足的分发参数。例如，任务处理器122能够包括可以向其呈现任务的目标用户的人口统计数据。
75.流程继续到步骤e，在该步骤中，dcds 110从用户设备106接收对内容的请求108。
当客户端设备与数字内容交互时，请求108由用户设备106传输到dcds 110。例如，如果用户设备106的用户点击链接来下载购物应用，则该链接能够使用户设备106向dcds 110传输请求108。请求108能够包括来自客户端设备106的交互跟踪数据。例如，请求108能够包括跟踪数据，诸如交互的指示、用户设备106与之交互的数字内容、以及唯一识别用户设备106的标识符。在一些实施方式中，请求108包括数字内容提供商的指示和托管所请求资源的目的地服务器的位置。
76.流程继续到步骤f，在该步骤中，dcds 110向用户设备106传输回复数据114。如上所述，回复数据114能够指示除了所请求的电子文档之外，满足特定分发参数的要分发给用户的任务。响应于dcds 110接收到请求108并且基于接收到的分发参数和请求108中指示的用户数据确定分发参数得到满足，dcds 110向用户设备106传输回复数据114。例如，dcds 110能够基于接收到的请求数据108来确定用户设备106的用户是居住在俄勒冈州的22岁女性，因此满足分布参数。dcds 110然后能够以回复数据114的形式向用户设备106传输所请求的电子文档和动态改变的任务。
77.流程继续到步骤g，在该步骤中，dcds 110从用户设备106接收响应数据116。响应于用户设备106的用户完成回复数据114中提供的任务，用户设备106将响应数据116传输到dcds 110。响应数据116包括用户信息，诸如人口统计数据、设备数据、关于用户响应的信息，并且包括响应于在回复数据114中提供的任务的用户输入。例如，响应数据116能够包括用户对包含自行车的一部分的正方形的选择、用户做出选择所花费的时间量、她的鼠标移动模式以及她的匿名人口统计数据、设备数据和浏览历史，所有这些都是她允许系统100访问的。响应数据能够包括由用户提供的关于任务、产品或设计的语义描述符。语义描述符能够包括提供关于诸如产品或设计的对象的语义信息的任何描述符。语义描述符能够由人类或人工智能生成，并且能够采取单词(例如，关键词或关键短语)、句子、符号或传达语义信息的其他描述符的形式。另外，语义描述符能够基于其他动作被分配给对象，该动作诸如是与呈现的信息(例如，照片或图标)交互，与评级元素(例如，产品评级工具)交互，或者提交关于对象的自由形式的文本反馈。dcds 110然后能够将该数据提供给数据处理器124用于分析和标记。
78.流程继续到步骤h，在该步骤中，数据处理器124分析来自用户设备106的响应数据116。数据处理器124能够分析响应数据116以对数据进行分类，并且使用用户的信息来标记数据，使得数据变得可搜索。例如，数据处理器124能够使用用户的人口统计信息、她做出选择所花费的时间量以及她选择的准确性(与正方形的真实值集合相比)来标记用户选择的正方形。
79.流程继续到步骤i，在该步骤中，数据质量处理器120将分析的数据提供给标记数据库130。数据处理器124能够提供标记数据以存储在标记数据库130中，使得该数据是可搜索的。
80.系统100能够连续地执行过程200，使得数据质量处理器120自动且持续地监视特定数据集中包括的数据的质量。因此，系统100保持并改进了综合数据库130中数据的质量，使得模型输出结果的准确性和完整性持续提高。因为系统100持续更新标记数据库130，所以系统提供了可搜索的数据库，系统100能够基于用户响应信息(诸如任务的结果)和用户信息从该数据库中检索内容，诸如图像、音频或视频实例。
81.该系统通过从代表不足或根本没有代表的用户人口统计信息中选择性地征求附加反馈来减少用户反馈分发中的偏差。
82.图2b和图2c描绘了模型训练过程。服务器250维护基线模型252和任务储存库254。基线模型252是用作基线行为模型的模型，并且能够被更新。任务储存库254维护一组能够分发给用户的任务。
83.设备a 260a、b 260b、
…
和n 260n(统称为设备260)中的每个分别包括模型a、b、
…
n 262a、262b、
…
262n(统称为模型262)。本地维护的模型262中的每个都能够基于由服务器250提供的任务和模型更新来更新和改进。
84.每个设备260n从用户270a、270b、
…
270n(统称为用户270)接收输入，向其显示信息，并且能够由用户270a、270b、
…
270n控制。例如，设备260能够向每个用户270提供如上所述的任务。任务能够从例如任务储存库254提供。响应于任务，每个用户270能够向设备260提供语义映射272a、272b、
…
272n(统称为语义映射272)。基于用户270提供的响应，设备260能够更新模型262。
85.在图2c中，模型训练模块256能够基于来自用户270提供的响应的信息生成更新后的基线模型258，并且将更新后的基线模型258提供给服务器250以替换或更新基线模型252。
86.图3示出了示例设计空间300。设计空间300是可能的设计值的概念世界的视觉表示。设计空间300能够由诸如图1所示的系统100之类的系统生成。例如，数据质量处理器120的模型生成器126能够基于来自标记数据库130的用户响应数据来生成设计空间300。
87.设计空间300能够是多维的。在该特定示例中，设计空间300包括两个维度，并且是作为响应于要求用户对各种包设计进行评级的问题而用户提交的数据的结果而生成的。在其他示例中，设计空间300能够包括不止两个维度，并且能够被表示为三维或多维模型。维度包括设计特征，诸如形状、颜色、纹理、大小或与另一个对象的相对距离等。
88.设计空间300用于可视地表示特定产品或服务的所有可能的设计。产品能够包括非耐用消费品和耐用消费品。例如，产品能够包括服装、化妆品、食品、家具和汽车等。
89.设计空间300能够受到各种约束的限制，这些约束的范围从设计在物理上是否可能被创建到设计的制造容易性再到设计者强制的约束。设计空间300能够受到从用户(诸如产品的目标受众)收集的数据的限制。例如，如果特定移动设备的目标消费者群体在该移动设备重量超过三磅时不会随身携带该移动设备，则设计空间300能够在其重量维度上受到限制。在一些实施方式中，设计空间300能够被数据和系统100做出的决策自动限制。例如，数据处理器124能够基于来自标记数据库130的用户响应数据来确定被调查的用户中没有一个对屏幕小于8英寸的笔记本计算机感兴趣，并且数据处理器124能够向模型生成器126提供对设计空间300的这种限制。
90.通过自动生成和修改设计空间300，该新系统减少了用于达到最终设计的时间和资源量。该系统能够将设计探索集中在根据由感兴趣的第三方指定的度量最可能富有成效的领域中。例如，数据质量处理器120能够自动地将包设计的设计探索集中在年龄在25岁和34岁之间的消费者(第三方包设计者和制造商140的目标人群)最有可能购买的区域。数据质量处理器120能够通过自动地生成落入用户最可能感兴趣的设计空间300内的包形状和设计，将针对用户响应数据的请求集中于被指示为25-34岁的被调查用户最感兴趣的包设
计。
91.在该特定示例中，设计空间300将语义属性映射到落入该空间的设计的几何特征。例如，设计空间300将语义属性“实用”和“时尚”映射到包设计的特定形状和形式，包括包设计302和304。这些语义属性是表示特定定性设计目标和人口统计信息的主观因素。基于来自标记数据库130的用户响应数据306和308，数据质量处理器120已经确定用户对混合了“实用”和“时尚”因素的包最感兴趣。在这个特定示例中，数据质量处理器120的数据处理器124已经分析了来自标记数据库130的用户响应数据，并且确定了对更“实用”并且至少有点“时尚”的包有很大的兴趣。使用该确定，模型生成器126能够将设计空间300限制为集中于超过某个阈值量的“时尚”和某个其他阈值量的“实用”的包设计。在一些实施方式中，模型生成器126能够自动地生成满足这些设计准则的设计，而无需来自设计者的进一步输入。在一些实施方式中，模型生成器126能够生成满足之前没有生成的“时尚”和“实用”阈值的包设计。例如，模型生成器126能够在没有来自第三方包设计者140的输入的情况下生成包设计312和314，并且设计312和314能够是新的、先前未知的包设计。
92.模型生成器126能够通过例如使用人工智能和机器学习技术使现有设计的特定几何特征变形以创建新的设计，从而基于初始的一组输入设计来生成新的设计，而无需附加信息。在一些实施方式中，模型生成器126能够生成不使用现有设计作为起点的全新设计。数据质量处理器120能够与设计程序集成，包括3d建模程序和计算机辅助设计(cad)程序以生成新的设计或修改现有的设计。
93.模型生成器126能够使用接受用户提供的信息作为输入的统计和/或机器学习模型。机器学习模型可以使用各种模型中的任何一种，诸如决策树、基于生成对抗网络的模型、深度学习模型、线性回归模型、逻辑回归模型、神经网络、分类器、支持向量机、归纳逻辑编程、模型套组(例如，使用诸如装袋、提升、随机森林等技术)、遗传算法、贝叶斯网络等，并且能够使用各种方法来训练，诸如深度学习、关联规则、归纳逻辑、聚类、最大熵分类、学习分类等。在一些示例中，机器学习模型可以使用监督学习。在一些示例中，机器学习模型使用无监督学习。
94.在一些实施方式中，能够使用概率模型，概率模型定义了给定产品设计或形状的属性的概率排名，或者给定一个或多个属性的产品设计或形状的概率排名。
95.模型生成器126允许设计者探索先前未被探索的设计空间的新领域，并且通过基于用户响应数据自动生成新设计来增加该设计将被用户良好接受的可能性，减少了具体针对特定产品需要执行的时间量和资源密集型反馈周期。然后，设计师能够选择特定的然后能够进行研究和测试的新设计。在一些实施方式中，概率排名能够用于定义一组候选，然后能够在未来的任务中测试该组候选以细化用户偏好。数据收集和设计生成过程将在以下进一步详细描述。模型生成器126允许系统100将相对于产品设计的用户行为要求表征为市场人口统计信息的函数。
96.模型生成器126能够使用各种类型的模型，包括能够用于所有用户的通用模型和能够用于共享一组特征的特定用户子集的定制模型，并且能够基于接收到的特定用户102的用户信息或基于检测到的活动来动态调整模型。例如，模型生成器126能够为用户使用基站网络，然后为每个用户定制模型。
97.在一些实施方式中，模型生成器126能够使用机器学习基于来自用户的主观反馈
来确定特定用户的目标函数。目标函数能够是简单的并且实施对产品设计的一般修改。当系统100收集用户响应数据时，系统100匿名化该数据并且将该数据提供给中央数据库，该中央数据库存储并分析所收集的数据以改进一般行为模型并且允许系统100针对每个用户102提供更个性化的策略。
98.例如，系统100能够利用特定年龄、位置、兴趣等的用户的一般简档。系统100能够跨被预测具有相似兴趣的用户来概括支持配置。在一些实施方式中，系统100接受来自用户的简档信息的输入，诸如用户的年龄、位置和兴趣以及其他参数。
99.系统100能够利用例如在一定程度上个性化的“鞋码”模型。例如，系统110能够使用特定年龄段的人、纽约的人、喜欢摩托车的人等一般简档。例如，如果多个用户指示相似的偏好，系统100能够确定是否存在匹配的产品。如果匹配的产品存在，系统100能够将产品返回给用户。如果匹配的产品不存在，系统100能够修改现有的产品设计或者生成新的设计。在一些实施方式中，系统100能够通过将特定用户映射到现有的用户群或用户段或者形成新的用户群或用户段来执行聚集个性化或聚类。系统100还能够用于识别特定用户中的产品或购买趋势。在一些实施方式中，系统100能够通过将用户映射到现有的客户段或产品或将用户的偏好映射到现有的特征集来执行聚集配置聚类。
100.此外，每个模型都可以被个性化。例如，通过基于从收集的数据确定的每个用户的特征来改变模型参数，能够从通用模型创建每个模型。对于特定的用户，每个模型能够在长时间段和短时间段内变化。例如，系统100能够跟踪用户对特定设计元素有多感兴趣，并且在确定用户已经失去兴趣时调整行为模型。在一些实施方式中，每个模型也能够从已经使用通用简档进行个性化并且针对每个用户进一步改变的模型来创建。例如，能够基于从收集的数据确定的每个用户的特征，通过改变模型参数来创建模型。
101.在一些实施方式中，模型能够在不使用基础模型的情况下被个性化。例如，用户响应数据能够被输入到模型生成器126并且被提供给产品设计者、制造商或设计程序，以映射到没有调整的产品配置。在一个示例中，模型生成器126允许用户立即购买特定项目，或者在特定项目可用时设置警报。
102.图4示出了图1的示例环境中的设计空间探索过程的示例数据流400。数据流400的操作由系统100的各种组件执行。例如，数据流400的操作能够由与dcds 110、用户设备106、第三方140和标记数据库130通信的数据质量处理器120来执行。
103.流程从步骤a开始，在该步骤中，数据质量处理器120的数据处理器124分析并且分割与用户群体相关联的数据集。在一些实施方式中，数据集是从标记数据库130中检索的现有数据。例如，该数据集能够包括一组用户对一个问题的响应，该问题要求用户相对于两个语义描述符以滑动标度对两种不同的包设计进行评级。用户输入能够与提供输入的用户的用户特征数据相关联。例如，用户特征数据能够包括人口统计数据和浏览历史，以及系统100可以访问和具有权限的其他数据。
104.流程继续到步骤b，在该步骤中，数据处理器124根据一个或多个度量来识别数据集的不足片段。这个步骤的细节能够在上面相对于步骤b的图2a的描述中找到。
105.流程继续到步骤c，在该步骤中，模型生成器126生成设计空间。如上相对于图3所述，设计空间是可能设计的总体的视觉表示。在一些实施方式中，模型生成器126简单地更新由第三方140提供的现有设计空间。例如，模型生成器126能够从第三方包设计者140接收
设计空间并且基于该数据集来更新设计空间。
106.模型生成器126还能够生成预测用户对特定设计的接受的行为模型。例如，模型生成器126能够利用人工智能和/或机器学习技术来生成行为模型，该行为模型输出对设计空间以及设计空间中最有可能被特定用户群体很好接受、不具有足够数量的数据点或者在特定人口统计部分中不具有代表性比例的用户的部分的评估，以及对特定度量的其他评估。
107.流程继续到步骤d，在该步骤中，数据处理器124使用行为模型来确定设计空间的一个或多个目标片段。例如，数据处理器124使用由模型生成器126在步骤c中生成的行为模型的输出来确定非常“时尚”但也非常“实用”的设计没有阈值数量的用户对该设计的反应，或者确定没有生成这样的设计。
108.流程继续到步骤e，在该步骤中，任务处理器122基于所确定的一个或多个片段，动态地改变要呈现给用户的任务。如上参考图2a所述，任务处理器122能够改变先前已经生成和/或呈现给用户的现有任务，或者生成要呈现给用户的全新任务。例如，任务处理器122能够生成非常“时尚”并且非常“实用”的新包设计，以呈现给用户用于反馈。
109.在一些实施方式中，模型生成器126能够显示两个或多个产品设计以允许用户可视化由模型产生的两个或多个产品实例之间的差异或变形。
110.在一些实施方式中，模型生成器126能够与计算机辅助生成设计程序集成，并且能够通过集成的程序来改进、修改或改变产品或服务包的设计。
111.流程继续到步骤f，在该步骤中，任务处理器122将动态改变或生成的任务传输到dcds 110以便分发给用户。这个步骤的细节能够在上面相对于步骤d的图2a的描述中找到。
112.流程继续到步骤g，在该步骤中，dcds 110从用户设备106接收针对内容的请求108。这个步骤的细节能够在上面相对于步骤e的图2a的描述中找到。
113.流程继续到步骤h，在该步骤中，dcds 110向用户设备106传输回复数据114。这个步骤的细节能够在上面相对于步骤f的图2a的描述中找到。
114.流程继续到步骤i，在该步骤中，dcds 110从用户设备106接收响应数据116。这个步骤的细节能够在上面相对于步骤g的图2a的描述中找到。
115.流程继续到步骤j，在该步骤中，数据处理器124分析来自用户设备106的响应数据116。这个步骤的细节能够在上面相对于步骤h的图2a的描述中找到。
116.流程继续到步骤k，在该步骤中，模型生成器126基于来自用户设备106的所分析的响应数据来更新设计空间和/或行为模型。模型生成器126能够基于来自用户的反馈来缩小或扩大设计空间。例如，模型生成器126能够丢弃已经被确定为具有阈值数量或百分比的用户响应并且具有小于阈值数量的肯定响应的设计空间的一部分。模型生成器126能够更新行为模型以反映更新后的数据集。例如，模型生成器126能够输入经分析的响应数据作为输入以训练预测用户对特定包设计的接受的行为模型。
117.数据质量处理器120还能够向标记数据库130提供经分析的数据。模型和设计空间更新能够与数据质量处理器120将经分析的数据传输到标记数据库130同时进行。在一些实施方式中，步骤k的这些部分能够异步执行。
118.系统100能够连续执行过程400，使得数据质量处理器120自动并且智能地探索设计空间。因此，系统100允许高效的设计开发，减少了生成和完成产品或服务的新设计所需的时间和资源量。
119.上面参考图1和图3至图4描述的系统自动地改变任务以提供数据质量改进。在一些实施方式中，数据质量处理器120能够基于指示例如数据本身的片段的特定特征的数据来改变任务，诸如缺乏对一种或多种类型的设计、对不同的图像位置、或对具有特定特征的图像以及其他因素的一致响应。在一些实施方式中，数据质量处理器120能够基于指示例如用户群中的特定特征的数据来改变任务，这些特定特征诸如是特定用户群花费异常短的时间量来完成任务，或者缺乏来自用户群的一致响应，以及其他因素。系统100基于消费者反馈来自动地创建产品设计并且获得关于这些设计的进一步反馈，允许符合消费者偏好和需求的创新设计，而无需设计和保持焦点组。借助更具代表性的数据，设计改进能够以更快的速度进行。此外，附加的反馈能够用作例如训练行为模型的网络的输入，以改进模型对什么构成正面示例或负面示例的分类。
120.图5a和5b描绘了数据流，其中系统使用行为模型来为用户生成任务。
121.图5a描绘了数据流500，其中系统具有用户同意以个性化用户在图1的示例环境中接收的任务。数据流500的操作由系统100的各种组件执行。例如，数据流400的操作能够由与dcds 110、用户设备106、第三方140和标记数据库130通信的数据质量处理器120来执行。
122.流程500开始于个人上传一个或多个设计原语和/或语义描述符，诸如关键词或表达用户偏好的方式，例如用户点击或文本输入(502)。上传的数据可以提供允许人类表达偏好、语义描述或评级的信息，这些信息可以使用正在设计的产品或服务的视觉或听觉元素或特征映射到给定的设计或更多。例如，市场研究人员能够向系统100提供背包的产品设计和与背包相关联的一组关键词，诸如“运动”、“功能”、“实用”和“专业”。设计原语能够用于产品或服务，并且能够包括物理产品和数字产品的设计。在另一个示例中，任务能够呈现设计、描述或特征以确定产品或服务的价值或价格。这些设计和/或关键词能够存储在例如产品设计和关键词的数据库中。这个人也可以上传决定哪些设计类或实例应该用哪些语义描述来显示的实验计划。实验计划还可以包括统计测量或其他指导准则，用于如何、何时或在何处显示给定的设计类型和语义描述。在一些实施方式中，设计和/或关键词能够存储在数字组成部分数据库112和/或标记数据库130中。
123.流程500继续，系统选择要提供给用户的内容的格式(504)。例如，系统100的dcds 110能够选择要提供给用户的内容的布局。布局能够包括例如可用的用户界面元素的类型和所提供的信息的类型。在一个示例中，dcds 110能够为内容选择布局，该布局包括在分发时要提供给用户的任务的滑块和单选按钮。在另一个示例中，格式布局可以包括一旦用户做出响应就提供给用户的奖励。
124.流程500继续，系统预处理数据并且验证要提供给用户的任务的正确性(506)。例如，数据质量处理器120的任务处理器122和数据处理器124能够预处理数据并且基于从(504)确定的布局来验证要提供给用户的任务的正确性。
125.流程500继续存储要提供给用户的预处理数据和经验证的任务(508)。在流程500中，系统100具有提供个性化内容的用户同意，因此预处理数据和经验证的任务能够基于用户信息被修改和/或被个性化。
126.流程500继续，网站或应用的用户与服务的内容交互(510)。例如，dcds 110能够选择要提供给网站或应用的特定用户的预处理数据和经验证的任务，如以上相对于图1所描述的，并且从用户与服务的内容的交互中接收用户输入。
127.流程500继续，存储用户的响应(512)。例如，dcds 110能够接收用户的响应，该响应包括用户信息，诸如在响应数据已经被数据质量处理器120的数据处理器124分析和处理之后的用户人口统计数据。经分析的响应数据能够由数据处理器124标记并且存储在标记数据库130中。
128.流程500继续，基于用户响应数据来构建一个或多个行为模型(514)。行为模型的示例包括使用线性或非线性函数近似(例如，深度学习使能的卷积神经网络)来将设计、设计特征、设计变形或基于图形的设计表示映射到语义描述或评级。可以使用允许从输入到输出的映射的可逆模型，反之亦然，或者能够使用多个模型将输入映射到输出，反之亦然。行为模型还可以包括与给定用户的响应一起存储的用户人口统计信息。例如，使用任务数据创建允许查看居住在伦敦的年龄在20到30岁之间的女性的服装设计反馈的模型。例如，行为模型可以将用户人口统计信息作为输入，或者本质上是概率性的，允许计算机针对给定的人口统计参数集来调节模型响应。例如，数据质量处理器120的模型生成器126能够基于用户响应数据来生成行为模型，如以上相对于图1至图4所述。模型或基于模型的分析还可以包括来自其他来源，诸如在线调查、定价和转换数据、销售归因模型、主题诊所和焦点组反馈的信息或输入。模型或基于模型的分析也可以使用从任务反馈中获得的定价信息。
129.流程500继续，基于一个或多个行为模型来分析和识别新的想法和/或概念(516)。例如，数据质量处理器120的模型生成器126能够基于行为模型的输出来分析和识别新的设计思想和/或新的设计概念。
130.流程500继续，探索和/或优化设计以生成新的设计和/或关键词或语义描述符或偏好(518)。例如，数据质量处理器120的模型生成器126能够使用设计空间来探索和/或优化设计以生成新设计或修改现有设计。模型生成器126还能够生成与设计相关联的新关键词。例如，模型生成器126能够基于所生成的行为模型来生成在当前营销材料中成为趋势或流行的新关键词，并且已经被显示为受用户欢迎。模型能够用于从语义描述或评级中生成设计，并且能够用于从给定的设计中生成语义描述或评级。模型能够用于探索或优化模型空间以识别新的设计或语义描述，并将其包含在未来的任务中。在图3中可以看到一个示例，其中模型空间被示为具有相对于与关键词(时尚和实用)相关联的两个轴定位的设计。在该示例中，对于实用占60％和时尚占40％的成本函数进行优化可以选择设计312。一个示例包括行为模型的使用，其包括定价反馈，从其中优化能够考虑设计权衡、成本和定价的任务中安全获得。这些新设计和/或关键词被提供给在(502)中引用的产品设计和关键词的数据库。在一些实施方式中，设计和/或关键词能够存储在数字组成部分数据库112和/或标记数据库130中。
131.图5b描绘了数据流550，其中系统没有用户同意以个性化用户在图1的示例环境中接收的任务。数据流550的操作由系统100的各种组件执行。例如，数据流550的操作能够由与dcds 110、用户设备106、第三方140和标记数据库130通信的数据质量处理器120来执行。
132.流程550紧随流程500。流程550开始于客户上传一个或多个设计原语和/或关键词(552)。这个步骤的细节能够在上面相对于(502)的图5a的描述中找到。
133.流程550继续，系统选择要提供给用户的内容的格式(554)。这个步骤的细节能够在上面相对于(504)的图5a的描述中找到。
134.流程550继续，系统预处理数据并且验证要提供给用户的任务的正确性(556)。这
个步骤的细节能够在上面相对于(506)的图5a的描述中找到。
135.流程550继续，存储要提供给用户的预处理数据和经验证的任务(558)。在流程550中，系统100不具有提供个性化内容的用户同意，因此预处理数据或经验证的任务都不基于用户信息被修改或被个性化。
136.流程550继续，网站或应用的用户与服务的内容交互(560)。这个步骤的细节可以在上面相对于(510)的图5a的描述中找到。
137.流程550继续，存储用户的响应(562)。例如，dcds 110能够接收用户的响应，该响应可以包括用户信息，诸如在响应数据已经被数据质量处理器120的数据处理器124分析和处理之后的用户人口统计数据。如果包括用户信息，dcds 110能够移除用户信息。在一些实施方式中，不提供用户信息，因为系统100不具有访问用户信息的用户同意。所分析的响应数据能够由数据处理器124标记并且存储在标记数据库130中。
138.流程550继续，基于用户响应数据构建一个或多个行为模型(564)。这个步骤的细节可以在上面相对于(514)的图5a的描述中找到。
139.流程550继续，基于一个或多个行为模型来分析和识别新的想法和/或概念(566)。这个步骤的细节可以在上面相对于(516)的图5a的描述中找到。
140.流程550继续，探索和/或优化设计以生成新的设计和/或语义描述符(568)。这个步骤的细节可以在上面相对于(518)的图5a的描述中找到。
141.图6a和图6b描绘了其中系统将用户反馈整合到设计周期中的数据流。图6a和图6b建立在图5a和图5b所示的数据流上。在一些实施方式中，系统100具有用户同意以个性化内容。在一些实施方式中，系统100没有用户同意以个性化内容。
142.图6a描绘了数据流600，其中系统将用户反馈集成到设计周期中，服从图1的示例环境中的设计者输入。数据流600的操作由系统100的各种组件执行。例如，数据流600的操作能够由与dcds 110、用户设备106、第三方140和标记数据库130通信的数据质量处理器120来执行。
143.流程600紧随流程500或550。流程600开始于个人选择任务格式并且上传设计原语和语义描述符(602)。这个步骤的细节能够在上面相对于(502)的图5a或相对于(552)的图5b的描述中找到。例如，用户能够将设计图原语或设计形状以及相关联的关键词上传到数据库。该数据库存储初始产品设计形状和关键词，以及基于查看任务的用户的响应的任何更新。例如，数据库能够基于步骤618来存储更新。
144.流程600继续，系统选择要提供给用户的内容的格式(604)。这个步骤的细节能够在上面相对于(504)的图5a或相对于(554)的图5b的描述中找到。存储中的原语和语义描述符的格式由人选择，或者能够由系统自动配置。
145.流程600继续，系统预处理数据并且验证要提供给用户的任务的正确性(606)。这个步骤的细节能够在上面相对于(506)的图5a或相对于(556)的图5b的描述中找到。数据可以被预处理，例如，以识别对于特定设计形状可用的一组关键词。此外，可以针对给定格式或用户的期望受众来验证数据的适当性或正确性。在一些实施方式中，任务可能与特定的国家、地理或人口统计特征相关。例如，对于美国和欧洲的大部分地区的非法语用户来说，解释法语语言描述可能不是相关的任务。这些任务能够与通过互联网或应用分发的内容一起存储和提供。
146.流程600继续，存储要提供给用户的预处理数据和经验证的任务(608)。这个步骤的细节能够在上面相对于(508)的图5a或相对于(558)的图5b的描述中找到。
147.流程600继续，网站或应用的用户与服务的内容交互(610)。这个步骤的细节能够在上面相对于(510)的图5a或相对于(560)的图5b的描述中找到。例如，用户与内容进行交互并且发出任务请求。然后，用户能够与任务进行交互，提供响应。例如，用户可以为产品设计的照片或图像选择最合适的关键词或标签。
148.流程600继续，存储用户的响应(612)。这个步骤的细节能够在上面相对于(512)的图5a或相对于(562)的图5b的描述中找到。在一些实施方式中，仅记录响应。在一些实施方式中，可以存储响应和用户人口统计数据。
149.流程600继续，基于用户响应数据来构建一个或多个行为模型(614)。这个步骤的细节能够在上面相对于(514)的图5a或相对于(564)的图5b的描述中找到。例如，模型能够将关键词和语义描述符映射到特定的设计形状或几何图形。在另一个示例中，模型将产品特征映射到其他特征的优选套组，或者将产品映射到其他产品的优选套组。这些模型还能够将设计特征或决策映射到客户偏好和值。
150.流程600继续基于一个或多个行为模型来分析和识别新的想法和/或概念(616)。这个步骤的细节能够在上面相对于(516)的图5a或相对于(566)的图5b的描述中找到。例如，分析和识别模型以生成可用于帮助确定新任务的数据和结果。
151.流程600继续，探索和/或优化设计以生成新的设计和/或关键词(618)。这个步骤的细节能够在上面相对于(518)的图5a或相对于(568)的图5b的描述中找到。例如，响应于该分析，系统能够使用该数据来探索和优化或修改任务内容、格式或消息传递。任何与模型、分析、设计决策和优化相关的学习、修改和更新都存储在数据库中。
152.流程600包括将行为模型加载到基于cad的设计工具中，并且基于行为模型做出产品设计决策(620)。在一些实施方式中，人类设计者能够向基于cad的设计工具提供输入和/或提供产品设计决策。例如，人类设计者能够在头脑中隐含地具有期望的语义描述的结果，并且能够形成基于cad的设计工具的输出以及由模型生成器126做出的自动生成的产品设计决策。基于cad的设计工具还能够接收由例如人类设计者、产品制造商或客户提供的约束和规范。在一些实施方式中，捕捉用户反馈或行为的模型能够直接或间接地用于计算机辅助设计决策和制造生产。这些模型能够用于分析或修改设计。
153.流程600继续，产生修改后的设计形状(622)。例如，模型生成器126能够使用行为模型和产品的设计空间来产生修改后的设计形状。在一些实施方式中，模型能够将关键词描述映射到实际的3d产品设计，并且设计者能够使用关键词描述和用户反馈以产生新的或修改后的设计。该设计能够被表示为显式的形状、表示给定形状的形状或变形的数据结构或者形状图。在一个示例中，设计者使用模型来创建或修改基于其他产品的设计，该设计可能被出售或捆绑。这个循环可以重复直到满足产品需求或发布准则为止。如果它们被满足，则设计被提供为规范、制造方向、配方或引导或指导制造过程的方法。所得产品能够发送给提供反馈的原始用户，或者提供给仓库或商店以分发给顾客。在一些实施方式中，该方法能够以手动方式提供，其中信息被提供给做出决策的人。在一些实施方式中，该方法能够用于根据约束、规范或引导设计朝向更好状态的成本函数来自动修改设计。在一些实施方式中，这种方法能够使用混合方式，其中一些步骤由人工完成而一些是自动完成的。
154.流程600继续，确定修改后的设计形状是否满足发布准则(624)。例如，模型生成器126能够基于来自例如产品设计者、制造商、发货商等的发布准则来确定设计形状是否适合发布或制造。
155.流程600能够可选地包括制造和运输具有修改后的设计形状的产品(626)。例如，设计流程能够与产品的制造和分销工作流程相集成。在一些实施方式中，产品能够被分发给仓库、商店，并且直接分发给具有与提供初始响应的用户相似的偏好的用户，诸如在其他共享分组中的相同组、集群、位置或用户群内的其他用户。
156.图6b描绘了数据流650，其中系统将用户反馈集成到设计周期中以在图1的示例环境中自动地生成新的设计。数据流650的操作由系统100的各种组件执行。例如，数据流650的操作能够由与dcds 110、用户设备106、第三方140和标记数据库130通信的数据质量处理器120来执行。
157.流程650的关键特征是，生成式设计可以用于增强人类设计者的视野，并且在一些实施方式中，能够基于期望的结果完全取代人类设计者。
158.流程650紧随流程500、550或600。流程650开始于客户上传一个或多个设计原语和/或关键词(652)。该步骤的细节能够在以上相对于(502)的图5a、相对于(552)的图5b或相对于(602)的图6a的描述中找到。
159.流程650继续，系统选择要提供给用户的内容的格式(654)。该步骤的细节能够在以上相对于(504)的图5a、相对于(554)的图5b或相对于(604)的图6a的描述中找到。
160.流程650继续，系统预处理数据并且验证要提供给用户的任务的正确性(656)。该步骤的细节能够在以上相对于(506)的图5a、相对于(556)的图5b或相对于(606)的图6a的描述中找到。
161.流程650继续，存储要提供给用户的预处理数据和经验证的任务(658)。该步骤的细节能够在以上相对于(508)的图5a、相对于(558)的图5b或相对于(608)的图6a的描述中找到。
162.流程650继续，网站或应用的用户与服务的内容交互(660)。该步骤的细节能够在以上相对于(510)的图5a、相对于(560)的图5b或相对于(610)的图6a的描述中找到。
163.流程650继续，存储用户的响应(662)。该步骤的细节能够在以上相对于(512)的图5a、相对于(562)的图5b或相对于(612)的图6a的描述中找到。
164.流程650继续，基于用户响应数据来构建一个或多个行为模型(664)。该步骤的细节能够在以上相对于(514)的图5a、相对于(564)的图5b或相对于(614)的图6a的描述中找到。
165.流程650继续，基于一个或多个行为模型来分析和识别新的想法和/或概念(666)。该步骤的细节能够在以上相对于(516)的图5a、相对于(566)的图5b或相对于(616)的图6a的描述中找到。
166.流程650继续，探索和/或优化设计以生成新的设计和/或语义描述符(668)。该步骤的细节能够在以上相对于(518)的图5a、相对于(568)的图5b或相对于(618)的图6a的描述中找到。
167.流程650包括将行为模型加载到基于cad的设计工具中并且基于行为模型来做出产品设计决策(670)。在一些实施方式中，生成式设计过程能够用于根据期望的准则或成本
函数来自动地产生或修改设计。这种生成式设计过程能够向基于cad的设计工具提供输入和/或提供产品设计决策。例如，生成式设计系统能够基于期望的结果来确定或接收适当的成本函数。基于cad的设计工具还能够接收由例如人类设计者、产品制造商或客户提供的约束和规范。例如，人工智能方法能够与迭代生成设计一起使用以搜索设计空间并产生满足规范以及行为模型结果的设计。
168.流程650继续，产生修改后的设计形状(672)。这个步骤的细节能够在上面相对于(622)的图6a的描述中找到。
169.流程650继续，确定修改后的设计形状是否满足发布准则(674)。这个步骤的细节能够在上面相对于(624)的图6a的描述中找到。
170.流程650能够可选地包括制造和运输具有修改后的设计形状的产品(676)。这个步骤的细节能够在上面相对于(626)的图6a的描述中找到。
171.在一个示例中，任务能够包括向用户展示两种不同的产品，例如鞋，并询问用户哪几双鞋更好地搭配所展示的服装。例如，服装能够是套装。服装能够包括多件不同的服装并且要求用户选择套组。
172.在一个示例中，任务能够包括用户配置或修改设计以及征求关于如何创建新产品或改进现有产品的反馈的方式。然后，改进后的产品能够在新任务中提供给用户，用户能够迭代地改进产品设计。
173.在一个示例中，任务能够包括向用户显示两种不同的产品设计，诸如汽车设计，并且为用户提供反馈机制，诸如滑块或按钮，以提供用户对给定属性的信任程度的评级，诸如主观产品设计描述符(或形容词)“紧凑”描述了每种设计。
174.能够自动地驱动计算机辅助设计过程以根据准则和规范来生成和修改设计。成本函数可用于在约束和规范内权衡设计准则或因素。行为模型可以与成本函数一起使用以在约束、规范或制造规则内最大化用户偏好。例如，生成式设计方法能够用于在行为模型和成本函数或决策准则的指导下跨设计空间迭代。生成式设计的使用包括使用ai和强化学习跨许多设计决策进行迭代，这些决策是允许的或在规范或约束范围内，但可能代表不同的客户偏好，诸如汽车的车身风格或跑鞋的颜色组合。生成算法方法包括一个或多个进化算法、变分自动编码器和生成对抗网络。这些方法能够利用云计算来迭代大量的设计迭代，以优化单个客户、客户群或多个客户群。可以使用的算法的示例包括进化算法，其包括进化给定设计或创建多个设计的混合的遗传算法。在一些实施方式中，系统能够使用输入多个现有设计来产生全新设计的生成式对抗网络。这些方法能够迭代产生新的设计，任务将新的设计呈现给用户以提供相关反馈。整个过程可以自动迭代和优化以产生新的设计。在一些实施方式中，该系统能够使用机器人或3d打印集成到自动化制造流程中。在一些实施方式中，该系统能够用于基于用户或用户群提供的偏好来为他们个性化产品。
175.变分自动编码器和相关的生成式对抗网络能够与任务产生的行为模型一起使用以发展新的设计，然后将新的设计馈入系统以获得附加的用户反馈。系统迭代并且被评分，直到达到由成本函数定义的停止准则为止。
176.变分自动编码器能够与表示为图像、形状、形状相关数据结构、形状相关图形或多边形数据的设计库一起使用。变分自动编码器可用于创建一组有效地表示描述给定设计的一组缩减的特征的潜在因素。一旦变分自动编码器被训练，设计被编码成它的潜在因素，然
后被解码成它的重构设计。在一个示例中，现有的设计表示库能够用于构建初始映射以加速收敛。使用基于任务的反馈开发的行为模型能够用于将给定的重构设计表示映射到用户特征或分类。在一些实施方式中，用户分类能够是好(优选)对差(非优选)的评分。基于用户/人的表征能够与成本函数一起使用来创建数学表示或分数，优化器能够使用该数学表示或分数来创建或改进设计。优化器的输出是与潜在因素描述相关联的设计类型。优化甚至可以使用基因突变或交叉来创建新的潜在因素。新的潜在因素能够通过解码器/生成器来产生能够插入到新任务中的新设计表示。设计、潜在因素和关键词都形成了设计和距离度量的空间，在创建向用户展示的新任务时，这些空间能够用于将一个设计与另一个设计相关联或聚类在一起。该系统能够围绕设计空间自动地迭代，直到基于成本的评分收敛非常小为止，其中产生的潜在因素满足停止准则或者修改。在这一点上，设计被认为是完成的并且准备生产。
177.在另一实施方式中，创建或优化设计能够包括创建设计空间的数学表示，其中每个汽车或服装设计由空间的每个维度定义的设计特征来表示。n维特征空间在n空间中表示。在许多情况下，这个空间能够被转换成更低维度的空间。在其他情况下，距离度量能够用于将设计实例聚类或分段成类。能够计算和存储从每个设计实例或类到另一个实例或类的距离。行为模型表示设计实例与任务评估者/用户的一组关键词或语义描述之间的映射。能够探索这种映射以找到与迄今为止评定的最有希望的设计相似的设计(优化)或与那些设计不相似的设计(探索)，从而发现和探索设计空间的新部分。该系统能够与基于距离的聚类方法一起使用，例如k最近邻或协同过滤，以定义显示给用户的未来任务的设计实例。
178.图7a和图7b描绘了其中系统实施用户反馈以定制现有设计和产品的数据流。
179.图7a描绘了数据流700，其中系统在图1的示例环境中实施用户反馈以修改现有设计和产品。数据流700的操作由系统100的各种组件执行。例如，数据流700的操作能够由与dcds 110、用户设备106、第三方140和标记数据库130通信的数据质量处理器120来执行。
180.数据流700能够与各种制造过程集成，包括3d打印或自动制造。
181.流程700紧随流程500、550、600或650。流程700开始于客户上传一个或多个设计原语和/或关键词(702)。该步骤的细节能够在以上图5a相对于(502)、图5b相对于(552)、图6a相对于(602)或图6b相对于(652)的描述中找到。
182.流程700继续，系统选择要提供给用户的内容的格式(704)。该步骤的细节能够在以上图5a相对于(504)、图5b相对于(554)、图6a相对于(604)或图6b相对于(654)的描述中找到。
183.流程700继续，系统预处理数据并且验证要提供给用户的任务的正确性(706)。该步骤的细节能够在以上图5a相对于(506)、图5b相对于(556)、图6a相对于(606)或图6b相对于(656)的描述中找到。
184.流程700继续，存储要提供给用户的预处理数据和经验证的任务(708)。该步骤的细节能够在以上图5a相对于(508)、图5b相对于(558)、图6a相对于(608)或图6b相对于(658)的描述中找到。
185.流程700继续，网站或应用的用户与服务的内容交互(710)。该步骤的细节能够在以上图5a相对于(510)、图5b相对于(560)、图6a关于(610)或图6b相对于(660)的描述中找到。
186.流程700继续，存储用户的响应(712)。该步骤的细节能够在以上图5a相对于(512)、图5b相对于(562)、图6a相对于(612)或图6b相对于(662)的描述中找到。
187.流程700继续，基于用户响应数据来构建一个或多个行为模型(714)。该步骤的细节能够在以上图5a相对于(514)、图5b相对于(564)、图6a相对于(614)或图6b相对于(664)的描述中找到。
188.流程700继续，基于一个或多个行为模型来分析和识别新的想法和/或概念(716)。该步骤的细节能够在以上图5a相对于(516)、图5b相对于(566)、图6a相对于(616)或图6b相对于(666)的描述中找到。
189.流程700继续，探索和/或优化设计以生成新的设计和/或语义描述符(718)。该步骤的细节能够在以上图5a相对于(518)、图5b相对于(568)、图6a相对于(618)或图6b相对于(668)的描述中找到。
190.流程700包括使用行为模型来识别具有最接近行为模型所识别的设计的特征的现有产品或产品套组(720)。在一些实施方式中，模型生成器126能够访问数据库或其他可搜索结构，该数据库或其他可搜索结构存储具有或不具有预先存在的关键词描述的现有产品设计和特征。
191.流程700继续，产生修改后的设计形状(722)。该步骤的细节能够在以上图6a相对于(622)的或图6b相对于(672)的描述中找到。
192.流程700继续，确定修改后的设计形状是否满足发布准则(724)。这个步骤的细节能够在上面图6a相对于(624)或图6b相对于(674)的描述中找到。
193.流程700能够可选地包括制造和运输具有修改后的设计形状的产品(726)。这个步骤的细节能够在上面图6a相对于(626)或图6b相对于(676)的描述中找到。
194.在一个示例中，任务包括显示产品设计的套组。例如，产品设计的套组能够包括用于不同项目类型的不同产品设计，诸如室内家具(例如，用于椅子、桌子、床、配件、艺术品等的设计)，并且要求用户选择不同的产品设计和不同的项目类型中用户认为哪些在一起看起来在视觉上有吸引力。在一些实施方式中，用户反馈能够在后续任务中用于测试现有的并且形成新的营销策略，诸如交叉销售和向上销售策略。
195.在另一个示例中，任务包括供用户设计或配置产品(诸如鞋或汽车)的方式，以及供用户接收产品或供制造商制造产品并将其运送给用户的方式。例如，用户能够通过反馈机制提供输入以指示新的设计或使用一组预定特征值配置的设计。
196.在另一示例中，任务包括用户修改现有产品设计并让制造商向用户提供(例如，使用3d打印机)定制产品的方式。例如，用户能够通过反馈机制提供输入以指示对现有设计的修改。
197.图7b描绘了数据流750，其中系统实施用户反馈以在图1的示例环境中定制软件设计和产品。数据流750的操作由系统100的各种组件执行。例如，数据流750的操作能够由与dcds 110、用户设备106、第三方140和标记数据库130通信的数据质量处理器120来执行。
198.数据流750使用语义行为模型来配置软件产品以适合例如特定用户、用户群或组等。在一个示例中，数据流750用于创建具有基于用户信息选择或定制的角色、武器、环境和/或情形以及其他特征的微型游戏。
199.流程750紧随流程500、550、600、650或700。流程750开始于客户上传一个或多个设
计原语和/或语义描述符(752)。该步骤的细节能够在以上图5a相对于(502)、图5b相对于(552)、图6a相对于(602)、图6b相对于(652)或图7a相对于(702)的描述中找到。
200.流程750继续，系统选择要提供给用户的内容的格式(754)。该步骤的细节能够在以上图5a相对于(504)、图5b相对于(554)、图6a相对于(604)、图6b相对于(654)或图7a相对于(704)的描述中找到。
201.流程750继续，系统预处理数据并且验证要提供给用户的任务的正确性(756)。该步骤的细节能够在以上图5a相对于(506)、图5b相对于(556)、图6a相对于(606)、图6b相对于(656)或图7a相对于(706)的描述中找到。
202.流程750继续，存储要提供给用户的预处理数据和经验证的任务(758)。该步骤的细节能够在以上图5a相对于(508)、图5b相对于(558)、图6a相对于(608)、图6b相对于(658)或图7a相对于(708)的描述中找到。
203.流程750继续，网站或应用的用户与服务的内容交互(760)。该步骤的细节能够在以上图5a相对于(510)、图5b相对于(560)、图6a相对于(610)、图6b相对于(660)或图7a相对于(710)的描述中找到。
204.流程750继续，存储用户的响应(762)。该步骤的细节能够在以上图5a相对于(512)、图5b相对于(562)、图6a相对于(612)、图6b相对于(662)或图7a相对于(712)的描述中找到。
205.流程750继续，基于用户响应数据来构建一个或多个行为模型(764)。该步骤的细节能够在以上图5a相对于(514)、图5b相对于(564)、图6a相对于(614)、图6b相对于(664)或图7a相对于(714)的描述中找到。
206.流程750继续，基于一个或多个行为模型来分析和识别新的想法和/或概念(766)。该步骤的细节能够在以上图5a相对于(516)、图5b相对于(566)、图6a相对于(616)、图6b相对于(666)或图7a相对于(716)的描述中找到。
207.流程750继续，探索和/或优化设计以生成新的设计和/或语义描述符(768)。该步骤的细节能够在以上图5a相对于(518)、图5b相对于(568)、图6a相对于(618)、图6b相对于(668)或图7a相对于(718)的描述中找到。
208.流程750包括使用行为模型来配置软件或数字产品以根据用户的偏好进行个性化或定制(770)。在一些实施方式中，使用配置器来个性化软件产品。在一些实施方式中，软件产品能够是微型游戏。在一些实施方式中，软件产品能够嵌入在网页或应用中。
209.例如，如果用户信息指示特定用户喜欢《星球大战》特许经营权并且软件产品是微型游戏，则数据质量处理器120，特别是模型生成器126能够在用户和卢卡斯影业的许可下，修改微型游戏以包括星球大战系列的角色、音频、项目等。
210.在另一个示例中，游戏开发者采用可能具有许多级别、角色、武器的现有的或新的游戏，并且允许用户通过任务来选择能够使用用户反馈来配置的部分，以允许一小部分可以通过在线或可下载的形式来玩。
211.流程750继续，确定修改后的游戏设计是否满足发布准则(772)。这个步骤的细节能够在以上图6a相对于(624)、图6b相对于(674)或图7a相对于(724)的描述中找到。
212.流程750能够可选地包括向与系统交互的用户分发或提供具有修改后的游戏设计的下载选项，并向其他用户提供反馈(774)和修改后的游戏设计的实际交付(775)。该步骤
的细节能够在以上图6a相对于(626)、图6b相对于(676)或图7a相对于(726)的描述中找到。
213.在一个示例中，任务包括向用户显示与游戏应用相关的两个不同的软件游戏角色或属性，诸如窗口大小，并询问用户对哪个更感兴趣。在一些示例中，该方法还能够包括为用户提供下载预先配置有所选角色或属性的软件。在另一个示例中，该方法能够包括为在线玩游戏的用户提供预先配置有所选择的角色或属性的软件。在另一示例中，通过来自一个或多个用户的任务反馈来创建行为模型以设计诸如应用或游戏之类的新软件，这些新软件可以具有针对一个或多个用户人口统计定制的角色、设置、背景的多种形式。在另一示例中，多个用户能够使用任务来协作地设计被插入到用户可以访问的多玩家游戏环境中的游戏特征。
214.流程750能够可选地包括向除了与系统交互的用户之外的用户分发或提供具有修改后的游戏设计的下载选项，并且向其他用户提供反馈(776)和修改后的游戏设计的实际交付(777)。实施细节与(774)相同。
215.图7c是具体的示例，其中系统将用户反馈实施到设计周期中，如相对于图7b所描述的。该系统能够接收诸如软件标题之类的产品(780)。例如，系统能够接收游戏或应用。系统能够识别产品的属性和资产。例如，系统能够确定游戏的属性，包括角色、武器、场景、环境、关键词等。该系统能够识别游戏的资产，其包括缩略图、演示版本、多种配置、使用/游戏视频、评论、描述、关键词、超随意版本等。能够向用户呈现游戏的属性(782)。例如，能够向用户呈现角色a、角色b、武器a和武器b。用户能够做出他们的选择并且选择玩游戏。能够向用户呈现游戏的资产(783)。例如，能够向用户呈现缩略图1和缩略图2以及要求用户输入的两个滑块。第一个滑块询问“这个标签是哪个游戏：
‘
角色扮演
’”
，用户能够将滑块拖动到表示他们答案的一侧。第二个滑块询问“这个标签是哪个游戏：
‘
拼图
’”
。
216.图7d是一个具体的示例，其中系统将用户反馈实施到设计周期中，如相对于图7b所描述的。用户能够与任务交互以选择设置或配置偏好(784)。能够向用户呈现任务相关的ui元素(785)。能够使用(786)-(788)所概述的流程来配置游戏或应用。例如，该流程能够包括设置、配置或游戏状态描述，诸如角色/皮肤、库存/装载、设置/环境、任务(786)。这些设置和配置可被加密以控制使用并限制对子游戏的许可。然后，引擎能够获取输入并使用设置、配置或游戏状态描述来产生可用且可行的环境(787)。然后，游戏或应用能够是配置的/个性化的体验(788)。所配置的游戏或应用能够通过任务相关的ui元素(789)提供给用户。用户然后能够接收或下载配置的游戏或应用(790)。用户能够是与(784)中的任务交互的同一用户，也可以是不同的用户。
217.图7e是一个具体示例，其中系统将用户反馈实施到设计周期中，如相对于图7b所描述的。用户能够与任务交互以选择设置或配置偏好(791)。能够向用户呈现任务相关的ui元素(792)。能够使用(793)-(795)概述的流程来配置游戏或应用。例如，该流程能够包括设置、配置或游戏状态描述，诸如角色/皮肤、库存/装载、设置/环境、任务(793)。这些设置和配置可被加密以控制使用并限制对子游戏的许可。引擎然后能够将用户设置、配置或游戏状态偏好映射到来自库的预配置或预编译的游戏/应用(794)。然后，游戏或应用能够是配置的/个性化的体验(795)。所配置的游戏或应用能够通过任务相关的ui元素(796)提供给用户。用户然后能够接收或下载配置的游戏或应用(797)。用户能够是与(791)中的任务交互的同一用户，也可以是不同的用户。
218.图7f是其中系统使用自动编码器将用户反馈实施到设计反馈中的特定示例。如上所述，自动编码器能够与设计库一起使用，并用于创建有效地表示描述给定设计的一组缩减的特征的一组潜在因素。该系统能够访问设计表示的库，包括形状、图像、图表、数据结构等(a)。然后，该系统能够使用有效地表示描述该设计的一组特征的一组潜在因素来生成重构的设计(b)。该系统能够从原始数据或从进化的潜在因素或改进的设计特征来自动地创建汽车设计(c)。系统能够从通过用户定义的任务创建的行为模型来接收结果(d)。该系统能够使用行为模型以及语义表征形式的汽车设计的用户分类(例如，运动型、家庭型、紧凑型)(e)。该系统使用基于成本函数的评分方法(f)并且执行优化以创建新的特征向量来自动地创建设计对象(g)。如果优化收敛于一组特定标准，则该方法结束(h)。
219.图8是用于数据质量改进的示例过程800的流程图。在一些实施方式中，过程800能够由一个或多个系统来执行。例如，过程800能够由图1至图2和图4的数据质量处理器120、dcds 110、用户设备106和第三方140来实施。在一些实施方式中，过程800能够被实施为存储在计算机可读介质上的指令，该计算机可读介质可以是非暂时性的，并且当该指令由一个或多个服务器执行时，该指令能够使一个或多个服务器执行过程800的操作。
220.过程800开始于从用户设备接收针对用于在用户设备处呈现的数字组成部分的请求(802)。例如，系统100能够从用户设备106接收请求108。
221.过程800继续，基于用户提供的一个或多个信息或包含在对数字组成部分的请求中的信息来确定用户的一个或多个属性(804)。如以上相对于图2a所讨论的，数据处理器124能够基于用户提供的信息，诸如用户简档或包含在请求中的信息，来确定用户的一个或多个属性。例如，用户简档中提供的信息能够包括用户的年龄、性别、兴趣和位置等特征。包含在请求108中的信息能够包括匿名信息或不能用于识别用户的信息，并且能够包括例如生成请求108的网站和用户导航到的目的地网站。在一个示例中，数据处理器124能够确定用户是年龄大于65岁的男性。
222.过程800通过识别对应于用户的一个或多个属性的行为模型来继续(806)。例如，模型生成器126能够基于用户的一个或多个属性来识别预测用户行为的行为模型。在一个示例中，模型生成器126能够识别65岁以上男性的行为模型。
223.过程800继续，基于所识别的对应于用户的一个或多个属性的行为模型来动态地改变由数字组成部分描绘的项目的呈现(808)。例如，任务处理器122和/或数据处理器124能够基于所识别的对应于用户的一个或多个属性的行为模型，动态地修改由数字组成部分描绘的项目的呈现，诸如任务问题。在一个示例中，任务处理器122能够基于年龄大于65岁的男性的行为模型来修改关于任务中描绘的马克杯设计的任务问题。
224.在一些实施方式中，任务处理器122针对征求来自用户的关于该项目的反馈的数字组成部分来选择征求反馈的格式。例如，任务处理器122选择用户对特定马克杯设计的反应的形式。
225.在一些实施方式中，数据质量处理器120基于所识别的对应于用户的一个或多个属性的行为模型来动态地改变由数字组成部分描绘的项目的呈现，包括使用机器学习或人工智能技术来识别要从用户征求的关于项目的反馈。例如，数据质量处理器120能够使用模型生成器126的输出来识别要向用户征求的关于马克杯设计的反馈。
226.在一些实施方式中，任务处理器122基于对应于用户群体中未被充分代表的部分
的特定属性来验证数字组成部分所征求的信息。例如，任务处理器122验证任务所征求的信息将基于用户年龄属性被分发。
227.过程800继续，确定用户具有对应于包含关于项目的信息的数据库中用户群体的未被充分代表的部分的特定属性(810)。例如，数据处理器124能够基于响应的阈值数量来确定年龄大于65岁的男性用户部分是未被充分代表的部分。在一些实施方式中，数据处理器124使用统计分析来识别用户群体中未被充分代表的部分。数据处理器124然后能够确定用户设备106的用户具有对应于包含关于马克杯设计的信息的数据库中用户群体中未被充分代表的部分的年龄属性。
228.过程800继续，响应于确定用户具有对应于用户群体中未被充分代表的部分的特定属性，响应于该请求，生成包括项目的动态改变的呈现的数字组成部分，征求来自用户的关于项目的反馈，并且包括使得用户能够提交关于项目的反馈的反馈机制(812)。例如，任务处理器122能够生成项目的改变的呈现或改变的任务，其征求来自用户设备106的用户关于马克杯设计的反馈，并且包括反馈机制，诸如投票特征，其使得用户能够提交关于项目的反馈。在一些实施方式中，dcds110生成数字组成部分或者选择要分发给用户设备106的数字组成部分，如上文相对于图1至图7所述。
229.过程800继续，更新数据库以包括从用户获得的关于该项目的反馈(814)。例如，数据处理器124能够利用来自用户设备106的用户的反馈来更新包含关于项目的信息的数据库。
230.在一些实施方式中，响应于接收到来自具有与用户群体中未被充分代表的部分相对应的特定属性的用户的反馈，数据质量处理器120使用用户的一个或多个属性来标记反馈信息，并将标记的反馈信息存储在标记的、可搜索的数据库中，诸如标记数据库130。
231.过程800继续，至少部分地基于从用户获得的反馈，修改项目被分发给具有该用户的一个或多个属性的其他用户时的呈现(816)。例如，数据质量处理器120能够基于从用户获得的反馈，在将项目分发给共享用户的一个或多个属性的其他用户时，修改项目的呈现。这允许数据质量处理器120基于与系统交互的用户的属性来调整其任务和产品设计。
232.在一些实施方式中，数据质量处理器120能够通过选择数字组成部分所包括的特定反馈机制，在将项目分发给具有用户的一个或多个属性的其他用户时，修改项目的呈现。
233.图9是用于自动设计空间探索的示例过程900的流程图。在一些实施方式中，过程900能够由一个或多个系统来执行。例如，过程900能够由图1至图2和图4的数据质量处理器120、dcds 110、用户设备106和第三方140来实施。在一些实施方式中，过程600能够被实施为存储在计算机可读介质上的指令，该计算机可读介质可以是非暂时性的，并且当该指令由一个或多个服务器执行时，该指令能够使一个或多个服务器执行过程900的操作。
234.过程900开始于从用户设备接收针对用于在用户设备处呈现的数字组成部分的请求(902)。例如，如上所述，系统100，特别是dcds110能够接收针对用于在用户设备106处呈现的数字组成部分的请求108。
235.过程900继续，接收关于特定产品设计的用户提供的信息的数据集(904)。例如，数据质量处理器120能够接收用户提供的关于特定产品设计的响应，诸如手提包设计。在一些实施方式中，产品设计是针对特定产品的。产品设计能够是服务或软件产品。例如，特定产品设计能够是软件应用的用户界面设计。
236.过程900继续，基于用户提供的信息的数据集，生成将设计因素映射到表示潜在产品设计几何形状的连续形状的视觉表示(906)。如上相对于图3至图4所述，模型生成器126能够生成将主观因素映射到表示潜在产品设计的连续形状的设计空间。例如，模型生成器126能够生成将诸如描述符的语义因素映射到表示可能设计的总体的连续形状的设计空间。
237.设计空间能够是可逆的，使得基于用户提供的信息的数据集来生成将设计因素映射到表示潜在产品设计几何形状的连续形状的视觉表示包括通过将潜在产品设计几何形状映射到设计因素来生成视觉表示。
238.过程900继续，基于设计因素值将视觉表示分割成多个片段(908)。如上相对于图3至图4所述，模型生成器126能够基于主观因素的值将设计空间分割成组。
239.在一些实施方式中，基于设计因素值将视觉表示分割成多个片段包括基于设计因素值将视觉表示划分成多个片段，使得视觉表示的每个片段共享定义的值范围内的设计因素值。例如，数据处理器124能够基于设计因素值的范围将设计空间分割成多个片段，例如手提包设计被感知有多舒适的主观评级。
240.过程900通过选择包含少于阈值数量的数据点的视觉表示的片段来继续(910)。如上文相对于图3至图4所述，数据处理器124能够根据诸如阈值数量的数据点的度量来识别数据片段。例如，数据处理器124能够将非常“时尚”和非常“实用”的包的片段识别为具有少于阈值数量的数据点或者达不到其他度量的片段。
241.过程900继续，选择向用户征求信息的数字组成部分(912)。例如，任务处理器122或dcds 110能够选择向用户征求信息的数字组成部分。任务处理器122能够针对用户选择或生成向用户征求信息的任务。
242.在一些实施方式中，任务处理器122针对向用户征求信息的数字组成部分选择已征求反馈的格式。例如，任务处理器122选择用户对手提包设计的反应的格式。
243.在一些实施方式中，选择征求信息的格式包括选择与动态改变的数字组成部分提供的特定反馈机制。
244.在一些实施方式中，任务处理器122基于对应于用户群体中未被充分代表的部分的特定属性来验证由数字组成部分征求的信息。例如，任务处理器122验证任务征求的信息将基于用户年龄属性被分发。
245.过程900继续，基于视觉表示的所选片段，动态地改变向用户征求关于包含少于阈值数量的数据点的视觉表示片段的信息的数字组成部分的呈现(914)。例如，如上相对于图3至图4所述，任务处理器122能够动态地改变现有任务或生成新任务。在一个示例中，任务处理器122能够改变现有任务以向用户呈现先前没有生成或呈现给用户的新产品设计。
246.在一些实施方式中，动态改变内容项目的呈现包括使用机器学习或人工智能技术来指定由数字组成部分请求的信息。例如，数据质量处理器120能够使用由模型生成器126生成的机器学习模型以确定和指定任务请求的信息。
247.在一些实施方式中，动态改变数字组成部分的呈现包括基于针对用于在用户设备处呈现的数字组成部分的请求，确定用户设备的用户在对特定产品设计感兴趣的第一用户集群中，并且基于确定用户设备的用户在对特定产品设计感兴趣的第一用户集群中，识别数字组成部分的用户界面元素，以及改变数字组成部分的呈现的用户界面元素。例如，数据
处理器124能够确定用户设备106的用户在感兴趣的用户集群中，识别任务的用户界面元素，并且改变用户界面元素以针对已经对手提包设计感兴趣的用户定制任务。
248.在一些实施方式中，动态改变数字组成部分的呈现包括基于针对用于在用户设备处呈现的数字组成部分的请求，确定用户设备的用户在对特定产品设计感兴趣的第一用户集群中，其中，针对用于在用户设备处呈现的数字组成部分的请求基于由用户提供的信息来指示用户的一个或多个属性，基于确定用户设备的用户在对特定产品设计感兴趣的第一用户集群中，识别数字组成部分的用户界面元素，以及改变数字组成部分的呈现的用户界面元素。
249.在一些实施方式中，过程900包括基于反馈信息来构建预测用户对潜在产品设计几何形状的接受的行为模型。例如，模型生成器126能够生成预测用户对手提包产品设计的接受的行为模型。特定产品设计的设计因素的修改至少部分基于行为模型。
250.过程900继续，分发动态改变的数字组成部分以在用户设备处呈现(916)。例如，dcds 110能够将任务和任何请求的内容作为回复114分发给用户设备106。
251.过程900继续，从用户设备并且通过反馈机制获得关于包含少于阈值数量的数据点的视觉表示的片段的反馈信息(918)。例如，dcds110能够从用户设备106接收响应数据116，并且将其提供给数据处理器124。如上相对于图3至图4所述，数据质量处理器120能够从用户接收关于视觉表示的特定片段的反馈信息。例如，数据处理器124和dcds 110能够从用户设备106接收关于具有少于阈值数量的数据点的设计空间片段的反馈信息。
252.在一些实施方式中，针对用于在用户设备处呈现的数字组成部分的请求指示用户设备的用户的用户人口统计信息。过程900还能够包括基于针对用于在用户设备处呈现的数字组成部分的请求，确定用户设备的用户在第一用户组中，诸如在加利福尼亚的女性用户组。
253.在一些实施方式中，过程900还能够包括从第二用户设备接收针对用于在第二用户设备处呈现的数字组成部分的请求，该请求指示第二用户设备的用户的用户人口统计信息。系统100(例如，数据处理器124)然后能够基于针对用于在第二用户设备处呈现的数字组成部分的请求，确定第二用户设备的用户与该用户设备的用户在相同的第一用户组中。例如，系统100(例如，数据处理器124)能够确定第二设备的用户是加利福尼亚的女性。响应于确定第二用户设备的用户与用户设备的用户在相同的第一用户组中，系统100能够提供修改后的产品设计而不是特定产品设计。例如，由于第一用户设备的用户与第二用户设备的用户之间的相似性，任务处理器122能够向第二用户设备的用户提供修改后的手提包设计，而不是原始的手提包设计。
254.过程900继续，至少部分地基于从用户获得的反馈信息来修改特定产品设计的设计因素以创建修改后的产品设计(920)。例如，模型生成器126能够至少部分基于来自用户的反馈信息来修改手提包设计的设计因素以创建修改后的手提包设计。
255.如上相对于图3至图4所述，模型生成器126能够更新设计空间和/或行为模型。例如，模型生成器126能够通过将反馈信息作为输入提供给行为模型或设计生成器的训练系统来更新数据集。
256.在一些实施方式中，过程900包括基于修改后的产品设计并且从多个现有产品设计中识别与修改后的产品设计具有多个或最大数量的共同设计因素值的最接近的现有产
品设计。例如，数据质量处理器120能够识别最接近修改后的设计的现有产品。例如，系统100能够修改现有产品及其制造方法，而不是生成全新的产品。在一些实施方式中，系统100能够向集成制造系统提供修改后的产品设计。例如，数据质量处理器120能够将修改后的产品设计提供给3d打印系统或自动化制造系统，以便立即生产。
257.图10是能够用于执行上述操作的示例计算机系统1000的框图。系统1000包括处理器1010、存储器1020、存储设备1030和输入/输出设备1040。组件1010、1020、1030和1040中的每一个能够例如使用系统总线1050互连。处理器1010能够处理在系统1000内执行的指令。在一个实施方式中，处理器1010是单线程处理器。在另一实施方式中，处理器1010是多线程处理器。处理器1010能够处理存储在存储器1020或存储设备1030中的指令。
258.存储器1020存储系统1000内的信息。在一个实施方式中，存储器1020是计算机可读介质。在一个实施方式中，存储器1020是易失性存储器单元。在另一实施方式中，存储器1020是非易失性存储器单元。
259.存储设备1030能够为系统1000提供大容量存储。在一个实施方式中，存储设备1030是计算机可读介质。在各种不同的实施方式中，存储设备1030能够包括例如硬盘设备、光盘设备、由多个计算设备通过网络共享的存储设备(例如，云存储设备)、或一些其他大容量存储设备。
260.输入/输出设备1040为系统1000提供输入/输出操作。在一个实施方式中，输入/输出设备1040能够包括一个或多个网络接口设备，例如以太网卡、串行通信设备(例如rs-232端口)和/或无线接口设备(例如802.11卡)。在另一实施方式中，输入/输出设备能够包括被配置成接收输入数据并且将输出数据发送到其他输入/输出设备(例如，键盘、打印机和显示设备1060)的驱动器设备。然而，也能够使用其他实施方式，诸如移动计算设备、移动通信设备、机顶盒电视客户端设备等。
261.尽管在图10中描述了示例处理系统，但是本说明书中描述的主题和功能操作的实施方式能够在其他类型的数字电子电路中实施，或者在计算机软件、固件或硬件中实施，包括本说明书中公开的结构及其结构等同物，或者在它们中的一个或多个的组合中实施。
262.电子文档(为简洁起见，简称为文档)不一定对应于文件。文档可以存储在保存其他文档的文件的一部分中，存储在专用于所讨论的文档的单个文件中，或者存储在多个协同文件中。
263.本说明书中描述的主题和操作的实施例能够在数字电子电路中实施，或者在计算机软件、固件或硬件中实施，其包括本说明书中公开的结构及其结构等同物，或者在它们中的一个或多个的组合中实施。本说明书中描述的主题的实施例能够被实施为一个或多个计算机程序，即一个或多个计算机程序指令模块，其被编码在计算机存储介质(或多个介质)上，用于由数据处理装置执行或控制数据处理装置的操作。可替代地或附加地，程序指令能够被编码在人工生成的传播信号上，例如，机器生成的电、光或电磁信号，其被生成以编码信息用于传输到合适的接收器装置以由数据处理装置执行。计算机存储介质能够是或被包括在计算机可读存储设备、计算机可读存储基板、随机或串行存取存储器阵列或设备、或者它们中的一个或多个的组合中。此外，虽然计算机存储介质不是传播信号，但是计算机存储介质能够是编码在人工生成的传播信号中的计算机程序指令的源或目的地。计算机存储介质也能够是或被包括在一个或多个单独的物理组件或介质(例如，多个cd、盘或其他存储设
备)中。
264.本说明书中描述的操作能够被实施为由数据处理装置对存储在一个或多个计算机可读存储设备上或从其他源接收的数据执行的操作。
265.术语“数据处理装置”包含所有种类的用于处理数据的装置、设备和机器，例如包括可编程处理器、计算机、片上系统或前述的多个或组合。该装置能够包括专用逻辑电路系统，例如fpga(现场可编程门阵列)或asic(专用集成电路)。除了硬件之外，该装置还能够包括为所讨论的计算机程序创建执行环境的代码，例如，构成处理器固件、协议栈、数据库管理系统、操作系统、跨平台运行时环境、虚拟机或它们中的一个或多个的组合的代码。该装置和执行环境能够实现各种不同的计算模型基础设施，诸如网络服务、分布式计算和网格计算基础设施。
266.计算机程序(也称为程序、软件、软件应用、脚本或代码)能够用任何形式的编程语言编写，包括编译或解释语言、声明或过程语言，并且它能够以任何形式部署，包括作为独立程序或作为模块、组件、子例程、对象或适用于计算环境的其他单元。计算机程序可以但不需要对应于文件系统中的文件。程序能够存储在保存其他程序或数据的文件的一部分中(例如，存储在标记语言文档中的一个或多个脚本)，存储在专用于所讨论的程序的单个文件中，或者存储在多个协作文件中(例如，存储一个或多个模块、子程序或代码部分的文件)。计算机程序能够被部署为在一台计算机或位于一个地点或分布在多个地点并通过通信网络互连的多台计算机上执行。
267.本说明书中描述的过程和逻辑流程能够由执行一个或多个计算机程序的一个或多个可编程处理器来执行，以通过对输入数据进行操作并生成输出来执行动作。过程和逻辑流程也能够由专用逻辑电路系统来执行，并且装置也能够被实施为专用逻辑电路，例如fpga(现场可编程门阵列)或asic(专用集成电路)。
268.举例来说，适于执行计算机程序的处理器包括通用和专用微处理器这两者。通常，处理器将从只读存储器或随机存取存储器或这两者接收指令和数据。计算机的基本元件是用于根据指令执行动作的处理器和用于存储指令和数据的一个或多个存储器设备。通常，计算机还将包括或可操作地耦合到一个或多个用于存储数据的大容量存储设备，例如磁盘、磁光盘或光盘，以从该大容量存储设备接收数据或向其传送数据，或两者兼有。然而，计算机不需要有这样的设备。此外，计算机能够嵌入在另一个设备中，例如，移动电话、个人数字助理(pda)、移动音频或视频播放器、游戏控制台、全球定位系统(gps)接收器或便携式存储设备(例如，通用串行总线(usb)闪存驱动器)等等。适于存储计算机程序指令和数据的设备包括所有形式的非易失性存储器、介质和存储器设备，包括例如半导体存储器设备，例如eprom、eeprom和闪存设备；磁盘，例如内部硬盘或可移动磁盘；磁光盘；以及cd rom和dvd-rom盘。处理器和存储器能够由专用逻辑电路系统来补充或并入其中。
269.为了提供与用户的交互，本说明书中描述的主题的实施例能够在计算机上实施，该计算机具有用于向用户显示信息的显示设备，例如crt(阴极射线管)或lcd(液晶显示器)监视器，以及用户能够用来向计算机提供输入的键盘和定点设备，例如鼠标或轨迹球。也能够使用其他类型的设备来提供与用户的交互；例如，提供给用户的反馈能够是任何形式的感觉反馈，例如视觉反馈、听觉反馈或触觉反馈；并且能够以任何形式接收来自用户的输入，包括声音、语音或触觉输入。此外，计算机能够通过向用户使用的设备发送文档和从用
户使用的设备接收文档来与用户交互；例如，通过响应于从网络浏览器接收的请求，向用户的客户端设备上的网络浏览器发送网页。
270.本说明书中描述的主题的实施例能够在计算系统中实施，该计算系统包括后端组件，例如作为数据服务器，或者包括中间件组件，例如应用服务器，或者包括前端组件，例如具有图形用户界面或网络浏览器的客户端计算机，用户能够通过该图形用户界面或网络浏览器与本说明书中描述的主题的实施方式进行交互，或者包括一个或多个这样的后端、中间件或前端组件的任何组合。该系统的组件能够通过任何形式或介质的数字数据通信(例如通信网络)来互连。通信网络的示例包括局域网(“lan”)和广域网(“wan”)、互联网(例如，因特网)和对等网络(例如，自组织对等网络)。
271.计算系统能够包括客户端和服务器。客户端和服务器通常彼此远离，并且通常通过通信网络进行交互。客户端与服务器的关系是由于在各自的计算机上运行的计算机程序而产生的，并且彼此具有客户端服务器关系。在一些实施例中，服务器将数据(例如，html页面)传输到客户端设备(例如，为了向与客户端设备交互的用户显示数据并从其接收用户输入)。在客户端设备处生成的数据(例如，用户交互的结果)能够在服务器处从客户端设备接收。
272.虽然本说明书包含许多具体的实施细节，但是这些不应该被解释为对任何发明的范围或可能要求保护的范围的限制，而是对特定发明的特定实施例所特有的特征的描述。本说明书中在独立实施例的上下文中描述的某些特征也能够在单个实施例中组合实施。相反，在单个实施例的上下文中描述的各种特征也能够在多个实施例中单独或以任何合适的子组合来实施。此外，尽管特征可能在上面被描述为在某些组合中起作用，并且甚至最初被如此要求保护，但是来自所要求保护的组合的一个或多个特征在一些情况下能够从该组合中删除，并且所要求保护的组合可以针对子组合或子组合的变体。
273.类似地，虽然在附图中以特定的顺序描述了操作，但是这不应该被理解为要求这些操作以所示的特定次序或顺序执行，或者要求所有示出的操作都被执行，以获得期望的结果。在某些情况下，多任务和并行处理可能是有利的。此外，上述实施例中的各种系统组件的分离不应被理解为在所有实施例中都需要这样的分离，并且应该理解，所描述的程序组件和系统通常可以一起集成在单个软件产品中或者打包到多个软件产品中。
274.因此，已经描述了主题的特定实施例。其他实施例在所附权利要求的范围内。在某些情况下，权利要求中所述的动作能够以不同的顺序执行，并且仍能获得期望的结果。此外，附图中描绘的过程不一定需要所示的特定次序或连续顺序来实现期望的结果。在某些实施方式中，多任务和并行处理可能是有利的。