用于创建、组织、查看和连接注释的方法、计算机可读介质和系统与流程

用于创建、组织、查看和连接注释的方法、计算机可读介质和系统
1.相关申请的交叉引用
2.不适用
3.关于联邦资助研发的声明
4.不适用
5.对序列表、表格或计算机程序列表光盘附录的引用
6.不适用


背景技术：

7.万维网(www)、网页浏览器和浏览器扩展是众所周知的。万维网是全球信息源，其中诸如网页、pdf文档、图像和视频之类的资源由唯一的统一资源定位符(url)标识，并且网页浏览器是设计用于访问万维网上的信息的软件应用程序。此外，浏览器扩展设计用于扩展预先存在的网页浏览器的功能。还已知网页浏览器功能可以通过修改网页浏览器的软件代码库或通过为那些支持由这种方式添加功能的网页浏览器提供网页浏览器扩展来修改。
8.随着万维网的普及，人们每天平均正在花费比他们过去更多的时间使用万维网。随着使用万维网所花费的平均时间的增加，人们更需要获取他们以前在万维网上看到的信息，发送网络文档内的文本片段与朋友和同事讨论，引用网页文档内的特定文本或上下文，询问关于网页文档的部分的特定问题，跨网页文档连接信息，发现并组织内容和片段以备以后使用，评估来自人群的信息的价值，以及访问其他人对网页文档的公共批注并将这些批注放在上下文中。
9.为了处理这些使用情况，人们通常重复搜索以找到他们以前访问的内容、给网络文档加标签、重新扫描文章用于他们回忆所看到的片段、复制和粘贴文本部分到电子邮件消息或其它文档中以便与朋友或同事共享、在电话上讨论时通过数字或网页位置查阅句子或段落、询问文章的批注部分中的问题并通过将所需文本剪切并粘贴到批注中来引用所需文本、下载网页或将片段复制到个人文字处理器或电子表格文档中。这为大量用户造成了低效和时间浪费。而且，缺乏用于识别不准确并将该认知传播给其它用户的工具，使得不准确信息比它应该保持的时间更长。提供用于以更有效的方式处理这些任务的方法、计算机可读介质和系统将是有利的。


技术实现要素：

10.本发明的一个目的是向用户提供一种能够注释的网页浏览器，从而以这样的方式注释网页和文档，使得在因特网上的另一个位置上也使用这种能够注释的网页浏览器的用户能够识别问题、兴趣点、一致的语句和不一致的语句，而不需要阅读用户注释批注的文本或注释高亮显示文本。这种机制提高了用户对万维网上的大量信息进行分类的效率。
11.本发明的另一个目的是向用户提供一种能够注释的网页浏览器来以这样的方式注释上传或嵌入网页中的图片、视频和声音记录，使得在因特网上的另一位置上也使用这
种能够注释的网页浏览器的用户能够查看这些图像、视频和声音记录注释。
12.本发明的另一个目的是确保与没有注释的文档查看上下文相比，在添加注释之后，文档查看上下文被以最小的方式修改。使用被最小修改的文档查看上下文允许用户消费内容而不被注释分散注意力，同时能够在适当的时间发现和使用注释。
13.本发明的另一个目的是以非侵入的方式向用户呈现广告。一个目的是在这些用户发起由好奇心触发的动作之后向用户展示广告内容，其中，所述好奇心由在网页内的某个位置或上下文中呈现广告来触发。该位置或上下文暗示广告可能与用户的当前需要相关。此外，没有其内容呈现的广告可以包含完整广告的一些方面，但是直到用户启动由好奇心触发的动作才显示全部细节，所述好奇心由基于用户的当前需要选择性地和透明地针对用户的上下文方法来灌输。
14.本发明的另一个目的是提供独立于万维网文档查看上下文区域的单独的注释查看上下文区域。除了搜索和过滤之外，该注释查看上下文区域还具有一种机制，该机制以这样的方式向用户呈现注释，使得用户能够理解熟悉站点的起源站点和注释的大约位置。此外，注释或高亮显示文本的上下文的其它元素可以变得清楚，而不必阅读高亮显示文本或用户注释批注。该机制使得从大量其它注释中找出特定注释成为更容易的任务。
15.本发明的另一个目的是提供注释组织上下文区域，其允许用户扫描注释并将注释组织成有意义的分组。该目的的一个优点是它允许用户首先集中于创建注释，并且在注释已经创建之后集中于组织它们。而且，注释的缺省组织不需要被取消。
16.本发明的另一个目的是向用户提供注释查看上下文区域，该注释查看上下文区域允许用户查看注释的页面，保持某些注释可用于以后查看，并继续搜索其它注释。此外，该方法通过将注释保持在可视图中，同时将不感兴趣的注释移出可视图，从而便于心理跟踪。
17.本发明的另一个目的是始终向用户透明地传送隐私设置。传送隐私设置将避免用户不想共享的信息的意外共享。
18.本发明的另一个目的是在引起用户注意每个站点上感兴趣的显著点的同时，通过全球互联网上的一系列网站创建导览的方法。该目的还包括修改导览和向用户呈现导览的方法。
19.本发明的另一个目的是为组提供管理访问控制许可和通过留言进行通信的方式。
附图说明
20.参考下面的描述和附图以更全面地理解本发明，附图中：
21.图1示出了注释正在被创建、被移动到两个不同的集合并且经由所述集合与其它集合共享的流程图；
22.图2示出了注释分两天在两个单独的网页上正在被查看的流程图；
23.图3示出了在示例性实施例中的能够注释的网页浏览器，其中在注释过程开始之前，不能创建注释的网页浏览器已经用提供注释能力的网页浏览器扩展来扩充；
24.图4示出了在文本被高亮显示之后的能够注释的网页浏览器；
25.图5示出了在选择注释符号之前的能够注释的网页浏览器；
26.图6示出了在选择注释符号之后的能够注释的网页浏览器；
27.图7示出了在注释已经被创建并且显示的注释符号处于打开状态之后的能够注释
的网页浏览器；
28.图8示出了在注释已经被创建并且显示的注释符号处于关闭状态之后的能够注释的网页浏览器；
29.图9示出了在单独的上下文区域中呈现而不是作为邻近高亮显示的注释文本的现有网页文档上的上覆层来呈现时的为注释提供上下文的注释项目框；
30.图10示出了注释组织上下文区域，该注释组织上下文区域呈现了注释项目框和在单独的上下文区域内显示的可写集合，该单独的上下文区域独立于包含注释高亮显示文本的原始网页文档；
31.图11示出了注释组织上下文区域，显示了将注释移动和复制到集合中的过程，所述集合是注释和其它项目的分组；
32.图12示出了能够注释的网页浏览器，其显示了具有在关闭状态下的显示的注释符号的网页文档；
33.图13示出了能够注释的网页浏览器，其显示了具有在关闭状态下显示的注释符号的网页文档，以及它们相应的显示的注释符号信标；
34.图14示出了序列图，所述序列图显示了能够注释的网页服务器、提供访问的url数据的网页服务器、注释服务器、电子数据库和内容传送网络之间的通信；
35.图15示出了序列图，所述序列图显示了为了组织注释而在网页浏览器、注释服务器、电子数据库和内容传送网络之间进行的通信；
36.图16示出了示出了序列图，所述序列图显示了能够注释的网页浏览器、提供访问的url数据的网页服务器、注释服务器和电子数据库之间的通信；
37.图17示出了显示数据元素包的接收和存储的流程图；
38.图18示出了显示包显示集的编译和传输的流程图；
39.图19示出了显示用户、网页浏览器、网页浏览器扩展内容脚本和网页浏览器扩展后台脚本如何交互从而允许用户查看网页并在该网页上创建注释的流程图；
40.图20示出了显示用户、网页浏览器、网页浏览器扩展后台脚本和网页浏览器扩展内容脚本如何交互从而允许用户查看网页上具有注释的该网页的流程图；
41.图21示出了显示使用该示例性实施例的护士如何创建关于血糖指数的记事本以与患者共享的流程图；
42.图22示出了显示患者如何使用护士提供的记事本的流程图；
43.图23示出了扩展内的记事本的用户界面；
44.图24示出了记事本正在被创建和注释正在被创建并被添加到记事本的序列图；
45.图25示出了记事本正在被查看、第一注释正在被点击、浏览器导航到该url并在滚动到适当位置之后显示注释的序列图；
46.图26示出了显示记事本正在被创建以及已经创建的注释正在被添加到记事本的流程图；
47.图27示出了显示记事本正在被查看和记事本中的注释正在被打开的流程图；
48.图28示出了系统图的示例性实施例；
49.图29示出了注释服务器和电子数据库的组件图的另一个示例性实施例；
50.图30示出了显示注释服务器的客户电子设备的示例性实施例；
51.图31示出了用于美国历史集合的集合项目页面的示例性实施例；
52.图32示出集合页面的示例性实施例；
53.图33示出了显示系统消息的收件箱页面的示例性实施例；
54.图34示出了在用户响应系统消息并且其他用户也发送消息之后的收件箱页面的示例性实施例；
55.图35示出了图片注释查看和图片注释组创建界面；
56.图36示出了具有添加到候选注释组列表中的一个注释组列表项目的图片注释组创建界面；
57.图37示出了具有一个注释组列表项目的图片注释组创建界面，其中第二非冲突图片注释没有添加到候选注释组列表；
58.图38示出了图片注释组创建界面，其中两个注释组列表项目添加到候选注释组列表；
59.图39示出了一个注释组列表项目被添加到候选注释组列表的图片注释组创建界面，其中第二冲突图片注释未被添加到候选注释组列表；
60.图40示出了视频注释查看和视频注释组创建界面；
61.图41示出了视频注释查看和视频注释组创建界面，其中具有用于视频注释元素的运动路径的一个视频注释被添加到候选注释组列表框；
62.图42示出了具有用于第二视频注释元素的运动路径的两个注释组列表项目被添加到候选注释组列表的视频注释组创建界面；
63.图43示出了一个注释组列表项目被添加到候选注释组列表的视频注释组创建界面，其中第二冲突视频注释未被添加到候选注释组列表；
64.图44示出了具有时间线声音注释和派生声音注释创建界面的声音注释查看和声音注释组创建界面；
65.图45示出了具有时间线视频注释和派生视频注释创建界面的视频注释查看和视频注释组创建界面；
66.图46示出了能够注释的网页浏览器，其显示具有嵌入式视频注释信标的视频；
67.图47示出了在已经创建了图片注释并且嵌入式显示的图片注释处于打开状态之后的能够注释的网页浏览器；
68.图48示出了在已经创建了视频注释并且在视频注释回放范围期间嵌入式显示的视频注释处于打开状态之后的能够注释的网页浏览器；以及
69.图49示出了在已经创建了声音注释并且在声音注释回放范围期间嵌入式显示的声音注释处于打开状态之后的能够注释的网页浏览器。
具体实施方式
70.本发明提供了一种方法、非临时性计算机可读介质(crm)和系统，其用于注释网页、文档、图片、视频和网页浏览器内的声音记录；组织这些注释；查看这些注释；以及将这些注释连接到包括一组注释的有用数字记事本中。网页文档具有url，并且包括网页、pdf文档和在网页浏览器中显示的其它文档类型。此外，这些方法、非临时性计算机可读介质和系统提供了用于固化内容、与其他用户共享内容以及管理访问控制的工具。说明书包含流程
图，其示出了用户在此使用所述系统和非临时性计算机可读介质的基本原理。另外，图形用户界面(gui)图显示了计算机可读介质指令的最终结果和系统显示的内容。此外，序列图显示了各种组件之间的交互和数据流，流程图描述了方法。另外，泳道图显示了各种部件的作用。
71.注释是添加到文本、图表、图片、文档、视频或声音记录中的解释性说明、批注或绘图。当描述方法、非临时性计算机可读介质和系统时，引入术语来描述不同上下文中的注释以及数据元素和结构，以表示添加到网页、网页文档、文档、图片、视频和声音记录以及独立上下文区域中的注释的上下文的注释和对象。
72.图1中示出了教师使用能够注释的网页浏览器的示例性实施例的的流程图。教师有两个独立的目标。第一个目标是为教师课堂上的学生创建有关总统的学习问题列表。教师的课堂很小，在所示的示例性实施例内的这个例子中，学生可以看到彼此的反应。第二个目标是在教师讲课的学校附近找到出售的房子。如图1所示，在第一天任务1，教师在步骤4访问亚伯拉罕
·
林肯的维基百科页面并创建问题注释，然后在步骤5访问伍德罗
·
威尔逊的维基百科页面并创建问题注释。如图1所示，教师在第二天任务2，教师在步骤6访问zillow页面，并在工作附近创建待售房屋的依赖注入(dagger)注释。如图1所示，在第十三天3，教师在步骤7建立了题目为“美国总统学习指南”和“房地产”的两个集合，在步骤8将学生加入“美国总统学习指南”集合，将室友加入“房地产”集合，在步骤9将关于亚伯拉罕
·
林肯和伍德罗
·
威尔逊的问题注释移到“美国总统学习指南”，在步骤10将关于工作附近待售房子的依赖注入注释移到“房地产”集合，并在步骤11与学生共享“美国总统学习指南”集合。
73.图2中示出了学生使用能够注释的网页浏览器的示例性实施例的的流程图。学生的目标是回答由教师提供的学习问题。如图2所示，在第十一天任务12，学生在步骤14访问亚伯拉罕
·
林肯的维基百科页面，在步骤15阅读亚伯拉罕
·
林肯的维基百科页面，在步骤16阅读亚伯拉罕
·
林肯的维基百科页面时看到教师的关闭的问题显示的注释符号的，在步骤17点击教师的关闭的问题显示的注释符号，使问题显示的注释符号转变为打开状态并显示教师的注释批注，并且在步骤18用答案回答教师的问题注释批注。如图2所示，在第12天任务13，学生在步骤19访问伍德罗
·
威尔逊的维基百科页面，在步骤20阅读伍德罗
·
威尔逊的维基百科页面，在步骤21阅读伍德罗
·
威尔逊的维基百科页面时看到教师的关闭的问题显示的注释符号，在步骤22点击教师的关闭的问题显示的注释符号使问题显示的注释符号转变为打开状态，并显示教师的注释批注，并且在步骤23，用答案回答教师的注释批注。
74.图3中呈现了能够注释的网页浏览器24的示例性实施例。在所图示的网页浏览器的查看区域中显示的短的、宽的水平矩形表示文本。第一段有11个矩形，表示11行文本，第二段有5个矩形，表示5行文本。在这个示例性实施例中，用添加注释能力的网页浏览器扩展25的示例性例子来修改支持添加网页扩展的网页浏览器。网页浏览器扩展25是通常驻留在可由网页浏览器加载到存储器中的非瞬态计算机可读介质上、支持添加网页扩展的软件包，其中网页浏览器应用程序本身是加载在存储器中并在电子计算设备的处理器上运行的软件应用程序。一旦网页浏览器应用程序将网页浏览器扩展25加载到存储器中，网页浏览器扩展25指令集可由网页浏览器应用程序的指令集在网页浏览器的生命周期中的指定点处触发。在图5、图6、图7、图8、图12、图13、图23、图46、图47、图48和图49中示出了网页浏览
器扩展25指令集对呈现给用户的用户界面的一些影响。
75.图4中示出了在用户选择被称作普通高亮文本26的文本之后、并且在触发网页浏览器扩展25指令集之前的能够注释的网页浏览器24的示例性实施例。
76.图5中示出了在用户选择文本之后、并且在触发网页浏览器扩展25指令集使得注释符号选择按钮栏28出现之后的能够注释的网页浏览器24的示例性实施例。此外，所选择的文本将被称作注释高亮显示文本27，以将其与如图4所示的示例性实施例的状态下的普通高亮文本26区别开来。普通高亮文本26是触发网页浏览器扩展25指令集之前的所选文本，或者是不具有注释能力的网页浏览器中的所选文本。网页浏览器扩展25指令集在用户点击图5中的注释符号选择按钮栏28图示的任何按钮之后处理输入。
77.在一个示例性实施例中，图6图示了用户点击图5中示出的注释符号选择按钮栏28中的问号注释符号按钮的影响。在替代示例性实施例中，图5中的注释符号选择按钮栏28中所示的注释符号可以与水平行相反地以垂直列一个放置在一个顶部。在图6所示的示例性实施例中，示出了打开的问题显示的注释符号29和注释批注输入框30。打开的问题显示的注释符号29允许用户指示用户计划将关于注释高亮显示文本27的问题输入注释批注输入框30。注释批注输入框30是能够注释的网页浏览器24的用户输入将由一个或多个计算机系统存储的文本的输入区域。一旦用户完成输入文本，并将输入文本的动作完成传达给能够注释的网页浏览器24，网页浏览器扩展25指令集就将能够注释的网页浏览器24转变到图中7所示的状态。
78.在图7所示的示例性实施例中，显示了在注释已经被创建并且所显示的注释符号在打开状态下被可视地显示之后的能够注释的网页浏览器24的状态。打开状态下的显示的注释符号显示包括注释高亮显示文本27、注释批注32、信誉选择器33、打开的问题显示的注释符号29和注释批注框31等屏幕元素。注释批注32如前所述来自用户输入的文本。注释批注框31还具有上下文变化注释控制栏34。上下文变化注释控制栏34允许用户根据访问控制规则改变隐私设置、由社交媒体或电子邮件共享、标记注释或删除注释。信誉选择器33允许用户选择要分配给注释批注32的信誉。例如，如果用户认为注释是周到的，用户可以分配周到的信誉给注释批注32。通过在注释高亮显示文本27、打开的问题显示的注释符号29和注释批注框31外侧点击，用户可以使显示的注释符号转变到关闭注释的关闭状态。在替代实施例中，信誉选择器33有可能显示在上下文变化注释控制栏34内部，而不是邻近注释批注32放置。
79.在图8所示的示例性实施例中，显示了在注释创建之后、并且显示的注释符号显示处于关闭状态的能够注释的网页浏览器24。图8中示出关闭的问题显示的注释符号35。关闭的问题显示的注释符号35被设计为可见的，但是不会使用户从其余文本分心。
80.在用户使用能够注释的网页浏览器24创建注释之后，将表示注释的数据元素包发送到服务器。如图9所示的示例性实施例中所示，该数据元素包可用于在单独的上下文区域中构造注释项目框36。在图9所示的示例性实施例中，注释项目框36包含带有标记文本37的屏幕快照、单独的上下文注释高亮显示文本38、单独的上下文问题显示的注释符号39、单独的上下文注释批注40、单独的上下文变化注释控制栏41以及单独的上下文信誉选择器42。在这个示例性实施例中，带有标记文本37的屏幕快照为与被标记的屏幕快照相关联的缩略图大小，用于允许用户确定注释驻留在其上的网页以及注释在网页内的位置。图7和图9可
以被视为相同示例性实施例的两个不同上下文或两个不同示例性实施例。为了理解单独的上下文注释高亮显示文本38、单独的上下文问题显示的注释符号39和单独的上下文注释批注40，将这两幅图视为同一示例性实施例的两个不同上下文是有帮助。单独的上下文注释高亮显示文本38在注释项目框36的单独的上下文区域中呈现注释高亮显示文本27。在这种情况下，描述单独的上下文区域指该上下文不同于其上出现注释高亮显示文本27的原始网页或网页文档。单独的上下文问题显示的注释符号39在注释项目框36的单独的上下文区域中呈现问题注释符号。单独上下文注释批注40在注释项框36的单独的上下文区域中呈现注释批注32。单独的上下文变化注释控制栏41旨在允许用户改变隐私设置、由社交媒体或电子邮件共享、将分类的信誉与注释相关联以及删除注释。
81.如果项目框表示注释，则它被称为注释项目框36，其在图9中的示例性实施例中图示出。在示例性实施例中，项目框可以表示网页、文档、图片、视频、声音记录以及网页、文档、图片、视频和声音记录的注释。项目框可以是网页项目框、文件项目框、图片项目框、视频项目框、声音记录项目框、注释项目框、图片注释项目框、视频注释项目框、声音记录注释项目框、嵌入式图片注释项目框、嵌入式视频注释项目框、嵌入式声音记录注释项目框、注释组项目框、派生注释组项目框以及具有派生注释项目框的注释组。集合表示包括注释的项目组，可写集合是用户可以以某种方式修改的那些集合。修改的一种形式是将项目添加到可写集合中。集合被用于将包括注释的项目组织成有意义的组。例如，在图1中，教师创建了两个集合，一个标题为“美国总统学习指南”，另一个标题为“房地产”。
82.在图9所示的示例性实施例中，注释项目框36在单独的上下文变化注释控制栏41中包含单独的上下文信誉选择器42，其允许共享注释项目框36形式的注释的用户通过从下拉框对其选择来对信誉进行投票。该信誉被分配给注释。该信誉在社区内具有价值。具有有用、有趣或周到以及那些对注释高亮显示文本表达异议的信誉的注释，可基于由用户选择并由注释服务器61确定为有用的各种标准，可以选择地显示，注释服务器61在一些其它图中示出。用户可以基于该标准来过滤注释，并且用户的总信誉也可以连接到用户创建的注释的信誉。与基于明星的投票相反，可以从用户收集关于注释对于在线社区内的其它用户是有价值的原因的详细的注释专用语义信息。
83.此外，当用户除了为注释分配信誉之外还可以回复注释时，注释系统的功能更好。另外，其他用户也可以对回复的信誉进行投票。由于用户通过答复和信誉提供反馈，该系统有助于社区识别可能不准确的注释。
84.图7所示的示例性实施例和图9所示的示例性实施例都表示注释。图7表示嵌入其正在注释的网页文档内的注释，而图9表示在网页文档外的注释。因为图9没有网页文档的周围上下文，所以提供了缩略图标记的屏幕快照，以给查看注释项目框36的用户更多的上下文。图7和图9有可能图示同一示例性实施例的两个上下文，或者它们有可能图示两个不同的示例性实施例。图7和图9都允许信誉投票。在图7中，信誉选择器33允许用户将信誉分配给注释批注32。在图9中，单独的上下文信誉选择器42允许用户将信誉分配给注释批注32。注释批注[32]这允许共享注释的用户从不同的上下文评估注释的信誉。
[0085]
在图9所示的示例性实施例中，注释项目框36包含允许用户改变隐私设置的独立上下文变化注释控制栏41。在该示例性实施例中，暗灰色表示最私密设置，其中除了注释的创建者之外没有人能够查看该注释，浅灰色表示注释可以与特定组中的用户共享，白色表
示注释可以被平台的所有用户查看。
[0086]
图9中所示的注释项目框36能提供其中的单独上下文区域之一在图10中所示的示例性实施例的注释组织上下文区域43中。图10的注释组织上下文区域43还包含显示项目框的项目箱44和显示可写集合的可写集合箱45。在图9中，注释项目框36被图示在项目箱44内，并且显示的可写集合50被图示在可写集合箱45内。此外，搜索过滤器46可用于改变在项目箱44中显示的项目框。此外，集合搜索过滤器47可用于改变在可写集合箱45中所显示的显示的可写集合。此外，翻页机构48可用于改变在项目箱44中显示的项目框的页面，集合翻页机构49可用于改变在可写集合箱中所显示的显示的可写集合的集合页面。
[0087]
在图10所示的示例性实施例中，我们看到项目箱44中的翻页机构48和可写集合箱45中的集合翻页机构49。这些翻页机制独立地操作。在所示的示例性实施例中，项目箱44中的翻页机构48向前和向后移动经过6个项目的页面。图10所示的项目表示注释。所有这些项目被顺序排序。当翻页机构向前移动时，显示顺序排序的项目组中的下6个项目。当翻页机构向后移动时，显示顺序排序的项目中的前6个项目。在所示的示例性实施例中，可写集合箱45中的集合翻页机构49向前和向后移动经过3个集合的页面。图10所示的集合表示包括注释的一组项目。每个集合代表一组一个或多个项目，所述项目包括网页项目、文档项目、图片项目、视频项目、声音记录项目、注释项目、图片注释项目、视频注释项目、声音记录注释项目、嵌入式图片注释项目、嵌入式视频注释项目、嵌入式声音记录项目、注释组项目、派生注释组项目和具有派生注释项目的注释组。所有这些集合被顺序排序。当我们向前移动翻页机构时，显示顺序排序的集合组中的下3个项目。当我们向后移动翻页机构时，显示顺序排序的集合组中的前3个项目。当浏览器的可视区域在调整大小操作之后改变时，项目箱44中显示的项目的数量和可写集合箱45中显示的可写集合的数量改变。在另一个示例性实施例中，可能不存在明确的可写许可。在这种情况下，可写集合箱45将包括显示的集合。翻页机构48和集合翻页机构49导致该转换，然后以新的页面大小操作。
[0088]
在图10中，除了翻页机构48之外，我们还看到位于项目箱44中的每个注释项框36中的识别码。在图10所示的示例性实施例中，示出了表示注释的6个项目。这6个项目中的每一个都可以处于未锁定状态或锁定状态。如图所示，页面大小为6。如果这些项目中的一个被锁定，则页面尺寸被减小到5。由于锁定，当翻页机构48向前或向后移动时，被锁定的项目停留在查看区域中。当翻页机构48向前移动时，被锁定的项目保留在查看区域中，而剩余的5个项目被从查看区域移除。然后，顺序排序中的下5个项目替换被移除的5个项目。如果翻页机构向后移动，则从查看区域移除5个未锁定的项目，并且在项目的顺序排序中的前5个项目代替从查看区域移除的5个项目。如果锁定2个项目，则页面尺寸减小到4。对可写集合箱45中的集合以类似的方式进行锁定。
[0089]
每当项目被锁定时，被锁定的项目被由注释服务器61从顺序排序的项目组排除，注释服务器61在一些其它图中示出。这避免了被锁定的项目在查看区域中出现两次。如果被锁定2个项目，则被锁定的2个项目被由注释服务器61从顺序排序的项目组排除。除了改变页面大小之外，还进行从顺序排序中排除项目。由注释服务器61对可写集合箱45中的集合以类似的进行顺序排除。
[0090]
图10中的示例性实施例中所示的诸如搜索过滤器46等过滤器用于从用户接收输入。在项目箱44的情况下，搜索过滤器46是搜索短语。这些输入被转变为发送到注释服务器
61的参数值，注释服务器61在一些其它图中示出。注释服务器61使用这些参数值来将参数输入到由电子数据库62使用的请求查询中，该电子数据库62在一些其它图中示出。该请求查询包括参数值和页码。具有参数值的请求查询被用于指定一组项目和在那些项目上的顺序排序。页码指定特定页。此外，所述请求查询可以包括指定数量的项目，所述指定数量的项目将被发送到在客户电子设备上运行的网页浏览器。该请求查询包含诸如搜索短语等用于过滤器数值的参数和要从指定的项目列表排除的项目排除列表，其中该请求查询连同参数和项目排除列表一起引入关于该项列表的顺序排序。
[0091]
图10中的示例性实施例中所示的诸如集合搜索过滤器47等过滤器被用于从用户接收输入。在可写集合箱45的情况下，集合搜索过滤器47的集合搜索短语。这些输入被转变为发送到注释服务器61的参数值，注释服务器61在一些其它图中示出。注释服务器61使用这些参数值来将参数输入到由电子数据库62使用集合请求查询中，电子数据库62在一些其它图中示出。收集请求查询包括参数值和页码。具有集合参数值的集合请求查询被用于指定一组集合和在那些集合上的顺序排序。页码指定特定页。此外，所述集合请求查询可以包括指定数量的集合，所述指定数量的集合将被发送到在客户电子设备上运行的网页浏览器。该集合请求查询包含例如集合搜索短语等用于集合过滤器数值的参数和要从指定的集合列表排除的集合排除列表，其中该集合请求查询连同参数和集合排除列表一起引入关于该集合列表的顺序排序。
[0092]
在图10所示的示例性实施例中，在用户创建注释之后，注释出现的项目箱44中。使用拖拽步骤，用户可以将注释项目框36移动或复制到集合中，如图11所示的示例性实施例中那样。在图11所示的示例性实施例中，图示了移动注释项目框51。当移动注释项框51接近处于图10所示的示例性实施例的状态的显示的可写集合50时，显示的可写集合50的可视形式改变为如图11所示的显示包括移动目标52和复制目标53的的屏幕元素。在这个示例性实施例中，如果图示移动注释项目框51的拖动的鼠标指针在由移动目标52表示的区域中并且被释放，则触发移动动作。在这个示例性实施例中，如果图示移动注释项目框51的拖动的鼠标指针在由复制目标53表示的区域中并且被释放，则触发复制动作。
[0093]
在图12所示的示例性实施例中，向用户呈现关闭的问题显示的注释符号35、关闭的感叹显示的注释符号54、关闭的检查显示的注释符号55和关闭的错误显示的注释符号56。这四个注释符号是显示的注释符号的例子。在该示例性实施例中，显示的注释符号具有至少两种可能的状态。这些状态包括打开和关闭。在关闭状态下，显示的注释符号是可见的，并且显示的注释符号被设计为具有低可见性，以避免在用户阅读网页文档时分散用户的注意力。在打开状态下，在网页浏览器查看区域中显示附加信息。在图7中的示例性实施例中，图示了处于打开状态的显示的注释符号。该显示的注释符号是问题显示的注释符号。在图7中的示例性实施例中，打开的问题显示的注释符号29与注释高亮显示文本27以及注释批注框31一起示出。
[0094]
注释符号与注释语义关系组的元素相关联。每个注释语义关系通常基于用户选择显示出注释高亮显示文本27和注释批注32之间的关系，如图7中的示例性实施例所示。与该注解语义关系组中的每个关系相关联的是不同的注释符号。作为示例，如图8中的示例性实施例所示，关闭的问题显示的注释符号35指示注释的创建者将注释批注标记为关于注释高亮显示文本的问题。这个关闭的问题显示的注释符号35允许熟悉示例性实施例如何工作的
用户知道用户可以点击关闭的问题显示的注释符号35并在用户实际执行点击动作之前看到此为关于注释高亮显示文本27的问题的注释批注，如图7所示。
[0095]
一旦点击，处于如图8所示的示例性实施例的状态的关闭的问题显示的注释符号35变成处于如图7所示的示例性实施例的状态的打开的问题显示的注释符号29，显示了注释高亮显示文本27和注释批注框31。在图8所示的示例性实施例的状态下，注释高亮显示的文本27、打开的问题显示的注释符号29以及注释批注框31还可能在如图8所示的示例性实施例的状态下在鼠标在关闭的问题显示的注释符号35上时变得可见，并且通过点击而被锁定。为了有助于使这个过程对于用户是自反性的，图7中的注释高亮显示文本27可以基于其注释符号分配颜色。换言之，注释高亮显示文本27的颜色基于注释高亮显示文本27和注释批注之间的注释语义关系。
[0096]
为了进一步示出示例性实施例，观察以下内容。关闭感叹显示的注释符号54指示注释创建者标记注释批注为感叹语句，其指示关于注释高亮显示文本的警示点或感兴趣的事实。关闭检查显示的注释符号55指示注释创建者标记注释批注为与注释高亮显示文本一致的语句。并且，关闭的不正确的显示的注释符号56指示注释的创建者将注释批注标记为与注释高亮显示文本不一致的语句。
[0097]
除了已经讨论的注释符号和图12中所示的显示的注释符号之外，广告注释符号可用于指示注释语义关系组中的另一种关系。该关系指示处于如图7所示的示例性实施例的状态的注释批注32是与注释高亮显示文本27相关的广告。在这种情况下，处于如图8所示的示例性实施例的状态的关闭的问题显示的注释符号35将被广告显示的注释符号代替。
[0098]
在图12所示的示例性实施例中，我们看到几个显示的注释符号。在这个示例性实施例中，注释语义关系组中的五种关系对应于问题注释符号、不一致注释符号、一致注释符号、感叹注释符号和广告注释符号。这些注释语义关系是问题关系、不一致关系、一致关系、感叹关系和广告关系。
[0099]
在示例性实施例中，机器学习和深度学习模型可用于自动确定注释高亮显示文本和注释批注之间的注释语义关系。此外，与确定注释语义关系和书写注释批注的用户一起收集的用户数据可用于训练深度学习模型，并且这些训练的模型的副产物可用于其它自然语言处理目的。可以给用户选项来选入或脱离基于自然语言处理模型使用用户为了训练深度学习创建的数据。可以使用具有最终最大池化层的双向长短时记忆(bistm)模型来计算句子嵌入。也可以使用其它机器学习和深度学习方法来创建句子嵌入。句子嵌入可用于确定两个句子的相似性。一旦通过分析注释高亮显示文本、注释批注和出现在项目和答复中的其它句子为集合中的所有句子计算句子嵌入，这些句子嵌入向量可用于确定一个项目是否与集合中的其它项目相似或确定两个集合的相似性。基于该相似性分析，可以向用户建议用于阅读、参与与其他用户讨论或添加到集合中的项目。可以基于用户搜索、阅读或贡献的集合向用户建议相似的集合。此外，网页上的注释可以基于相似性分析链接到其它网页或文档中的相似注释或内容，相似性分析基于句子嵌入向量。卷积神经网络(cnn)模型可与句子相似性分类器一起使用以验证由用户指定的注释语义关系。用户提供的注释语义关系数据可以与用户信誉结合使用，以验证用户选择的注释语义关系，并潜在地识别由用户生成和发布的不适当内容。双向编码器表示变换器(bert)可用于识别网页和网页文档内的命名实体，并自动注释用户可能感兴趣的项目。这些命名实体可以是存在于维基百科中的实
体或在线市场上销售的产品。为了使用户生成的注释适当，可以使用出于情感分析微调的预先训练的双向编码器表示变换器来标记不适当的用户生成内容。
[0100]
在图13所示的示例性实施例中，用户通过按压符号信标触发按钮57来触发符号信标，以使关闭的显示的注释符号更加突出。符号信标可以处于未触发状态或触发状态。当符号信标触发按钮57被按下时，符号信标从未触发状态转换到触发状态。符号信标的触发机构也可以是一系列的键盘键入或鼠标按钮点击。触发机构还可以位于能够注释的网页浏览器24内的菜单选项中。无论它是否是在能够注释的网页浏览器24的显示区域中可用的按钮、能够注释的网页浏览器24中的菜单选项、键盘键入和鼠标按钮点击的组合、触摸屏设备上的输入手势或通过输入设备的输入手势，是网页浏览器扩展25指令集使这些触发器可用并触发用于每个显示的注释符号的一个显示的注释符号信标58。
[0101]
接下来，呈现示出消息如何在不同实体之间发送的序列图。消息包括用户向能够注释的网页浏览器24或普通网页浏览器的输入，以及电子设备和计算机系统之间的电子消息。在图3中的示例性实施例中示出了能够注释的网页浏览器24。这些序列图适用于一类示例性实施例。在呈现序列图之后，将呈现一些消息的变型形式。通过更准确地指定消息，可以讨论特定的示例性实施例。
[0102]
图14示出了适用于一类示例性实施例的序列图。在图14中，序列图示出了用户59、能够注释的网页浏览器24、url服务器60、注释服务器61、电子数据库62和内容传送网络63之间的交互。当在步骤64用户59访问url后，在步骤65，能够注释的网页浏览器24请求网页文档，并且在步骤66，url服务器60请求返回网页文档，然后在步骤67，能够注释的网页浏览器24向用户59显示文档。在步骤68，下一个用户59键入输入以创建注释，此后，在步骤69，能够注释的网页浏览器24将表示注释的数据元素包发送到注释服务器61，如果图像存在的话，注释服务器61在步骤70向内容传送网络63发送图像用于存储，内容传输网络63在步骤71返回用于发送图像的url。接着，注释服务器61在步骤72发送指令以将来自内容传送网络的非图像数据元素包和url作为注释对象存储到电子数据库62，电子数据库62在步骤73告知注释对象的存储。然后，注释服务器61在步骤74告知接收到数据元素包并将注释显示包发送给能够注释的网页浏览器24，该网页浏览器24在步骤75向用户59显示指示注释成功创建的显示的注释包。步骤69中涉及表示注释的数据元素包。该数据元素包可以根据示例性实施例的实现细节和注释的类型而变化。
[0103]
图14中示出了适用于一类示例性实施例的序列图。根据表示注释或高亮显示文本的数据元素包的特性，注释服务器61可以记录不同的数据，并且能够注释的网页浏览器24可以显示不同的视图，这是因为当生成注释或高亮显示文本的显示图示时，接收到不同的数据并且可以从其选择不同的数据。接下来，将在示例性实施例中讨论可以起到图14中的数据元素包的作用的屏幕快照包和注释符号包。另外，图14可以适用于注释显示包是屏幕快照显示包或注释符号显示包的示例性实施例。屏幕快照显示包与屏幕快照包对应，注释符号显示包与注释符号包对应。当图14使用数据元素包和注释显示包时，使用这些对应的对。
[0104]
示例性实施例中的屏幕快照包包括用于文档的统一资源定位符(url)、用于表示来自文档文件的所选文本段的数据(所选文本段表示注释)以及显示所选文本段的一部分文档的标记的屏幕快照(其中所选文本段被视觉标记)。屏幕快照包还可以包括用于在文档
中找到所选文本段的信息。用于在文档中找到所选文本段的该信息通常包括文档对象模型(dom)信息。注释屏幕快照包是也包括注释批注32的屏幕快照包，如图7所示的示例性实施例所示。屏幕快照包还可以包括用于表示注释符号的数据。可以使用没有注释批注32的屏幕快照包。在这种情况下，表示没有注释批注32的高亮显示文本的数据以及表示高亮显示文本的相关联的标记的屏幕快照在该屏幕快照显示包中。
[0105]
在示例性实施例中，注释符号包括包括用于文档的统一资源定位符(url)、用于表示来自文档的所选文本段的数据(其中所选文本表示注释)、注释批注32和注释符号。图7中的示例性实施例可以是一个有帮助的参考。屏幕快照包还包括用于在文档中找到所选文本段的信息。用于在文档中找到所选的文本段的该信息通常包括文档对象模型(dom)信息。注释符号包还可以包括一部分文档的标记的屏幕快照，该屏幕快照示出被视觉标记的所选的文本段。根据期望的行为，可以需要或不需要标记的屏幕快照。
[0106]
在示例性实施例中，用于在文档中找到所选文本段的dom信息可以包括用于在dom中找到包含所选文本的第一字符的元素以及用于在dom中找到包含高亮显示文本的最后字符的元素的信息以及高亮显示文本自身。这两个元素被称作高亮显示文本开始元素和高亮显示文本结束元素。标签、id、类、索引、内容、xpath和父类记录关于高亮显示文本开始元素和高亮显示文本结束元素的信息。此外，高亮显示文本起始元素的祖先元素被记录。标签、id、类别、索引和内容记录高亮显示文本起始元素的祖先元素。为了在以后的时间点定位指定的高亮显示文本，dom通过标记和id进行搜索，然后通过xpath进行搜索，然后通过标记、类以及索引进行搜索，然后通过标记和类进行搜索，然后通过标记和索引进行搜索，然后仅通过标记进行搜索。简单的xpath搜索是不够的，因为可能已经对网页进行了编辑，或者网页的dom结构可能由于将元素插入dom的javascript代码的执行而改变。在这个示例性实施例中，目标是即使已经对网页进行了编辑，也能找到所选文本。为了便于在不同的场景中找到所选文本，使用了多种搜索方法。一旦高亮显示文本开始元素和高亮显示文本结束元素被定位，就更容易找到所选高亮显示文本。
[0107]
另一个关注是访问网页上通过javascript代码到网页的dom中的元素插入。这些插入的元素也可以被注释。为了便于该过程，可以使用浏览器的变动观察器。一旦检测到改变，就可以重新运行dom结构检测代码。如果找到高亮显示文本开始元素和高亮显示文本结束元素，则可以插入高亮显示文本。对于注释高亮显示文本，也可以插入显示注释符号。
[0108]
如果所发送的屏幕快照包或注释符号包包含标记的屏幕快照，则通过包括调整大小、剪裁和图像改变等各种操作从该标记的屏幕快照创建图像的存储组。执行这些操作以生成在不同尺寸屏幕上的不同查看区域中看起来良好的图像。一旦创建了标记的屏幕快照的该存储组，则确定是否将这些标记的屏幕快照存储在内容传送网络(cdn)中是有价值的。对于缩略图标记的屏幕快照，在屏幕快照包或注释符号包中存储具有所有其它数据的数据可能是有益的。对于较大的标记的屏幕快照，通常最好使用内容传送网络来存储这些图像，该内容传送网络也可以使这些图像可用于传送。如一些图中所示注释服务器61通常决定将存储组中的哪些图像存储在如一些图中所示的电子数据库62中，以及将哪些图像发送到内容传送网络。当图像被存储时，内容传送网络通常回复url。这些url与屏幕快照包或注释符号包的其余部分一起存储。
[0109]
可传送的屏幕快照是存储在如一些图中所示的电子数据库62中的实际图像或
url。当数据被发送到客户设备时，url可用于从内容传送网络获取图像。如果直接发送图像，则可以简单地显示该图像。最终，是注释对象被存储在电子数据库62中。注释对象通常包括屏幕快照包或注释符号包中的所有接收数据以及用于存储组中的每个标记的屏幕快照的可传送的屏幕快照。
[0110]
为了使广告商能够以相关广告联系到与用户当前正在参与的内容相关的消费者，广告屏幕快照包和广告注释符号包可以潜在地与他们各自的广告屏幕快照显示包和广告注释符号显示包一起被调配。显示的广告屏幕快照包是广告屏幕快照显示包中数据的可视显示的形式，显示的广告注释符号包是广告注释符号显示束中数据的可视显示的形式。图7可用于说明目的，但是显示的注释符号由广告显示的注释符号代替。在示例性实施例中，广告屏幕快照包包含由广告商创建的注释批注32，该注释批注32与注释高亮显示文本27相关。广告注释符号包包含表示广告的注释符号。虽然注释符号包包含注释符号，但是屏幕快照包也可以包括注释符号。虽然屏幕快照包包含标记的屏幕快照，但是注释符号包也可以包含标记的屏幕快照。图9可用于说明目的，但是显示的注释符号由广告显示的注释符号代替。此外，注释批注由广告商连同其它元素一起创建，但是整体形式应当类似于其它注释项目框。当包括标记的屏幕快照时，设计性能系统可能需要创建存储组并且使用内容传送网络来分发这些标记的屏幕快照。在示例性实施例中，这些广告快照包和广告注释符号包通常通过与注释服务器通信的广告服务器来存储和管理。广告服务器在序列图中没有明确示出，但是可以被插入。为了合并单个广告，页面尺寸可以减小一个广告。在如一些图中所示的注释服务器61准备一页呈现注释的项目之后，注释服务器61可以与广告服务器61通信来获得1个广告。
[0111]
通过作为某种类型的描述逻辑的实现形式的本体模型，语义网页提供万维网上可用的一些网页和文档的语义描述。这些本体模型需要为不同的领域创建，并且这些本体模型能够以通过描述逻辑进行的一样的逻辑形式表达该领域内的概念。通过诸如kbpedia等和其他项目，可获得先前存在的本体模型的集合。描述逻辑是在具有一些一阶逻辑特性的数学逻辑中定义的逻辑族。取决于逻辑族的性能，它具有不同的计算特性。使用存在的本体模型，通常可以做出逻辑语句。在一个示例性实施例中，这些逻辑语句可以被翻译成自然语言，并且自然语言中的一些句子可以使用神经机器翻译技术翻译成在逻辑内做出的语句。也可以使用其它深度学习技术。机器学习和深度学习模型可以将一些自然语言句子翻译成特定本体模型中的语句。在该示例性实施例中，该方法可用于广告目的。广告商可以在涉及产品或服务的本体模型中表达关于产品或服务的概念并书写逻辑语句。然后可以将这些逻辑语句键入到广告平台中。然后，广告服务器可以识别包含自然语言文本的网页和文档，所述自然语言文本可以被翻译成由广告商选择的本体模型中的语句，以表达关于正被广告的产品或服务的概念。此外，广告服务器可以确定这些网页和文档中的哪些包含表达与广告商表达的语句相似或逻辑上相关的语句的自然语言文本。一旦这些网页和文档连同文档内的相应位置被识别，广告商就可以有机会在网页或文档上的该特定位置或链接到该特定位置的某个地方进行广告。利用逻辑分析器，可以确定网页或文档中出现的语句的不同结果。使用该信息，网页或文档的集合连同文档内的位置一起，可以被缩小以找到广告商的最佳潜在适合位置。通过图片内容描述、语音识别和文本摘要，图片、视频和声音记录可以被翻译成文本。在一些情况下，这个文本可以被翻译成广告商所使用的相同本体模型中的语句。
在此完成之后，逻辑分析器可用于确定显示给广告商以供广告商考虑的最适合的候选方案。基于广告商的选择，广告平台可以生成广告以放置在广告服务器中。此外，在该示例性实施例中，可以创建本体模型以用于表达关于在例如保险、金融服务、法律服务和保健等不同领域中销售的产品和服务的事实。然后，这些本体模型可以由这些领域中的各种组广告和销售服务使用，以创建关于它们的产品和服务的逻辑上正确和有表现力的语句，然后搜索诸如网页、网页文档、图片、视频和声音记录等媒体。然后，该媒体可以联系到消费该媒体的观众，并且广告商可以知道该观众可能熟悉由广告商在本体模型中做出的语句。此外，在这个示例性实施例中，媒体源本身与广告商语句具有逻辑关系，并且广告商可以使用该逻辑关系来提供满足消费者需求的更多定制产品和更多定制目标。
[0112]
对于图14，为了说明示例性实施例的细节，应该说明数据元素包以及关于存储组和可传送屏幕快照的细节。数据元素包可以是屏幕快照包及其相关联的数据元素。数据元素包也可以是注释符号包及其相关联的数据元素。应当确定不同类型的标记的屏幕快照的存储组、大小、分辨率、剪裁和其它性能。这通常是基于对显示器类型的考虑，这些标记的屏幕快照将与所显示的视图大小一起显示在该显示器上。在一些情况下，缩略图标记的屏幕快照将在存储组中。当这些缩略图尺寸小时，使用内容传送网络存储这些图像可能不是最有效的方法。可以更有效地将图像存储在电子数据库62、本地文件系统或其它本地位置中，而不是内容传送网络63中。说明可传送屏幕快照是实际图像还是存储在电子数据库中的url是另一个决定，该决定应当被考虑以说明实现的细节。对于本领域普通技术人员应当清楚，对于存储和检索图像，可以引入各种微小的变型。对于本领域普通技术人员来说，这些变型是可互换的，并且差别不大。
[0113]
图14和一些其它图中的电子数据库62可以采取从关系数据库到非关系数据库的各种形式。此外，电子数据库62可以是在一个或多个计算机系统上实现的分布式电子数据库系统。数据库的最有利特性可以根据数据库客户的数量和这些数据库客户的使用方式而变化。在示例性实施例的情况下，注释服务器61是数据库客户。为了处理具有不同的一致性、可用性和持续性需求以及不同的延迟请求的大量注释服务器，电子数据库或分布式电子数据库系统的特性可以变化。此外，分布式电子数据库系统可以以多种方式实现。
[0114]
此外，应当注意，在电子数据库62中存储图像有时会影响性能。在这种情况下，在数据库中存储引用标识并对某些图像使用另一存储机制是有益的。在内容传送网络63的情况下，该引用标识是url。然而，可以存储不是url的引用标识，然后使用另一种机制以可使用存储在电子数据库中的引用标识获取的方式来存储图像。在示例性实施例中，图像可以存储在本地文件系统上，并且数据库中的引用标识可以对应于文件的路径。在这种情况下，所述电子数据库和所述存储位置应被视为以更高性能的方式存储图像的分布式电子数据库。对于本领域普通技术人员应当清楚，可以引入对该技术的各种微小变型来存储和获取图像。对于本领域普通技术人员来说，这些变型是可互换的，并且差别不大。
[0115]
图15示出了适用于一类示例性实施例的序列图。对于图15，为了说明示例性实施例的细节，需要说明注释显示包和显示的注释包。另外，图15可以适用于注释显示包被屏幕快照显示包代替的示例性实施例。在这种情况下，需要说明包括数据元素的屏幕快照显示包，并且也应该说明可传送屏幕快照的获取机制。用户界面图、针对屏幕快照包描述的数据元素和前面讨论的考虑可以用于说明注释显示包和显示的注释包。当存在注释高亮显示和
标记的屏幕快照而没有注释批注时，通常使用显示屏幕快照包。当存在标记的屏幕快照、注释高亮显示和注释批注时，使用显示的注释屏幕快照包。在图15中，序列图示出了用户59、能够注释的网页浏览器24、注释服务器61、电子数据库62和内容传送网络63之间的交互。在步骤76，用户59访问注释服务器的url之后，在步骤77，能够注释的网页浏览器24从注释服务器61请求注释服务器的组织页面，在步骤78，注释服务器61从电子数据库62查询组织页面所需的注释对象，在步骤79，电子数据库62将注释对象返回到注释服务器61。然后，在步骤80，注释服务器61将具有注释显示包的注释服务器的组织页面返回到能够注释的网页浏览器24，在步骤81，网页浏览器24在释服务器的组织页面被返回时，请求用于返回的注释显示包的url的图像。最后，在步骤82，内容传送网络63将所请求的图像返回到能够进行注释的网页浏览器24，在步骤83，网页浏览器24向用户59显示具有显示的注释包的组织页面。接着，在步骤84，用户59键入在能够注释的网页浏览器24中移动注释的输入，在步骤85，能够注释的网页浏览器24请求注释服务器61移动注释，在步骤86，注释服务器61向电子数据库62发送移动注释对象的指令。在步骤87，作为响应，电子数据库62向注释服务器61告知注释对象移动，在步骤88，注释服务器61告知能够注释的网页浏览器24注释移动，在步骤89，网页浏览器24向用户59示出显示的注释包在新位置的内容。
[0116]
使用从如一些图中所示的注释服务器61发送的注释屏幕快照显示包中的数据来创建显示的注释屏幕快照包或注释项目框。使用从如一些图中所示的电子数据库62获取的注释对象中的数据来创建注释屏幕快照显示包。当查看类似于图10中的示例性实施例所示的组织网页的注释组织上下文区域43的项目箱44的屏幕快照包查看区域中的注释页面时，注释服务器61发送的数据是缩略图显示包的页面。这些缩略图显示包至少包括用于存储在电子数据库62中的注释对象存储组中的缩略图标记的屏幕快照的可传送屏幕快照。图9可用于说明目的。在示例性实施例中，缩略图显示包还包含可由网页浏览器显示的可读形式的数据，表示单独的上下文注释高亮显示文本38、单独的上下文注释批注40和单独的上下文问题显示的注释符号39。此外，对单独的上下文注释高亮显示文本38和单独的上下文问题显示的注释符号39进行颜色编码。所有这些一起工作的数据都使用户一目了然地获得更多的信息。显示的注释屏幕快照包也可以在注释细节网页中示出，以提供关于一个注释以及来自许多用户关于该注释的标记和答复的更详细信息。
[0117]
图16示出了适用于一类示例性实施例的序列图。为了使图16明确地说明一个示例性实施例，需要说明包括数据元素及外观的注释符号显示包和相应的显示的注释符号包。用户界面图、用于描述注释符号包的数据元素以及前面讨论的考虑可以用于进行本说明。在图16中，序列图示出了用户59、能够注释的网页浏览器24、url服务器60、注释服务器61以及电子数据库62之间的交互。在步骤90用户59访问url之后，在步骤91，能够注释的网页浏览器24向url服务器60请求网页文档，在步骤92，url服务器60随后将网页文档返回到能够注解的网页浏览器24。接下来，在步骤93，能够注释的网页浏览器24从注释服务器61请求表示注释的注释符号显示包，在步骤94，注释服务器61从电子数据库62请求注释对象。之后，在步骤95，电子数据库62向注释服务器61返回注释对象，在步骤96，注释服务器61将表示注释的注释符号显示包返回到能够注释的网页浏览器24，在步骤97，该能够注释的网页浏览器24显示具有关闭的显示的注释符号的网页文档，和注释，所述注释在鼠标悬停上方或点击时打开可见。
[0118]
图17示出了适用于一类示例性实施例的流程图。如果接收和存储的数据元素束可被准确地说明，则可以说明特定的示例性实施例。例如，我们可以明确地说明具有屏幕快照包及所有其数据元素，或者我们可以明确地说明注释符号包及所有其元素。在这种情况下，屏幕快照包或注释符号包是接收到的数据元素包。此外，如果数据元素包包含标记的屏幕快照，则应当说明可传送屏幕快照的存储组和存储机制。这些细节有助于说明实现方式。在示例性实施例中，存储组可以包括用于在大型监视器、膝上型计算机、平板电脑和电话上显示的标记的屏幕快照以及用于项目框的缩略图标记的屏幕快照。精确的尺寸可以被调节到目前正在使用的这些显示器的最普遍的尺寸。另外，在客户-服务器体系结构中，在步骤98，服务器将接收表示注释的数据元素包，并在步骤99，使用一个或多个计算机系统来存储所接收的数据元素和任何新创建的元素，以便满足由创建注释或简单高亮显示的用户的客户设备的能够注释的网页浏览器所提出的请求。图17中示出了由客户-服务器体系结构中表示服务器的一个或多个计算机系统实现的方法的流程图。该方法由服务器实现，以使得能够共享由同一客户或不同客户的客户用户界面所请求的数据。该方法的步骤是在步骤98接收表示注释的数据元素包，并且在步骤99使用一个或多个计算机系统存储所接收的数据元素和任何新创建的元素。
[0119]
图18示出了适用于一类示例性实施例的流程图。如果包括在包显示集中的数据元素被准确地说明，则可以说明特定的示例性实施例。这意味着说明显示包中的数据元素。在示例性实施例中，显示包可以是屏幕快照显示包或注释符号显示包。如果显示包是屏幕快照显示包，则包显示集将是图18中的屏幕快照包显示集。如果显示包是注释符号显示包，则包显示集将是图18中的注释符号包显示集。而且，在步骤100，在客户-服务器体系结构中的服务器将使用一个或多个计算机系统编译包括一页显示包的包显示集，并且在步骤101，以允许显示包由在电子设备上运行的网页浏览器显示的格式发送包显示集，以满足由正在查看网页文档或单独的上下文区域内的注释页的用户的客户设备上运行的能够注释的网页浏览器作出的请求。图18所示的流程图由一个或多个计算机系统实现。
[0120]
图19示出了适用于一类示例性实施例的流程图。一旦明确地说明数据元素包，就可以说明特定的示例性实施例。例如，我们可以明确地说明屏幕快照包和要包括的数据元素，或者我们可以明确地说明注释符号包和要包括的数据元素。图19中呈现了注释创建的流程图，示出了由网页浏览器扩展的指令集执行的步骤，在示例性实施例中，网页浏览器扩展的指令集将支持浏览器扩展添加的网页浏览器转变为如一些图中所示的能够注释的网页浏览器24。图19示出了创建注释时由用户59、网页浏览器102、网页浏览器扩展内容脚本103和网页浏览器扩展后台脚本104执行的步骤。在步骤105，用户59打开浏览器，然后在步骤106，网页浏览器102加载浏览器扩展。接着，在步骤107，用户59访问url，然后，在步骤108，网页浏览器102加载从访问的url发送的数据，并在步骤109注入内容脚本。现在，在步骤110，用户59查看网页，并在步骤111查看高亮显示文本。此时，在步骤112，网页浏览器扩展内容脚本103由于执行网页浏览器扩展中的指令而使注释符号选择按钮栏可用。接着，在步骤113，用户59按下与注释符号选择按钮栏上的一个注释符号相对应的按钮，在步骤114，网页浏览器扩展内容脚本103作为响应使注释输入框可用。接着，在步骤115，用户59键入文本并点击回车，在步骤116，网页浏览器扩展内容脚本103将数据元素包发送到后台脚本。此时，在步骤117，网页浏览器扩展后台脚本104从内容脚本接收数据元素包，并在步骤118，将
数据元素包发送到注释服务器。
[0121]
在图19中，在步骤115，用户59键入文本并点击回车之后，网页浏览器扩展内容脚本103应当生成注释符号包或屏幕快照包。示例性实施例可能需要注释符号包包括标记的屏幕快照。如果标记的屏幕快照是在服务器侧生成的，则网页可能必须被重新刷新或者屏幕快照可能必须被标记。这样做将是计算密集的并且容易出错。使用浏览器扩展生成标记的屏幕快照不会遇到这些问题。浏览器扩展应当确保用户的隐私得到保护。屏幕快照不应包括桌面或其它浏览器选项卡。而且，在示例性实施例中，屏幕快照应当用注释高亮显示文本27和注释批注框31来标记。注释高亮显示文本27和注释批注框31出现在图7中，这在这种情况下可能对于说明目的是有帮助的。在该示例性实施例中，在拍摄屏幕快照之前可以实现简单的延迟。该延迟应当足以确保注释高亮文本27和注释批注框31存在于大多数设备上。在替代示例性实施例中，可以实现更高性能的方法，其中网页浏览器扩展内容脚本103在文档dom结构中搜索注释突出文本27和注释批注框31的存在，并且一旦这些元素存在就进行屏幕快照。在文档dom结构中对注释高亮显示文本27和注释批注框31的存在的搜索将以比前面讨论的简单延迟时间更短的时间尺度的周期性间隔发生。在一个示例性实施例中，周期性间隔可以是所选择的简单延迟长度的三分之一。
[0122]
图20示出了适用于一类示例性实施例的流程图。一旦显示的注释符号包及所有其数据元素被明确地说明，就可以说明特定的示例性实施例。图20中呈现了查看注释的流程图，示出了由网页浏览器扩展的指令集执行的步骤，在示例性实施例中，该网页浏览器扩展的指令集将支持浏览器扩展的添加的网页浏览器转变为能够注释的网页浏览器。图20示出了在查看注释时由用户59、网页浏览器102、网页浏览器扩展内容脚本103和网页浏览器扩展后台脚本104执行的步骤。在步骤119，用户59打开浏览器，在步骤120，网页浏览器102加载浏览器扩展。接着，在步骤121，用户59访问url，然后在步骤122，网页浏览器102加载从访问的url发送的数据，并在步骤123，注入内容脚本。现在，在步骤124，网页浏览器扩展后台脚本104获取表示url的注释的注释符号显示包，并在步骤125，将注释符号显示包发送到内容脚本。现在，在步骤126，网页浏览器扩展内容脚本103从后台脚本接收注释符号显示包，并在步骤127，在网页上显示处于关闭状态的注释符号。现在，在步骤128，用户59查看具有关闭的显示的注释符号的网页，并在步骤129点击关闭的显示的注释符号。作为响应，在步骤130，网页浏览器扩展内容脚本103以打开形式显示注释符号。接着，在步骤131，用户59查看具有打开形式的所选的显示的注释符号的网页。
[0123]
在图31所示的示例性实施例中，示出了集合项目网页。集合项目网页上下文区域258是用于显示的项目、集合项目翻页机构259、集合项目搜索过滤器260和集合动作菜单触发器261的显示区域。集合动作菜单262显示发送消息到集合选项263、邀请用户选项264和改变用户许可选项265。集合动作菜单触发器261用于触发集合动作菜单262。集合项目翻页机构259可用于改变在集合项目网页上下文区域258中显示的显示集合的页面。发送消息到集合选项263创建具有第一文本消息的消息链，并将其发送到具有对集合的可读许可或更大许可的集合成员。消息链出现在用户的收件箱中。图33示出了用户的收件箱的示例性实施例。在图33中的示例性实施例中，示出了美国历史集合消息链281。使用发送消息到集合选项263发送到该集合的成员的消息将出现在分类在消息被发送到的集合之下的接收者的收件箱中。具有可读许可或更大许可的集合的所有成员将能够读取消息，并且具有可消息
传递许可或更大许可的所有成员将能够做出响应。邀请用户选项264可用于邀请新用户加入集合。邀请被发送到被邀请的用户的收件箱。改变用户许可选项265可用于改变那个集合的成员的许可。可以以消息链中的消息的形式向许可被改变的用户的收件箱发送改变的通知。
[0124]
在图31的示例性实施例中所示的诸如集合项目搜索过滤器260等的集合项目过滤器用于从用户接收输入。在集合项目页面上下文区域258的情况下，集合项目搜索过滤器260它是集合项目搜索短语。这些输入被转换为发送到如一些图所示的注释服务器61的集合项目参数值。注释服务器61使用这些集合项目参数值来将集合项目参数输入到由如一些图所示的电子数据库62使用的集合项目请求查询中。集合项目请求查询包括集合项目参数值和集合项目页码。具有集合项参数值的集合项请求查询被用于说明集合项目组以及关于那些集合项目的顺序排序。集合项目页码说明特定的集合项目页面。此外，集合项目请求查询可以包括指定数量的集合项目，所述集合项目将被发送到在客户电子设备上运行的网页浏览器。该集合项目请求查询包含用于集合项目过滤器数值的集合项目参数，例如集合项目搜索短语和要从指定的集合项目列表中排除的集合项目的排除列表，以及该收集项列表上的顺序排序。
[0125]
在图32所示的示例性实施例中，示出了集合网页。集合网页上下文区域266是用于显示的集合、集合页面翻页机构267、集合页面搜索过滤器268和集合页面动作菜单触发器269的显示区域。集合页面动作菜单270示出了拥有的过滤器选项271、可管理过滤器选项272、可写过滤器选项273、可留言过滤器选项274、可读过滤器选项275和订阅过滤器选项276。集合页面动作菜单触发器269用于触发集合页面动作菜单270。集合页面翻页机构267可用于改变在集合页面上下文区域266中显示的显示的集合的网页。所拥有的过滤器选项271、可管理的过滤器选项272、可写过滤器选项273、可留言过滤器选项274、可读过滤器选项275和订阅过滤器选项276基于用户许可来过滤集合。拥有许可是最高级别的许可，并且拥有许可被给予集合的创建者和所有者。所拥有的许可允许用户给予其他用户对那个集合的管理许可，并做任何低级别许可允许的事情。管理许可低于拥有许可，允许用户提高非管理许可并处理其它管理任务，以及做任何低级别许可允许的事情。可写许可低于管理许可，并且允许用户将项目添加到集合，并做任何低级别许可允许的事情。所述可留言许可低于所述可写许可，并且允许所述用户将消息发送到所述集合的其他成员，并且做可读许可允许的任何事情。可读许可低于可留言许可，并允许用户查看集合中的所有项目并读取该集合的所有集合消息。订阅许可给予用户对公共集合的可读许可。通常在没有管理员干预的情况下授予请求许可的用户订阅许可，因为集合和相关消息是公开的。为了允许用户可视化隐私设置，基于颜色分配背景颜色。与较短波长相关联的颜色意味着较大的许可，而与较长波长相关联的颜色意味着较小的许可。换言之，彩虹的颜色与许可相关联。紫色对应于拥有集合。蓝色对应于可管理集合。绿色对应于可写集合。黄色对应于可留言集合。橙色对应于可读集合。并且红色对应于订阅的集合。为了设计的目的，可以使用这些颜色的色粉变型。或者，可以使用表示谱值的另一组背景。这些背景适用于图32中的示例性实施例中的显示的集合。对于图31中的示例性实施例，网页的背景被改变到对应于与那个集合的许可相关联的颜色。
[0126]
在一个示例性实施例中，为了便于遍历包括在单个集合中的注释的大量项目，注
释可以被分组为堆叠的显示的注释项目组。这样的堆叠的显示的注释项目组看起来为单个项目，具有堆叠的项目可视外观。将来自相同url的注释，即显示的注释项目，多达9个注释或另一个固定的可配置值，放置在显示的注释项目的堆叠组中是有益的。为了便于这种显示，翻页机构应当支持以这种格式返回项目。作为示例，假设10个项目中的8个是属于同一url的注释项目。一旦这8个项目被分组到显示的注释项目的堆叠组中，在集合项目页面中就有3个项目。为了确保即使在使用显示的注释项目的堆叠组时存在10个项目，注释服务器61需要返回更多的项目。在示例性实施例中，使用关系数据库246，并且可能需要使用开窗函数的复杂结构化查询语言(sql)查询。通常，大多数现代网页框架使用对象关系映射(orm)系统来访问关系数据库246。在示例性实施例中，对象关系映射系统不处理开窗函数。为了克服该限制，使用由对象关系映射系统所用的下层关系代数库。使用该关系代数，使用适当的开窗函数生成复杂结构化查询语言查询。这允许显示具有显示的注释项目的堆叠组的集合项目页面。
[0127]
诸如图32中的示例性实施例中所示的集合页面搜索过滤器268等集合过滤器用于接收来自用户的输入。在集合页面上下文区域266集合页面搜索过滤器268的情况下，它是集合搜索短语。这些输入被转换为发送到如一些图中所示的注释服务器61的集合参数值。这些集合参数值由注释服务器61用于将集合参数输入到由如一些图中所示的电子数据库62使用的集合请求查询中。集合请求查询包括集合参数值和集合页码。具有集合参数值的集合请求查询被用于指定一组集合和关于那些集合的顺序排序。集合页码指定特定的集合页面。此外，集合请求查询可以包括将被发送到在客户电子设备上运行的网页浏览器的指定数量的集合。该集合请求查询包含用于集合过滤器数值的集合参数，例如集合搜索短语和要从指定的集合列表中排除的集合排除列表，以及在该集合列表上的顺序排序。
[0128]
在图33所示的示例性实施例中，示出了收件箱页面。集合消息链分区标题277包括美国历史集合消息链分区标题279以及汽车集合消息链分区标题280。集合消息链是与集合相关联的消息链。这些集合消息链出现在“集合消息”分区中，在集合消息链所属的集合名称下面。在这个示例性实施例中，美国历史集合消息链分区标题279列出美国历史集合消息链281，并且汽车集合消息链分区标题280列出汽车集合消息链一282和汽车集合消息链二283。未标记消息链是不与任何集合相关联的那些消息链。未标记消息链出现在“未标记消息”分区中。在该示例性实施例中，未标记消息链分区标题278包括未标记的消息链一284、未标记消息链二285和未标记的消息链三286。当用户点击在消息链上时，消息链出现在消息链上下文区域287。在消息链上下文区域287中，美国历史消息链的第一个系统消息288显示具有系统消息接受按钮289和系统消息拒绝按钮290。用户可按下系统消息接受按钮289接受加入集合的邀请，或者用户可以按下系统消息拒绝按钮290拒绝加入集合的邀请。
[0129]
在图34所示的示例性实施例中，示出在用户接受加入集合的邀请之的收件箱页面。系统消息通知291显示用户接受了加入集合的邀请。消息链消息分割线292将一个用户的消息与另一个用户的消息分开。本领域普通技术人员还应当清楚，消息链消息分割线292可以使用各种可视化设计技术来实现，以在该上下文中将一个用户的消息与另一个用户的消息分开。接着，示出了美国历史消息链的第一文本消息293、美国历史消息链的第二文本消息294和美国历史消息链的第三文本消息295。并且，写消息分区标题296与写消息框297和消息发送按钮298一起示出。该收件箱具有许可管理系统和到集合的连接。当用户被授予
对消息链的许可时，消息链中的所有其它消息都是可见的，即使当创建消息链时用户最初没有访问权。这便于讨论，并且在消息链的级别上控制访问。此外，系统消息链通常确保组成员的活动和许可通知集合管理员。另外，具有可留言许可的用户可以将具有单个消息的消息链发送到集合中的用户或集合中的所选组的人。能够创建集合链有助于阐明讨论的主题，并引导用户注意用户想要关注做的集合或任务。
[0130]
如果用户已经在网站上，则收件箱是邀请用户到集合的有效手段。如果用户已经在网站上，则收件箱对于与其他用户共享项目也是有效的。为了在用户不在网站上时便于项目和集合共享，使用具有加密散列的链接。这些链接不能被推测出，并且具有该链接的用户不需要创建账户以访问链接。简单地拥有链接就足以共享。此外，包括注释和集合的公共项目可以通过社交媒体网站共享。
[0131]
图21中显示出护士使用如一些图中所示的具有记事本功能的能够注释的网页浏览器24的示例性实施例的流程图。护士想要教导患者米饭对糖尿病患者不利，然后向患者显示可以修改自己喜欢的菜肴，使其对糖尿患者更加友好。一旦创建了该记事本，该记事本可以与患者共享。护士在第1天任务132处，在步骤134访问血糖指数维基百科页面，高亮显示“美国糖尿病协会支持”，并创建检查注释以及注释批注语句“大多数医生强烈认为高血糖指数食物对糖尿病患者的健康具有负面影响”，并在步骤135，将注释添加到记事本中。接着，在步骤136，护士访问allrecipes.com，找到一种菜肴，如“美味西班牙八宝饭”，高亮显示“1杯生白米”，并创建感叹注释及注释批注语句“大米的血糖指数很高，但是可以用薏仁制作该同一配方”。然后在步骤137，将注释添加到记事本中。之后，在步骤138，护士访问哈佛健康网站，找到100+食物的血糖指数页面，用感叹注释高亮显示“煮沸的白米*”，并陈述“大多数人没有认识到白米具有如此高的血糖指数。注意，白米血糖指数是73，它高于大多数食物”，并在步骤139，将注释添加到记事本中。接着，在步骤140，护士访问哈佛健康网站，找到100+食物的血糖指数页面，用依赖注入注释高亮显示“薏仁”，并且陈述“大多数人没有认识到薏仁具有如此低的血糖指数。注意薏仁血糖指数是28，其低于大多数食物”，并在步骤141，将注释添加到记事本中。之后，在步骤142，护士访问目标网站，找到薏仁的产品页面，用于依赖注入注释选择“薏仁-1英镑-market pantry”，并且陈述“薏仁可以像大米一样在电饭煲中制作。此外，煮熟的薏米具有类似谷物的外观和口感，使其成为大米的完美替代品。这可以在要求大米的配方中代替大米”，并在步骤143，将注释添加到记事本中。创建记事本后，护士在第2天任务133处，在步骤144，与喜欢作西班牙米饭的糖尿病患者共享记事本。
[0132]
图22中显示了患者使用具有记事本功能的能够注释的网页浏览器24的示例性实施例来查看由护士创建的记事本的流程图。在患者第2天任务145处，在步骤147，打开记事本链接，并且点击嵌入记事本中的第一个显示的注屏幕快照包，并且在步骤148，在观察到显示的注释符号的检查标记后，读取血糖指数维基百科标题，并读取高亮显示文本“美国糖尿病协会支持”，然后读取注释批注“大多数医生强烈认为高血糖指数食物对糖尿病患者的健康具有负面影响”。接着，在步骤149，患者点击嵌入记事本中的第二个显示的注释屏幕快照包，并且在步骤150读取allrecipes.com标题“美味的西班牙八宝”，然后在看到感叹显示的注释符号后读取高亮显示文本“1杯生白米”，然后读取注释批注“大米的血糖指数很高，但是可以用薏仁制作该同一配方”。之后，在步骤151，患者点击嵌入记事本中的第三个显示
的注释屏幕快照包，然后在步骤152，读取哈佛健康网站标题“100+食物的血糖指数”，然后在看到感叹注释符号后，读取高亮显示文本“煮沸的白米*”，然后读取注释批注“大多数人没有认识到白米具有如此高的血糖指数。注意，白米血糖指数是73，它高于大多数食物”。接下来，在步骤153，患者点击嵌入记事本中的第四个显示的注释屏幕快照包，并且在步骤154，读取哈佛健康网站标题“100+食物的血糖指数”，然后在看到依赖注入显示的注释符号后，读取高亮文本，然后读取“薏仁”，然后读取注释批注“大多数人没有认识到薏仁具有如此低的血糖指数。注意薏仁血糖指数是28，其低于大多数食物”。之后，在步骤155，患者点击嵌入记事本中的第五个显示的注释屏幕快照包，并在步骤156，读取目标网站标题，注意到它是薏仁的产品页面，并在看到依赖注入显示的注释符号后读取高亮显示文本“薏米-1英镑-market pantry”，然后读取注释批注语句“薏仁可以像大米一样在电饭煲中制作。此外，煮熟的薏仁具有类似谷物的外观和口感，使其成为大米的完美替代品。这可以在要求大米的配方中代替大米”。在理解记事本的内容后，在患者杂货购物天任务146处，在步骤157，去目标网站并购买薏仁，做“美味西班牙薏仁八宝饭”。
[0133]
在图23所示的示例性实施例中，呈现了具有记事本特征的能够注释的网页浏览器24。具有记事本特征的能够注释的网页浏览器跟踪活动记事本是否存在，并且它允许用户从用户可访问的一组记事本中选择活动记事本。图23图示活动记事本159和记事本嵌入注释160。当活动记事本159存在时，所述具有记事本特征的能够注释的网页浏览器处于存在活动记事本的状态，并且当不存在活动记事本159时，所述具有记事本特征的能够注释的网页浏览器处于不存在活动记事本的状态。显示的记事本包括许多记事本嵌入注释160。记事本嵌入注释160是包括显示的注释包的容器，该显示的注释包示出包含在注释显示包中的数据。在示例性实施例中，记事本嵌入注释160包括显示的注释屏幕快照包，该注释屏幕快照包还包括注释符号。在替代实施例中，记事本嵌入注释160可以包括没有注释符号或注释批注的显示的屏幕快照包。用户可以通过点击图23中图示的添加到记事本图标158按钮来将注释添加到记事本。记事本包括注释对象引用列表。如一些图中所示的电子数据库62存储记事本对象以及注释对象引用列表。如一些图中所示的注释服务器61从电子数据库62检索记事本对象和注释对象，并且当它从能够注释的网页浏览器24接收到请求时，将记事本发送到能够注释的网页浏览器24。一旦活动记事本159被显示为显示的记事本，如在图23中的记事本嵌入注释160中所示，用户可以通过点击在记事本嵌入注释160上来简单地导航到注释。在一类示例性实施例中，每个记事本与包显示集相关联。在一个示例性实施例中，每个记事本可以与屏幕快照包显示集相关联。在另一个示例性实施例中，每个记事本可以与注释屏幕快照包显示集相关联。
[0134]
记事本包括通过链接到其它来源的丰富信息以及注释批注。该信息可以潜在地由记事本创建者书写的描述来扩充。使用这些记事本，可以以各种格式创建展示，包括pdf、微软word和各种其它开放源和专有文档格式。通过为每个注释依次包括如图9所示的具有标记文本的关联屏幕快照37、单独的上下文注释高亮显示文本38、单独的上下文问题显示的注释符号39和单独的上下文注释批注40来创建这些展示。此外，该信息可以通过使用自然语言处理技术以及图像描述技术生成的链接文章的文本摘要来扩充。此外，用户可以创建用于在指定点添加的书写描述，并且这些书写描述将在展示中输出。
[0135]
在图24所示的示例性实施例中，序列图显示了该示例性实施例中用户59、具有记
事本特征的能够注释的网页浏览器161、url服务器60、注释服务器61、电子数据库62和内容传送网络63之间为了创建笔记本进行的交互。首先，在步骤162，用户59访问具有记事本特征的能够注释的网页浏览器161中的url，在步骤163，具有记事本特征的能够注释的网页浏览器161从url服务器60请求网页文档，在步骤164，url服务器60将网页文档返回到具有记事本特征的能够注释的网页浏览器161，在步骤165，具有记事本特征的能够注释的网页浏览器161向用户59显示网页文档。接着，在步骤166，用户59键入输入以在具有记事本特征的能够注释的网页浏览器161创建“美味西班牙薏仁八宝饭”记事本，在步骤167，具有记事本特征的能够注释的网页浏览器161向注释服务器61发送请求以创建“美味西班牙薏仁八宝饭”记事本，然后在步骤168，注释服务器61向电子数据库62发送创建记事本对象的指令。然后，在步骤169，电子数据库62向注释服务器61告知创建记事本对象，在步骤170，注释服务器61向具有记事本特征的能够注释的网页浏览器161告知创建记事本，在步骤171，具有记事本特征的能够注释的网页浏览器161向用户59示出显示的记事本。接着，在步骤172，用户59键入输入以创建血糖指数注释，在步骤173，将注释屏幕快照包发送到注释服务器61，在步骤174，注释服务器61在需要时将用于存储的图像发送到内容传送网络63。在步骤175，内容传送网络63将存储的图像的url返回到注释服务器61，接着，在步骤176，注释服务器61向电子数据库62发送指令以创建具有内容传送网络url的血糖指数注释对象。接下来，在步骤177，电子数据库62向注释服务器61告知注释对象创建，并在步骤178，注释服务器61告知接收到注释屏幕快照包，并向具有记事本特征的能够注释的网页浏览器161发送注释快照显示包，在步骤179，具有记事本特征的能够注释的网页浏览器161向用户59示出显示的注释屏幕快照包。接下来，在步骤180，用户59在具有记事本特征的能够注释的网页浏览器161中将血糖指数注释添加到记事本，在步骤181，具有记事本特征的能够注释的网页浏览器161请求由注释服务器61将血糖指数注释对象引用添加到记事本，然后在步骤182，注释服务器61向电子数据库62发送将血糖指数注释对象引用添加到记事本对象的指令。然后，在步骤183，电子数据库62告知注释服务器61注释对象引用添加，在步骤184，注释服务器61告知具有记事本特征的能够注释的网页浏览器161血糖指数注释对象引用被添加到记事本，在步骤185，该具有记事本特征的能够注释的网页浏览器161给用户59显示侧面具有添加注释屏幕快照包的记事本的网页文档。
[0136]
在图25所示的示例性实施例中，序列图示出了示例性实施例中用户59、具有注释功能的能够注释的网页浏览器161、url服务器60、注释服务器61、电子数据库62和的内容传送网络63之间为了查看记事本进行的交互。首先，在步骤186，用户59访问具有记事本特征的能够注释的网页浏览器161中的任何url，在步骤187，具有记事本特征的能够注释的网页浏览器161向注释服务器61请求“美味西班牙薏仁八宝饭”记事本，在步骤188，注释服务器61从电子数据库62请求记事本对象。然后，在步骤189，电子数据库62将记事本对象返回到注释服务器61，在步骤190，注释服务器61将记事本返回到具有记事本特征的能够注释的网页浏览器161。接下来，在步骤191，具有记事本特征的能够注释的网页浏览器161向注释服务器61请求具有注释符号数据的血糖指数注释屏幕快照显示包，在步骤192，具有记事本特征的能够注释的网页浏览器161从电子数据库62请求血糖指数注释对象，在步骤193，电子数据库62将具有内容传送网络url的注释对象返回到注释服务器61，在步骤194，注释服务器61将具有内容传送网络url的注释屏幕快照显示包和注释符号数据返回到具有记事本特
征的能够注释的网页浏览器161。接着，在步骤195，具有记事本特征的能够注释的网页浏览器161使用来自内容传送网络63的内容传送网络url从内容传送网络63请求图像，在步骤196，内容传送网络63将指定url的图像从内容传送网络返回给具有记事本特征的能够注释的网页浏览器161，在步骤197，该具有记事本特征的能够注释的网页浏览器161向用户59示出显示的记事本。接着，在步骤198，用户59在具有记事本特征的能够注释的网页浏览器161中点击第一个显示的注释屏幕快照包，这在步骤199中向url服务器60请求网页文档，在步骤200，url服务器60将网页文档返回到具有记事本特征的能够注释的网页浏览器161，在步骤201，具有记事本特征的能够注释的网页浏览器161在网页文档上以打开状态示出显示的注释符号。然后，在步骤202，具有记事本特征的能够注释的网页浏览器161向用户显示记事本在其一侧的显示的注释符号处于打开状态并且浏览器滚动到适当位置网页文档。
[0137]
在图26所示的示例性实施例中，呈现了记事本创建的流程图，示出由网页浏览器扩展的指令集执行的步骤，在该示例性实施例中，该网页浏览器扩展将支持添加浏览器扩展的网页浏览器转换为具有记事本特征的能够注释的网页浏览器。在步骤203，用户59打开浏览器203，然后，在步骤204，网页浏览器102加载浏览器扩展。接下来，在步骤205，用户59访问url。之后，在步骤206，网页浏览器102加载从访问的url发送的数据，并且在步骤207注入内容脚本。之后，在步骤208，用户59查看网页，并且在步骤209创建记事本。结果，在步骤201，网页浏览器扩展内容脚本103创建记事本，然后，在步骤211，网页浏览器扩展后台脚本104向注释服务器发送请求以创建记事本。接着，在步骤212，网页浏览器扩展内容脚本103示出显示的记事本，并且在步骤213，用户59查看显示的记事本并将已经创建的注释添加到记事本。然后，在步骤214，网页浏览器扩展内容脚本103将已经创建的注释添加到记事本，在步骤215，网页浏览器扩展后台脚本104向注释服务器发送请求以将注释对象引用添加到记事本。
[0138]
在图27所示的示例性实施例中，呈现了记事本查看的流程图，示出了由网页浏览器扩展的指令集执行的步骤，在该示例性实施例中，该网页浏览器扩展将支持添加浏览器扩展的网页浏览器转换为具有记事本特征的能够注释的网页浏览器。在步骤216，用户59打开浏览器216，在步骤217，网页浏览器102加载浏览器扩展。之后，在步骤218，用户59访问任何url。接着，在步骤219，网页浏览器102加载从访问的url发送的数据，并在步骤220注入内容脚本。之后，在步骤221，用户59打开记事本，在步骤222，网页浏览器扩展内容脚本103请求记事本。接下来，在步骤223，网页浏览器扩展后台脚本104向注释服务器为记事本注释对象引用列表中的所有对应注释对象请求具有注释屏幕快照显示包和注释符号数据的记事本，并且在步骤224，网页浏览器扩展内容脚本103示出显示的记事本。之后，在步骤225，用户59查看显示的记事本，点击第一个显示的注释屏幕快照包，并且在步骤226，网页浏览器扩展内容脚本103向浏览器发送消息以访问url。然后，在步骤227，网页浏览器102访问url，并在步骤228，加载从url发送的数据。接着，在步骤229，网页浏览器扩展后台脚本104向注释服务器请求例如注释批注回复等添加的注释对象信息，并在步骤230，从注释服务器获得添加的注释对象信息。接着，在步骤231，网页浏览器扩展内容脚本103以打开状态示出显示注释符号，并在步骤232滚动到显示的注释符号的位置。之后，在步骤233，用户59查看滚动到打开状态的显示的注释符号位置的页面。
[0139]
在图28所示的示例性实施例中，呈现了系统图，示出了第一用户234、第二用户
235、第三用户236、第一用户浏览器237、第二用户浏览器238、第三用户浏览器239、注释服务器61、内容传送网络63和电子数据库62如何交互。用户与注释服务器61通信，注释服务器61将图像推送到内容传送网络63。用户还与内容传送网络63通信以获得图像和其它文件。用户不直接与电子数据库62通信。在本示例性实施例中，注释服务器61被设置在一个计算机系统上，电子数据库62被设置在有一个计算机系统上。将电子数据库62设置在与注释服务器61相同的机器上将减少所使用的机器的数量。应当解决的问题是系统的同时用户的数量。一旦解决了这个问题，系统就可能确定大小。在该示例性实施例中，内容传送网络63由第三方操作。内容传送网络(cdn)可以由第三方提供。许多第三方提供内容传送网络。这些内容传送网络可以配置有网页接口，并且可以经由应用程序编程接口(api)上载和访问文件。该应用程序编程接口可以是表述性状态传递(rest)应用程序编程接口。基于该第三方的文档来配置和使用这样的第三方内容传送网络对于本领域普通技术人员应当是清楚的。
[0140]
在图29所示的示例性实施例中，呈现了组件图，示出了如何能够建立允许不同组件隔离的更稳健的系统。分离关注点可以有利于提高安全性和便于将可再现的软件部署到机器网络。增加安全性、关注点分离和可再现部署可以有助于放大系统以处理大量用户。图29示出了简化版的通信的注释服务器61和电子数据库62，旁边为替代示例性实施例，显示了包括包括负载均衡器241、前端网页服务器242、注释应用程序编程接口服务器243、深度学习应用程序编程接口244和消息代理245的注释服务器。还示出电子数据库62包括关系数据库246和键值存储数据库247。在该示例性实施例中，负载均衡器241、前端网页服务器242、注释应用程序编程接口服务器243、深度学习应用程序编程接口244、消息代理245、关系数据库246和键值存储数据库247各自在具有一个或多个中央处理单元(cpu)、存储器和非瞬时计算机可读存储介质的单独机器上运行。此外，深度学习应用程序编程接口244具有图形处理单元(gpu)、张量处理单元(tpu)或现场可编程门阵列(fpga)中的至少一个。在图29所示的示例性实施例中，负载均衡器241机器具有4核的一个中央处理单元(cpu)，8gb的随机存取存储器(ram)和250gb的固态驱动器(ssd)，并且前端网页服务器242机器具有4核的一个中央处理单元，8gb的随机存取存储器和250gb的固态驱动器。注释应用程序编程接口服务器243机具有两个中央处理单元，每个中央处理单元具有32个核，总共64个核，64gb的随机存取存储器和2tb的固态驱动器。深度学应用程序编程接口244机具有32核的一个中央处理单元，128gb的随机存取存储器，各具有11gb的随机存取存储器的两个图像处理器，和2tb的固态驱动器。消息代理245机器具有4核的一个中央处理单元，32gb的随机存取存储器和1tb的固态驱动器。关系数据库246机器具有32核的一个中央处理单元，128gb的随机存取存储器，和2tb的固态驱动器，并且键值存储数据库247机器具有4核的一个中央处理单元，128gb的随机存取存储器，和1tb的固态驱动器。满足这些硬件规格的机器将允许该系统支持同时具有多个用户的多个用户。
[0141]
在图29所示的示例性实施例中，描述了硬件规格。现在将讨论这些规格的基本原理。负载平衡器241简单地将请求配置路由到适当的位置。结果，该机器的非瞬态计算机可读存储空间要求应当由250gb的固态驱动器来满足。与由系统的其余部分执行的计算相比，负载平衡器241具有更低的计算负载和更低的存储器负载。结果，每个核2gb是足够的，并且在给定的系统的其余部分的情况下，4个核是足够的。当系统按比例放大时，每秒执行更多指令的中央处理单元的核和更多的中央处理单元的核可以帮助保持负载均衡器241不成为
瓶颈。然而，给定图29所示的示例性实施例给出的规格，负载均衡器241不太可能是瓶颈。前端网络服务器242也不需要很多的非瞬时计算机可读存储空间、许多中央处理单元的核或许多存储器。该机器不存储用户数据，并且它所存储的前端代码可以由所分配的存储空间支持。而且，前端网页服务器242机器的中央处理单元的核简单地将所请求的资源发送给用户，并且用户在通常的使用期间不象用户的浏览器对注释应用程序编程接口服务器243进行应用程序编程接口调用那样频繁地请求前端代码。结果，前端网络服务器242机器的中央处理单元的核具有比注释应用程序编程接口服务器243的机器更低的计算负荷和存储器需求。注释应用程序编程接口服务器243的机器具有更大的计算负载，因为应用程序编程接口请求是在注释的创建、组织和查看期间由用户的网页浏览器作出的。注释应用程序编程接口服务器243的机器的总计算能力可能成为具有大量同时使用用户情况下的瓶颈。在示例性实施例中，该机器具有64个中央处理单元的核和64gb的随机存取存储器。如果注释应用程序编程接口服务器243代码是以线程安全的方式书写的，则每个中央处理单元的核的1gb的随机存取存储器是足够的。如果该代码不是线程安全的或网页框架是内存密集的，则建议注释应用程序编程接口服务器243每个中央处理单元的核使用2gb的随机存取存储器。为了放大注释应用程序编程接口服务器243以支持更多的用户，如果增加更多的机器将比为每个机器提供更多的中央处理单元的核和更多的随机存取存储器更经济。注释应用程序编程接口服务器243的硬盘大小主要是允许日志文件的存储。深度学习应用程序编程接口244可能从具有足够图形处理器随机存取存储器的两个图形处理器运行深度学习模型是有益的。中央处理单元的核和随机存取存储器处理中央处理单元密集的数据处理步骤，并将数据存入存储器以供图形处理单元使用。2tb固态驱动器可以存储大型深度学习模型和这些模型的其它数据。每当系统运行时，消息代理245应当运行，但是它不会面临计算能力的缺乏。提供32gb的随机存取存储器以确保足够的随机存取存储器能够用于存储可能包含图像的大消息。由于这些图像不是长期存储的，32gb的随机存取存储器就足够了。此外，4个核对于消息代理245是足够的。消息代理245在每秒指令方面具有比在该示例性实施例中的注释应用程序编程接口服务器243更低的计算处理要求。在这个示例性实施例中，键值存储数据库247使用一个内核。然而，键值存储数据库247使用随机存取存储器在存储器中存储例如注释对象等各种项目对象的信誉，和这些项目对象的用户信誉投票。此外，磁盘空间用于登录并用于暂时存储在存储器中的键值存储数据库的备份。关系数据库246具有128gb的随机存取存储器，以确保在操作期间数据库中的所有数据都可以存储在随机存取存储器中，具有2tb固态驱动器以确保足够的存储空间可用于登录，并且其具有32个核以提供计算能力来处理注释应用程序编程接口服务器243发送的查询。
[0142]
为了放大在图29中的示例性实施例中图示的系统，可以采取以下步骤。新的示例性实施例将具有一个或多个负载均衡器241，一个或多个前端网页服务器242，一个或多个注释应用程序编程接口服务器243，和一个或多个深度学习应用程序编程接口244。可以增加负载均衡器、前端网页服务器、注释应用程序编程接口服务器和深度学习应用程序编程接口服务器，以提高整个系统的性能。通常，消息代理可以被组织成消息代理集群。消息代理集群可用于放大该新的示例性实施例。大多数键值存储数据库247软件还具有创建键值存储数据库集群的能力。
[0143]
为了确保关系数据库246在新的示例性实施例中能够应对大多数用户，使用利用
线程而不是进程的关系数据库246是理想的。在一些情况下，线程情况下，每个线程占用大约256kb的存储器，而进程的情况下，每个进程占用10mb的存储器。这允许其连接依赖于线程的关系数据库比其连接依赖于进程的关系数据库具有20倍以上的更开放的连接。即使依赖进程进行开放连接的关系数据库使用连接池工具，基于线程的连接对于注释应用程序编程接口服务器243所建立的连接类型也是更好的。注释应用程序编程接口服务器243依赖于事务，并且具有性能需求。因此，与sql会话池或sql语句池相反，使用sql事务池是理想的。sql会话池具有较差的性能，并且sql语句池使得事务比使用sql事务池更难实现。当使用sql事务池时，基于线程的连接在计算机指令需要在不被关系数据库246使用的处理器上执行时导致最佳性能，因为当在外部处理器上进行工作时，连接保持打开。结果，关系数据库246可以被给予比关系数据库246能够处理的更少的sql语句来执行。这导致总体上较低的吞吐量。
[0144]
为了进一步增强关系数据库246的能力，通过创建读取副本来读取放大关系数据库246是有利的。可以通过减少关系数据库246上的写负载来进一步放大该系统。在新的示例性实施例中，通过由键值存储数据库247实现信誉投票可以减少写负载。为了进一步放大关系数据库的容量，在新的示例性实施例中，可以增加关系数据库246机器的cpu核和随机存取存储器的数量。可以采取的另一个步骤是，使用存储器中的关系数据库246，其实现sql而不限于大多数关系数据库的完全持续保证。这样的系统可以使用具有检查点保存和提前写入记录的存储器内数据库，以在断电的情况下不丢失数据库数据，除了在最后几秒内到达存储器内数据库的数据库数据。除了这些步骤，关系数据库可以使用通过无限带宽联网具有远程直接存储器访问(rdma)的高性能计算机(hpc)集群，允许关系数据库使用一台机器中本地可用的存储器之外的存储器，来进一步放大。因为这个高性能计算机集群可以被放大到几百或几千台机器，相应的关系数据库246可以支持大量的同时使用用户。
[0145]
在图30所示的示例性实施例中，示出了能够与注释服务器61和内容传送网络63通信的不同类型的客户电子设备248。所示的设备是笔记本249、台式计算机250、苹果平板251、安卓平板252、苹果手机253、安卓手机254、苹果网络电视255、安卓电视256和树莓派257。笔记本249、台式计算机250、安卓平板252、安卓手机254和树莓派257通过安装网页浏览器和网页浏览器扩展，支持具有记事本特征的能够注释的网页浏览器。yandex浏览器提供了一种支持安卓设备上的网页扩展的网页浏览器，安卓设备例如安卓平板252和安卓手机254。苹果平板251和苹果手机253通过safari网页浏览器和苹果扩展的安卓支持能够注释的网页浏览器。经由air网页的苹果电视255和安卓电视256当前可能不适于安装包括网页浏览器和网页浏览器扩展的能够注释的网页浏览器。此外，格式因素对于注释的创建可能不是理想的。然而，可以为这些设备创建与注释服务器通信的渐进式网页应用。这将使得注释材料的显示非常像数字相框显示图像。这将允许这些设备显示使用图30中所示的其它设备创建的注释的价值。
[0146]
现在将讨论图像、视频和声音记录的注释。将呈现示例性实施例中的图形用户界面图，示出在运行于处理器上的网页浏览器中运行什么系统显示和非临时计算机可读介质指令的最终结果。在示例性实施例中，非临时计算机可读介质指令可以是用于在处理器上运行的网页浏览器，或者非临时计算机可读介质指令可以被并入到能够注释的网页浏览器中。如前所述，在示例性实施例中，能够注释的网页浏览器是具有网页浏览器扩展的网页浏
览器。当使用能够注释的网页浏览器时，可以注释嵌入在任何网页中的图片、视频和声音记录。被注释的网站不需要包含用于注释嵌入的图片、视频和声音记录的计算机可读介质指令。当使用普通网页浏览器时，如果非临时计算机可读介质指令经由特定网站传送，并且内容的注释出现在该特定网站上，则可以注释图片、视频和声音记录。
[0147]
除了万维网上能够注释的网页、注释文档和媒体之外，用于移动设备和互联网电视的软件应用程序还可以使用实现这里所述的方法、技术和界面的非临时性计算机可读介质指令，以便注释互联网或本地内联网上的一组用户可用的图片、视频和声音记录。
[0148]
在讨论了图形用户界面之后，将讨论为在组件之间传输数据而创建的数据包。在讨论了相关的数据包时，将在已经讨论的系统体系结构和组件的上下文中讨论方法和系统体系结构。
[0149]
在图35所示的示例性实施例中，示出了具有图片注释主题300、图片注释主题边界框301、图片注释箭头302和框内注释批注303的图片299。图片注释主题300是图片中感兴趣的实体。图片注释主体300可以是人、汽车、足球、网球或其它可由人或计算机系统在图片内识别的对象。图片注释主题边界框301是由用户或计算机系统围绕图片注释主题300绘制的边界框。框内图片注释批注303由用户创建，并且注释批注应当涉及图片注释主题300。图片注释箭头302是一条可以在两侧具有箭头的线，它连接图片注释主题边界框301和框内图片注释批注303。图片注释主题边界框301、图片注释箭头302和框内图片注释批注303由用户创建，并且是包括在图片注释中的对象。用户可以从网页上某个地方的面板或浮动工具栏中选择矩形工具，并绘制图片注释主题边界框301。而且，用户可以输入文本并定位框内图片注释批注303。图片注释主题边界框301和框内图片注释批注303由图片注释箭头302连接。图片注释的对象可能不同时全部可见。例如，可能只有图片注释对象边界框301可见，图片注释的其它对象在用户鼠标悬停在图片注释主题300或图片注释对象边界框301上方之后才变得可见。图片注释的可见元素是那些不需鼠标悬停在某些其他元素上方就可见的那些元素。图片注释的鼠标悬停元素是当用户鼠标在图片注释的可见元素上方时才变得可见的那些元素。
[0150]
图片299下面是包括图片前注释箭头按钮304、图片后注释箭头按钮305、图片包括冲突按钮306、图片添加候选注释组按钮307、图片候选注释组列表框308以及图片创建注释组按钮309的控制面板。标签“图片添加到候选注释组”按钮307具有较短的名称“添加到注释组”。但是，图片注释首先被添加到图片候选注释组，其随后在用户点击图片创建注释组按钮309后成为图片注释组。图片注释包括诸如图片注释主题边界框301、图片注释箭头302和框内图片注释批注303之类的对象。图片注释可以包含一个以上图片注释对象300。在电子数据库62中，图片注释被存储为图片注释对象。然后由电子数据库62对这些图片注释对象分配顺序排序，这使得图片注释顺序排序。对图片注释的这种排序给出了前和后图片注释的概念的意义。假定当前图片注释不是候选图片注释，图片前注释箭头按钮304从显示的视图中移除包括在当前图片注释中的对象，然后将前图片注释中的对象添加到显示的视图中。假定当前图片注释不是候选图片注释，图片后注释箭头按钮305从显示的视图中移除包括在当前图片注释中的对象，然后将后图片注释中的对象添加到显示的视图中。图片注释组包括多个图片注释。在创建图片注释组之前，需要选择图片注释。在选择过程中，图片注释是候选图片注释。候选图片注释列在图片候选注释组列表框308中。图35图示了其中图片
注释还没有被添加到图片候选注释组列表框308的情形。因此，图片候选注释组列表框308中的消息是图片候选注释组列表空消息310。
[0151]
图片包括冲突按钮306通过图片候选注释组列表框308中列出的候选图片注释冲突确定图片注释的显示属性。可能的状态包括排除冲突和包括冲突。如果该图片包括冲突按钮306被点击，则将显示与在图片候选注释组列表框308中列出的候选图片注释冲突的图片注释。在图35所示的示例性实施例中，按钮的标签将改变为“排除冲突”。如果该按钮被再次点击，则将不显示与在图片候选注释组列表框308中列出的候选图片注释冲突的图片注释。如果点击图片创建注释组按钮309，将创建一个项目，该项目在点击图片创建注释组按钮309时显示包括在图片候选注释组列表框308中列出的所有图片注释的图片注释组。
[0152]
在替代实施例中，可以不显示图片注释主题边界框301和图片注释箭头302。在一个替代实施例中，只呈现图片注释主题边界框301和框内图片注释批注303。或者，在另一个替代实施例中，只有框内图片注释批注303呈现在图片注释主题300附近。
[0153]
在图36所示的示例性实施例中，示出了具有添加到图片候选注释组列表框308的第一图片候选注释组列表项311的图片299。该状态是通过在图35所示的示例性实施例的状态下点击图片添加到候选注释组按钮307而产生的。在图片注释已经被添加到候选图片注释组列表之后，通过在图36所示的示例性实施例的状态下点击图片后注释箭头按钮305来产生图37中图示的示例性实施例的状态。
[0154]
在图37所示的示例性实施例中，第二图片注释主题312与用户创建的第二图片注释主题边界框313、第二图片注释箭头314和框内第二图片注释批注315一起被示出。如果在图37所示的示例性实施例的状态下点击图片添加到候选注释组按钮307，则产生图38所示的示例性实施例的状态。
[0155]
在图38所示的示例性实施例中，示出了第二图片候选注释组列表项316。如果该图片创建注释组按钮309被按下，则包括在图38中该图片候选注释组列表框308中图示的两个注释的注释组将被创建。
[0156]
在图39所示的示例性实施例中，用户先前点击了图36中的图片包括冲突按钮306，从而允许显示冲突的图片注释。在从图36所示的状态下按下图片后注释箭头按钮305之后，可以导致图39中图示的状态。在图39中，示出了冲突图片注释箭头317和框内冲突图片注释批注318。
[0157]
在图40所示的示例性实施例中，示出了具有视频注释回放320的视频319。视频319示出视频注释主题321、视频注释主题边界框322、视频注释箭头323和框内视频注释批注324。视频注释主题321是视频中感兴趣的实体。视频注释主题321可以是人、汽车、足球、网球或视频中其它可由人或计算机系统识别的对象。视频注释主题边界框322是由用户或计算机系统围绕视频注释主题321绘制的边界框。框内视频注释批注324由用户创建，并且注释批注应当与视频注释主题321相关。视频注释箭头323是可以在两侧具有箭头的连接视频注释主题边界框322和框内视频注释批注324的线。视频注释主题编辑框322、视频注释箭头323和框内视频注释批注324由用户创建，并且是包括在视频注释中的对象。用户可以从网页上某个地方的面板或浮动工具栏中选择矩形工具，并绘制初始视频注释主题边界框322。而且，用户可以输入文本且定位框内视频注释批注324，并将它们用视频注释箭头323连接。当视频319播放时，视频注释回放320也播放。当视频注释回放320播放时，创建视频注释的
用户可以用鼠标移动视频注释对象边界框322，以确保视频注释对象边界框322在整个视频中被适当地定位。用户可以用鼠标移动框内视频注释批注324，以确保框内视频注释批注324在整个视频中被适当地定位。一旦已知框内视频注释批注324和视频注释主题边界框322的运动路径，视频注释箭头323的运动路径及其随时间的旋转、随时间缩短、随时间扩大以及随时间的位置可以对应于视频注释主题边界框322和框内视频注释批注的运动路径进行计算。用户还可以暂停视频并调整视频注释主题边界框322和框内视频注释批注的。视频注释的对象可能不是同时全部可见。例如，可能只有视频注释主题边界框是可见的，视频注释的其他对象在用户鼠标悬停在视频注释主题321或视频注释主题边界框322上方之后才变得可见。视频注释的可见元素是那些不需要鼠标悬停在某些其它元素上方就可见的元素。视频注释的鼠标悬停元素是当用户鼠标悬停在视频注释的可视元素上方时变得可见的那些元素。
[0158]
视频319下面是包括视频前注释箭头按钮325、视频后注释箭头按钮326、视频包括冲突按钮327、视频添加到候选注释组按钮328、视频候选注释组列表框329以及视频创建注释组按钮330的控制面包。视频添加到候选注释组按钮328的标签具有较短的名称“添加到注释组”。然而，视频注释首先被添加到视频候选注释组，该视频候选注释组随后在用户点击视频创建注释组按钮330后成为视频注释组。视频注释包括诸如视频注释主题边界框322、视频注释箭头323和框内视频注释批注324之类的对象。视频注释可以包含一个以上的视频注释主题321。在电子数据库62中，视频注释被存储作为视频注释对象。然后，这些视频注释对象由电子数据库62分配顺序排序，这使得视频注释顺序排序。对视频注释的这种排序给出了前和后视频注释的概念的意义。假定当前视频注释不是候选视频注释，视频前注释箭头按钮325从显示的视图中移除包括在当前视频注释中的对象，然后将前视频注释中的对象添加到显示的视图中。假定当前视频注释不是候选视频注释，视频后注释箭头按钮326从显示的视图中移除包括在当前视频注释中的对象，然后将后视频注释中的对象添加到显示的视图中。视频注释组包括多个视频注释。在创建视频注释组之前，需要选择视频注释。在选择过程中，视频注释是候选视频注释。候选视频注释列在视频候选注释组列表框329中。图40图示了其中视频注释还没有被添加到视频候选注释组列表框329的情形。因此，视频候选注释组列表框329中的消息是视频候选注释组列表空消息331。
[0159]
视频包括冲突按钮327通过视频候选注释组列表框329中列出的候选视频注释冲突确定视频注释的显示属性。对于视频注释，冲突意味着两个视频注释在某个时间点冲突。冲突可以在视频注释回放320的播放进度线上以红色图示。如果该视频包括冲突按钮327被点击，则将显示视频注释与在视频候选注释组列表框329中列出的候选视频注释冲突。在图40所示的示例性实施例中，按钮标签将改变为“排除冲突”。如果该按钮被再次点击，则将不显示与在视频候选注释组列表框329中列出的候选视频注释冲突的视频注释。如果点击视频创建注释组按钮330，则创建一个项目，该项目在点击视频创建注释组按钮330时显示包括在视频候选注释组列表框329中列出的所有视频注释的视频注释组。如果视频添加到候选注释组按钮328被点击，通过将第一视频候选注释组列表项335添加到视频候选注释组列表框329，将产生图40中的示例性实施例中图示的状态。
[0160]
在替代实施例中，视频注释主题边界框322和视频注释箭头323可以不被显示。在一个替代实施例中，仅呈现视频注释主题边界框322和框内视频注释批注324。或者，在另一
个替代实施例中，只有框内视频注释批注324呈现在视频注释主题321附近。
[0161]
在图40所示的示例性实施例中，视频319播放器控件与视频注释回放320分开。在另一个实施例中，可以将两个控件集成到一个回放控件中。这可能是更复杂的输入界面，但是它减少了在屏幕上显示的元素的数量。关于集成两个回放控件的批注也适用于图41、图42、图43、图44和图45中所示的示例性实施例。
[0162]
在图41所示的示例性实施例中，示出了视频注释主题边界框运动路径332、视频注释箭头运动路径333和视频注释批注输入框运动路径334。视频注释对象边界框运动路径332示出了视频注释对象边界框322的运动路径，它应当用作随着视频注释对象321在整个视频中移动时的视频注释对象321的边界框。视频注释箭头运动路径333示出了当视频注释箭头323随着视频319的时间进行而移动时的视频注释箭头323的运动路径。由于视频注释对象边界框322和框内视频注释批注324随时间移动，视频注释箭头323随时间平移、旋转、扩大和收缩。视频注释批注输入框运动路径334显示当框内视频注释批注324随着视频319的时间进行而移动时的框内视频注释批注324的运动路径。
[0163]
在图42所示的示例性实施例中，显示了第二视频注释对象336、第二视频注释主题边界框337、第二视频注释箭头338、第二框内视频注释批注339、第二视频注释对象边界框运动路径340、第二视频注释箭头运动路径一341、第二视频注释箭头运动路径二342、第二视频注释对象边界框最终位置343和第二视频注释箭头最终位置344。第二视频注释对象边界框337沿着第二视频注释对象边界框运动路径340跟随第二视频注释对象336至第二视频注释对象边界框最终位置343。第二视频注释箭头338随时间变换到第二视频注释箭头最后位置344。包括移动、旋转和收缩的变换由第二视频注释箭头运动路径一341和第二视频注释箭头运动路径二342来描述。第二框内视频注释批注339随时间保持固定。第二视频候选注释组列表项345在视频候选注释组列表框329中示出，这在用户点击视频添加到候选注释组按钮328时发生。
[0164]
在图43所示的示例性实施例中，用户先前已经在图41的示例性实施例中所示的状态下点击了视频包括冲突按钮327。结果，示出了与候选注释组列表中的视频注释冲突的视频注释。在图41的示例性实施例中所示的状态下点击视频包括冲突按钮327之后，点击视频后注释箭头按钮326之后，可能显示冲突视频注释箭头346和框内冲突视频注释批注347。在图43中的示例性实施例所示的状态下，冲突被图示出。然而，冲突可能发生在特定视频帧中未图示出的点处。在这种情况下，冲突可以在示例性实施例中的视频注释回放320的时间进度线上以红色图示。
[0165]
在图44所示的示例性实施例中，示出了声音记录回放348和声音记录注释回放349。在声音注释回放349下面示出了声音记录注释箭头350、声音记录注释批注框351、声音记录注释连接箭头352和声音记录派生注释框353。在声音记录注释回放349的下面是控制面板，该控制面板包括声音记录前注释箭头按钮354、声音记录后注解箭头按钮355、声音记录添加候选注释组按钮356、声音记录创建派生注释按钮357、声音记录候选注释组列表框358、声音记录创建注释组按钮359、声音记录派生注释批注输入框360。声音记录添加到候选注释组按钮356的标签具有较短的名称“添加到注释组”。但是，首先将声音记录注释添加到声音记录候选注释组，其随后在用户点击声音记录创建注释组按钮359之后，成为声音记录注释组。
[0166]
为了在图44所示的示例性实施例中创建声音记录注释，用户使用鼠标选择声音记录注释回放349的短段。在进行选择之后，产生自选择部分的中间，出现声音记录注释箭头350和声音记录注释批注框351，允许用户在声音记录注释批注框351中创建声音记录注释批注。声音记录注释包括诸如声音记录注释箭头350和声音记录注释批注框351之类的对象。声音记录注释回放349的短段可以标记为如图49中的嵌入式声音记录注释回放范围393所示。虽然图49显示的嵌入式声音记录以及标记的短段在用于声音记录回放348的回放条上，但是在声音记录注释回放349上可以使用相同类型的标记段。该段也可以不被标记，或者被标记的段可以在鼠标悬停在所选的段、声音记录注释箭头350或声音记录注释批注框351上方之后才能出现。此外，可以引入问题声音注释符号，其与图49中的问题嵌入声音注释符号394表现相似。
[0167]
声音记录注释可以包含一个以上所选的声音段。在电子数据库62中，声音记录注释被存储为声音记录注释对象。然后，这些声音记录注释对象由电子数据库62分配顺序排序，这使得声音记录注释顺序排序。对声音记录注释的这种排序给出了前和后声音记录注释的概念的意义。假定当前声音注释不是候选声音注释，则声音记录前注释箭头按钮354从显示的视图中移除包括在当前注释中的对象，然后将前声音注释中的对象添加到不播放的视图中。假定当前声音记录注释不是候选声音记录注释，声音记录后注释箭头按钮355从显示的视图中移除包括在当前声音记录注释中的对象，然后将下一个声音记录注释中的对象添加到所显示的视图中。声音记录注释组是用户想要收集在一起的一组声音记录注释。这些分组显示为单个项目，并且来自声音记录注释组的一个或多个声音记录注释可用于创建与这些一个或多个声音记录注释相关的派生声音记录注释。此外，派生声音记录注释与它所依赖的声音记录注释可以作为单个项目。通过点击声音记录添加到候选注释组按钮356，可以将声音记录注释添加到声音记录注释组。结果，新的声音记录注释出现在声音记录候选注释组列表框358中。一旦声音记录注释已经被添加到声音记录注释组中，用户就可以创建声音记录派生注释。声音记录派生注释是链接其它声音记录注释然后在连接到多个声音记录注释批注框的声音记录派生注释批注框353中添加注释的注释。声音记录派生注释批注框353与每个声音记录注释批注框351使用声音记录注释箭头352连接。通过选择期望的声音记录注释，然后点击声音记录创建派生注释按钮357来创建声音记录派生注释。然后，用户在声音记录派生注释批注输入框360中敲入声音记录派生注释批注361，然后敲击回车。在声音记录候选注释组列表框358中的是声音记录候选注释组列表项362。该列表包括声音记录注释和声音记录派生注释。声音记录候选注释组列表项362中的第一项是第一声音记录候选注释组列表项363。
[0168]
在图45所示的示例性实施例中，示出了视频319和视频注释回放320。在视频注释回放320下面示出了视频注释箭头364、视频注释批注框365、视频注释连接箭头366以及视频派生注释批注框367。在视频注释回放320下面的是包括视频前注释箭头按钮325、视频后注释箭头按钮326、视频包括冲突按钮327、视频添加到候选注释组按钮328、视频创建派生注释按钮368、视频候选注释组列表框329、视频创建注释组按钮330和视频派生注释批注输入框369的控制面板。视频添加到候选注释组按钮328的标签具有较短的名称“添加到注释组”。然而，首先将视频注释添加到视频候选注释组，其随后在用户点击视频创建注释组按钮330后成为视频注释组。为了在示例性实施例中创建视频注释，用户使用鼠标选择视频注
释回放320的短段。在做出选择之后，产生自选择部分的中间，出现视频注释箭头364和视频注释批注框365，允许用户在视频注释框365中创建视频注释批注。视频注释回放320的短段可以如图46中的嵌入式视频注释回放范围375所示被标记。虽然图46示出了嵌入式视频以及标记的短段在用于视频319的回放条上，但是在视频注释回放320上可以使用相同类型的标记段。该段也可以不被标记，或者被标记的段可以在鼠标悬停在所选的段、视频注释箭头364或视频注释批注框365上方之后才能出现。此外，可以引入问题视频注释符号，其与图46中的问题嵌入式视频注释符号376表现相似。
[0169]
如前所述用于不同的示例性实施例，视频注释包括诸如视频注释主题边界框322、视频注释箭头323和框内视频注释批注324之类的对象。视频注释可以包含一个以上的视频注释主题321。在电子数据库62中，视频注释被存储为视频注释对象。然后，这些视频注释对象由电子数据库62分配顺序排序，这使得视频注释顺序排序。对视频注释的这种排序给出了前和后视频注释的概念的意义。假定当前视频注释不是候选视频注释，视频前注释箭头按钮325从显示的视图中移除包括在当前视频注释中的对象，然后将前视频注释中的对象添加到显示的视图中。假定当前视频注释不是候选视频注释，视频后注释箭头按钮326从显示的视图中移除包括在当前视频注释中的对象，然后将后视频注释中的对象添加到显示的视图中。视频注释组是用户想要收集在一起的一组视频注释。这些分组显示为单个项目，并且来自视频注释组的一个或多个视频注释可用于创建与这些一个或多个视频注释相关的派生视频注释。此外，派生视频注释与它所依赖的视频注释可以作为单个项目。通过点击视频添加到候选注释组按钮328，可以将视频注释添加到视频候选注释组。结果，新的视频注释出现在视频候选注释组列表框329中。一旦视频注释已经被添加到视频候选注释组，用户就可以创建视频派生注释。视频派生注释是链接其它视频注释然后在连接到多个视频注释批注框的视频派生注释批注框367中添加注释的注释。视频派生注释批注框367与每个视频注释批注框365使用视频注释连接箭头366连接。通过选择期望的视频注释，然后点击视频创建派生注释按钮368来创建视频派生注释。然后，用户在视频派生注释输入框369中敲入视频派生注释批注370，并敲击回车。在视频候选注释组列表框329中的是视频候选注释组列表项371。该列表包括视频注释和视频派生注释。视频候选注释组列表项371中的第一项是第一视频候选注释组列表项372。可以点击视频创建注释组按钮330以在视频候选注释组列表框329中创建包括视候选注释的注释组。视频包括冲突按钮327，其以与图40、图41、图42和图43中所示的示例性实施例中的视频包括冲突按钮327相同的方式作用。
[0170]
在图46所示的示例性实施例中，示出了嵌入式视频373和嵌入式视频回放374。嵌入式视频373和嵌入式视频回放374存在于正在通过能够注释的网页浏览器查看的网页内。在图46所示的示例性实施例中，示出了嵌入式视频注释回放范围375、问题嵌入式视频注释符号376、不一致嵌入式视频注释符号377、嵌入式视频注释信标378、嵌入式视频注释信标问题符号379、嵌入式视频注释信标不一致符号380和嵌入式视频注释信标播放时间381。符号信标触发按钮57为嵌入式视频373中的每个视频注释触发一个完整显示的视频注释信标的显示，除非嵌入式视频373包含多于3个视频注释。当呈现多于3个视频注释时，替代的显示方法可以允许用户更好地可视化可查看的视频注释。完整显示的视频注释信标包括嵌入式视频注释信标回放范围375、嵌入式视频注释符号、嵌入式视频注释信标378、嵌入式视频注释信标符号和嵌入式视频注释信标播放时间381。嵌入式视频注释回放范围375高亮显示
了用户认为的与视频注释相关的时间范围。诸如问题嵌入式视频注释符号376和不一致嵌入式视频注释符号377等嵌入式视频注释符号传达所选视频段和视频注释批注之间的注释语义关系。嵌入式视频注释信标378用于引起用户注意视频注释的存在及其一些属性。嵌入式视频注释信标符号将所选视频段和视频注释批注之间的注释语义关系放在嵌入式视频注释信标378附近。嵌入式视频注释信标符号的两个例子是嵌入式视频注释信标问题符号379和嵌入式视频注释信标不一致符号380。放置在嵌入式视频注释信标378附近的嵌入式视频注释信标播放时间381传达与视频注释批注相关的视频段的长度。
[0171]
在图46所示的示例性实施例中，嵌入式视频注释回放范围375和问题嵌入式视频注释符号376显示在嵌入式视频373和嵌入式视频回放374的上下文中。但是，在图45所示的视频注释回放320上也可以使用视频注释回放范围和视频注释符号。
[0172]
在图47所示的示例性实施例中，示出了嵌入式图片382。嵌入式图片382存在于网页中，并且嵌入式图片注释主题383出现在嵌入式图片382内。在图47所示的示例性实施例中，示出了嵌入式图片注释主题边界框384、嵌入式图片注释箭头385和框内嵌入式图片注释批注386。嵌入式图片注释主题383是图片中感兴趣的实体。嵌入式图片注释主题383可以是人、汽车、足球、网球或其它可由人或计算机系统在图片内识别的对象。嵌入式图片注释主题边界框384是由用户或计算机系统围绕嵌入式图片注释主题383绘制的边界框。用户可以从网页上某个地方的面板或浮动工具栏中选择矩形工具，并绘制嵌入式图片注释主题边界框384。此外，用户可以键入文本和定位框内嵌入式图片注释批注386。框内嵌入式图片注释批注386由用户创建，并且注释批注应当与嵌入式图片注释主题383相关联。嵌入式图片注释箭头385是可以在任一侧具有箭头的连接在嵌入式图片注释主题边界框384和框内嵌入式图片注释批注386的线。嵌入式图片注释主题边界框384、嵌入式图片注释箭头385和框内嵌入式图片注释批注386由用户创建，并且嵌入对象包括在图片注释。
[0173]
图片注释的嵌入对象可能不是同时全部可见。例如，可能仅嵌入图片注释主题边界框384是可见的，图片注释的其他嵌入对象在用户鼠标悬停在嵌入式图片注释主题383或嵌入式图片注释主题边界框384上方之后才变得可见。图片注释的可见元素是那些不需要鼠标悬停在某些其他元素上方的嵌入元素。图片注释的鼠标悬停嵌入元素是当用户鼠标悬停在图片注释的可见嵌入元素上方时变得可见的那些嵌入元素。在鼠标悬停在图片注释的嵌入对象上方时，出现上下文变化注释控制栏框387。用户可以使用嵌入在上下文变化注释控制栏框387中的上下文变化注释控制栏34来改变隐私设置、通过电子邮件共享、通过社交媒体共享、将图片注释标记为不适当、假定有足够的许可从电子数据库删除图片注释对象62或者编辑包括图片注释的嵌入对象。而且，用户可以使用信誉选择器33对图片注释的信誉进行投票。
[0174]
在图48所示的示例性实施例中，示出了嵌入式视频373。嵌入式视频373和嵌入式视频回放374存在于网页内，并且嵌入式视频注释主题388出现在嵌入式视频373内。在图48所示的示例性实施例中，示出了嵌入式视频注释主题边界框389、嵌入式视频注释箭头390和框内嵌入式视频注释批注391。嵌入式视频注释主题388是视频中感兴趣的实体。嵌入式视频注释主题388可以是人、汽车、足球、网球或其它可由人或计算机系统在视频中识别的对象。嵌入式视频注释主题边界框389是由用户或计算机系统围绕嵌入式视频注释主题388绘制的边界框。当嵌入式视频注释对象388移动经过视频时，嵌入式视频注释对象边界框
389应当继续用作用于嵌入式视频注释对象388的边界框。框内嵌入式视频注释批注391由用户创建，并且注释批注应当与嵌入式视频注释主题388相关。嵌入式视频注释箭头390是在任一侧具有箭头的线，其连接嵌入式视频注释主题边界框389和框内嵌入式视频注释批注391。嵌入式视频注释主题边界框389、嵌入式视频注释箭头390和框内嵌入式视频注释批注391由用户创建，并且嵌入对象包括在视频注释中。
[0175]
用户可以从网页上某个地方的面板或浮动工具栏中选择矩形工具，并绘制初始嵌入式视频注释主题边界框389。此外，用户可以键入文本并且定位框内嵌入式视频注释批注391，并将它们用嵌入式视频注释箭头390连接。为了确保对象在视频播放时被适当地定位，用户或计算机系统还需要为嵌入式视频注释主题边界框389确定运动路径。创建视频注释的用户具有在视频随时间播放时跟踪嵌入式视频注释主题边界框389的路径的选项。当嵌入式视频回放374播放时，创建视频注释的用户可以用鼠标移动嵌入式视频注释主题边界框389，以确保嵌入式视频注释主题边界框389在整个嵌入式视频中被适当地定位。用户可以用鼠标移动框内嵌入式视频注释批注391，以确保框内嵌入式视频注释391在整个视频中被适当地定位。当用户拖动鼠标时，能够注释的网页浏览器、网页浏览器扩展或网页代码记录运动路径。下次视频播放时，嵌入式视频注释主题边界框389和框内嵌入式视频注释批注的路径将沿着它们各自的运动路径形成。一旦已知嵌入式视频注释主题边界框389和框内嵌入式视频注释批注391的运动路径，则嵌入式视频注释箭头390的运动路径连同其随时间的旋转、随时间的收缩、随时间的扩大以及随时间的定位可以对应于嵌入式视频注释主题边界框389和框内嵌入式视频注释批注391的运动路径计算。如果用于嵌入式视频注释主题388的期望边界框的大小随着视频播放而改变，则用户还可以暂停视频，并调整嵌入式视频注释主题边界框389和框内嵌入式视频注释批注391的大小。
[0176]
视频注释的嵌入对象可能不是同时全部可见。例如，可能仅视频注释对象边界框389是可见的，视频注释的其它嵌入对象在用户鼠标悬停在嵌入式视频注释主题388或嵌入式视频注释对象边界框389上方之后才变得可见。视频注释的可见元素是那些不需要鼠标悬停在某些其他元素上方的嵌入元素。视频注释的鼠标悬停嵌入元素是当用户鼠标悬停在视频注释的可见嵌入元素上方时变得可见的那些嵌入元素。当鼠标悬停在视频注释的嵌入对象上方时，出现上下文变化注释控制栏框387。用户可以使用嵌入在上下文变化注释控制栏框387中的上下文变化注释控制栏34来改变隐私设置、通过电子邮件共享、通过社交媒体共享、将视频注释标记为不适当、假定有足够的许可从电子数据库删除视频注释对象62或者编辑包括视频注释的嵌入对象。而且，用户可以使用信誉选择器33对视频注释的信誉进行投票。不同的嵌入式视频注释符号与注释语义关系组中的每个关系相关联。例如，问题嵌入式视频注释符号376指示视频注释的创建者分配视频的所选部分与视频注释批注之间的注释语义关系为问题关系。问题嵌入式视频注释符号376允许熟悉示例性实施例如何工作的用户知道用户可以在用户实际执行点击动作之前点击问题嵌入式视频注释符号376并且看视频注释批注，该视频注释批注为关于嵌入式视频注释重放范围375的问题。注释语义关系组中的五个关系对应于问题注释符号、不一致注释符号、一致注释符号、感叹注释符号和广告注释符号。这些注释语义关系是问题关系、不一致关系、一致关系感叹关系和广告关系。这些视频注释符号和视频注释语义关系适用于嵌入式视频注释回放范围375和框内嵌入式视频注释批注391之间的关系。
[0177]
在图49所示的示例性实施例中，示出了具有嵌入式声音记录注释回放范围393和问题嵌入式声音注释符号394的嵌入式声音记录392。嵌入式声音记录注释回放范围393指定对应于声音注释的声音记录所选部分。嵌入的声音注释符号与一组注释语义关系的元素相关联。每个注释语义关系示出了嵌入式声音记录注释回放范围393和声音注释批注注释之间的关系。不同的嵌入声音注解符号与注解语义关系组中的每个关系相关联。例如，问题嵌入声音注释符号394指示声音注释的创建者指定声音记录的所选部分和声音注释批注之间的注释语义关系为问题关系。问题嵌入式声音注释符号394允许熟悉示例性实施例如何工作的用户知道，在用户实际执行点击动作之前，用户可以点击问题嵌入式声音注释符号394，并看到声音注释批注是关于嵌入式声音记录注释回放范围393的问题。注释批注框31在鼠标悬停在嵌入式声音记录注释回放范围393上方时出现。用户可以使用嵌入注释批注框31中的上下文变化注释控制栏34来改变隐私设置、通过电子邮件共享、通过社交媒体共享、将声音注释标记为不适当、假定有足够的许可从电子数据库62删除声音注释对象或者编辑包括声音注释的嵌入对象。而且，用户可以使用信誉选择器33对声音注释的信誉进行投票。注释语义关系组中的五个关系对应于问题注释符号、不一致注释符号、一致注释符号、感叹注释符号和广告注释符号。这些注释语义关系是问题关系、不一致关系、一致关系、感叹关系和广告关系。这些声音注释符号和声音注释语义关系适用于嵌入式声音记录注释回放范围393和声音注释批注32之间的关系。
[0178]
在35、图36、图37、图38、图39、图40、图41、图42、图43、图44、图45、图46、图47、图48和图49中描述了本发明的各方面，可以理解，这些图形用户界面图中的每一项都可以由计算机可读程序指令来实现。接下来，将描述涉及图35，图36，图37，图38，图39，图40，图41，图42，图43，图44，图45、图46、图47、图48和图49中的示例性实施例中所图示的特征和功能的方法和系统，并且其与先前提出的材料相关。描述这些方法和系统涉及描述用于接收和存储数据的数据元素包以及用于在客户设备上发送和显示可视元素的显示包。在描述显示元素包时，将描述各种项目框。在描述这些项目框时，将讨论这些元素与所呈现的包括用户界面的其它元素的关系。将要描述的数据元素包、显示包和项目框被解释为示例性实施例的上下文中的描述。
[0179]
在示例性实施例的上下文中，现在将描述用于从客户设备接收数据并使用一个或多个计算机系统存储该数据的数据元素包。数据元素包是图片注释包、视频注释包、声音记录注释包、嵌入式图片注释包、嵌入式视频注释包、嵌入式声音记录注释包、注释组包、派生注释组包和具有派生注释的注释组包。
[0180]
在示例性实施例的上下文中，图片注释包包括一个或多个图片注释元。图片注释元是可以有意义地由其自身来注释图片的单元。例如，图片注释元可以包括如图36所示的示例性实施例中所示的图片注释主题边界框301、框内图片注释批注303、以及图片注释箭头302。但是，也可以在图片注释对象300附近单独使用框内图片注释批注303。因此，框内图片注释批注303可以是图片注释元本身。除了图片注释元之外，图片注释包括还包括关于被注释的图片的帧信息。帧信息包括由沿x轴的像素数和沿y轴的像素数确定的图尺寸。一旦确定了图像大小，则基于帧信息给出包括例如图片注释对象边界框301、框内图片注释批注303以及图片注释箭头302等图片注释元的元素的相对坐标。如果图片注释对象边界框301由其中心的x和y坐标、其宽度和其长度确定，则坐标被相对于图片的左下角确定。框内图片
注释批注303可以类似的方法连同框内图片注释批注中包含的注释批注的标记信息一起确定。该标记信息包含字体大小以及文本的格式信息。此外，关于文本的创建机制的信息在图片注释包中。创造机制可以是用户书写的、使用人工智能(ai)或深度学习模型的图像描述、另一注释或技术的组合。此外，用户名、机器学习模型和其它注释数据中的至少一个被记录。如果使用技术的组合，则该信息也在图片注释包中。图片注释箭头302可以由其起点和终点的x和y坐标以及确定箭头是否存在于起点和箭头是否存在于终点的信息来确定。再一次，相对于图片的左下角坐标被确。除了相对坐标信息之外，包括在注释元中的每个元素确定生成机制。生成机制确定该元素是否由用户、机器学习模型还是简单算法创建的。另外，用户名、机器学习模型名和算法名中的至少一个被记录。另外，也可以使用椭圆形。椭圆形由相对于图像左下角的中心的x和y坐标、椭圆的宽度、高度和旋转来确定。此外，生成机制与用户名、机器学习模型名和算法名中的至少一个一起被记录。
[0181]
在示例性实施例的上下文中，嵌入式图片注释包包含图片注释包内的所有信息以及图片所在网页或文档的url。应当用嵌入式图片注释对象383代替图片注释对象300、用嵌入式图片注释主题边界框384代替图片注释主题边界框301、用嵌入式图片注释箭头385代替图片注释箭头302、用框内嵌入式图片注释批注代替386代替框内图片注释批注303来解释为图片注释包写的描述。图36和图47应当详细查阅。如果文档是pdf或复杂网页，则还存储用于定位图像的信息，例如pdf文档的页面或图像的dom定位符等。
[0182]
在示例性实施例的上下文中，视频注释包包括一个或多个视频注释元。视频注释元是可以有意义地由其自身来注释视频的单元。例如，视频注释元可以包括如图41所示的示例性实施例中所示的视频注释主题边界框322、视频注释对象边界框运动路径332、框内视频注释批注324、视频注释批注输入框运动路径334、视频注释箭头323和视频注释箭头运动路径333。然而，在视频播放时，也可以使用框内视频注释批注324和视频注释输入框运动路径334，其中框内视频注释324在视频注释对象321附近。因此，框内视频注释批注324和视频注释批注输入框运动路径334可以自身是视频注释元。除了视频注释元之外，视频注释包还包括关于被注释的视频的帧信息。帧信息包括由沿x轴的像素数和沿y轴的像素数确定的视频大小。这应当包括视频区域319而不是视频注释回放区域320。一旦确定了视频大小，则基于帧信息给出包括例如视频注释主题边界框322、视频注释对象边界框运动路径332、框内视频注释批注324、视频注释批注输入框运动路径334、视频注释箭头323和视频注释箭头运动路径333等视频注释元的元素的相对坐标。如果视频注释对象边界框322由其中心的x和y坐标、其宽度和其长度确定，则坐标被相对于视频的左下角确定。视频注释主题边界框运动路径332应当确定视频注释主题边界框322随时间的演变。其确定了其中心的x和y坐标、其宽度和其长度随时间的变化。通过在视频注释回放范围期间的离散时间点处确定相对于视频左下角的x和y坐标以及这些离散时间步长之间的内插值机制来进行该确定。由于相对x坐标、相对y坐标、宽度和长度是实数，对于所有四个值，在离散时间点存储值和确定内插值方法的相同方法都是足够的。可能的内插值方法包括线性插值、样条曲线、贝塞尔曲线和其它方法。框内视频注释批注324和视频注释输入框运动路径334可以用类似的方法连同框内视频注释批注324中包含的注释批注标记信息一起确定。该标记信息包括文本的字体大小和格式信息。此外，关于文本的创建机制的信息在视频注释包中。创建机制可以是用户书写的、使用人工智能(ai)或深度学习模型的图像描述、另一注释或技术的组合。此外，
用户名、机器学习模型和其它注释数据中的至少一个被记录。如果使用技术的组合，则该信息也在视频注释包中。视频注释箭头323和视频注释箭头运动路径333可以由其起点和终点的相对x和y坐标以及确定箭头是否存在于起点和箭头是否存在于终点的信息来确定。视频注释箭头运动路径333的指定是通过确定在视频注释回放范围期间的离散时间点处的起始点和结束点的相对x和y坐标以及这些离散时间步长之间的内插值机制来完成的。再次，相对于视频的左下角确定坐标。除了相对坐标信息之外，包括在注释元中的每个元素确定生成机制。生成机制确定该元素是否由用户、人工智能或深度学习模型、另一注释或技术的组合创建的。另外，用户名、人工智能或深度学习模型名和算法名中的至少一个被记录。另外，也可以使用椭圆形。椭圆形由相对于视频左下角的中心的x和y坐标、椭圆的宽度、高度和旋转来确定。此外，生成机制以及用户名、人工智能或深度学习模型名和算法名中的至少一个被记录。视频注释符号信息也可以包括在视频注释包中。
[0183]
在示例性实施例的上下文中，嵌入式视频注释包包括视频注释包内的所有信息以及视频所在网页或文档的url。应当用嵌入式视频注释对象388代替视频注释对象321、用嵌入式视频注释主题边界框389代替视频注释主题边界框322、用嵌入式视频注释箭头390代替视频注释箭头323、用框内嵌入式视频注释批注391代替框内视频注释批注324、用嵌入式视频注释对象边界框运动路径代替视频注释对象边界框运动路径332、用嵌入式视频注释箭头运动路径代替视频注释箭头运动路径333、用框内嵌入式视频注释批注运动路径代替框内视频注释批注输入框运动路径334、并用嵌入式视频注释符号代替视频注释符号来解释为视频注释包写的描述。图和图48应当详细查阅。如果文档是pdf或复杂网页，则还存储用于定位视频的信息，例如pdf文档的页面或视频的dom定位符等。
[0184]
在示例性实施例的上下文中，声音记录注释包包括一个或多个声音记录注释元。声音记录注释元是能够有意义地由其自身来注释声音记录的单元。例如，声音记录注释元可以包括声音记录注释回放范围、声音记录注释符号和声音记录注释批注。然而，可以仅使用声音记录注释回放范围和声音记录注释批注。因此，声音记录注释回放范围和声音记录注释批注可以包括声音记录注释元本身。声音记录注释批注可以具有用于声音记录注释批注的相关联的标记信息。该标记信息包含字体大小以及文本的格式信息。此外，关于文本的创建机制的信息在声音记录注释包中。创建机制可以是用户书写的、使用人工智能或深度学习模型的声音识别、复制另一注释或技术的组合。此外，创建机制以及用户名、人工智能或深度学习模型名和其它注释引用中的至少一个被记录。当使用技术组合时，一个以上的源名称类型被记录。也可以基于声音搜索来确定声音记录注释回放范围。因此，用于声音记录回放范围的生成机制还应当与用户名、人工智能或深度学习模型名或其它注释批注中的至少一个一起记录。当使用技术组合时，一个以上的生成机制和源信息被记录。另外，声音记录帧信息被记录，以便于在声音记录注释回放控件上放置声音记录注释回放范围。
[0185]
在示例性实施例的上下文中，嵌入式声音记录注释包包含声音记录注释包内的所有信息以及声音记录所在网页或文档的url。应当用嵌入式声音记录注释回放范围393代替声音记录回放范围、用嵌入式声音记录注释符号代替声音记录注释符号以及用嵌入式声音记录注释批注代替声音注释批注来解释为声音记录注释包写的描述。而且，应当理解，嵌入式声音记录帧信息被与嵌入式声音记录注释包一起记录，以便于在嵌入式声音记录回放控件上放置嵌入式声音记录注释回放范围393。图44和图49应当详细查阅。如果该文档是复杂
的网页，则还存储诸如声音记录的dom定位符之类的用于定位声音记录的信息。
[0186]
在示例性实施例的上下文中，注释组包包括对包括在该特定注释组中的所有注释的引用。此外，关于是否注释冲突的信息与指示何时创建注释组以及冲突检测是否由用户或人工智能或深度学习模型完成的元数据一起被存储。执行冲突检测的用户和人工智能或深度学习模型中的至少一个也被存储在注释组包中。
[0187]
在示例性实施例的上下文中，派生注释组包包括对包括在该特定派生注释组中的所有注释的引用。此外，关于是否注释冲突的信息与指示何时创建注释组以及冲突检测是由用户或人工智能或深度学习模型完成的元数据一起被存储。执行冲突检测的用户和人工智能或深度学习模型中的至少一个也被存储在派生注释组包中。派生注释组包包含一个派生注释以及对包括在该特定注释组中的所有注释的引用。注释连接箭头可以从派生注释组包内存在的注释引用确定。在该示例性实施例中，仅存在一个派生注释，其提供绘制注释连接箭头的所有信息。此外，派生注释批注被存储在派生注释组包中。还存储派生注释批注的标记信息。该标记信息包含字体大小以及文本的格式信息。此外，关于文本的创建机制的信息在该派生注释组包中。创建机制可以是用户书写的、人工智能或深度学习模型生成的、另一注释复制的或技术的组合。此外，用户名、机器学习模型和其它注释数据中的至少一个被记录。如果使用技术的组合，该信息也在该派生的注释组包中。
[0188]
在示例性实施例的上下文中，具有派生注释包的注释组包括对存在于具有派生注释的那个特定注释组中的所有派生注释及注释的引用。此外，关于是否注释冲突的信息与指示何时创建注释组以及冲突检测是由用户或人工智能或深度学习模型完成的元数据一起被存储。执行冲突检测的用户和人工智能或深度学习模型中的至少一个也被存储在注释组包中。
[0189]
接下来，将描述某些类型的显示包和项目框。这些描述被解释为示例性实施例的上下文。在示例性实施例的上下文中，将被描述的显示包是图片注释显示包、视频注释显示包、声音记录注释显示包、嵌入式图片注释显示包、嵌入式视频注释显示包、嵌入式声音记录注释显示包、注释组显示包派生注释组显示包以及具有派生注释显示包的注释组。在示例性实施例的上下文中，将要描述的项目框是图片注释项目框、视频注释项目框、声音记录注释项目框、嵌入式图片注释项目框、嵌入式视频注释项目框、嵌入式声音记录注释项目框、注释组项目框、派生注释组项目框以及具有派生注释项目框的注释组。在示例性实施例中，显示包的一个目的是为网页浏览器提供数据以显示与该类型注释或媒体项目相关联的相应项目框。因此，将相对于在图9所示的示例性实施例中呈现的注释项目框36来描述项目框。除了注释项目框中的编号项目之外，注释项目框还包含项目框注释高亮显示文本、项目框注释符号、项目框注释批注和项目框url。一旦在一个示例性实施例的上下文中描述了各种项目框，可以示出对应于各种显示包的数据结构。另外，为了说明目的，有时参考已显示包是有帮助的。已显示包是使用显示包创建的可视输出。该可视输出被包含在项目框内。在诸如记事本之类的上下文中，已显示包可以在不需要整个项目框存在的情况下存在。
[0190]
在一个示例性实施例中，类似图9中的示例性实施例所示的注释项目框36，图片注释项目框将包括单独的上下文变化注释控制栏41和单独的上下文信誉选择器42。代替具有标记文本37的屏幕快照，图片注释项目框将包含图片的缩略图以及在缩略图图片上显示的图片注释。代替单独的上下文注释高亮显示文本38，单独的上下文问题显示的注释符号39
和单独的上下文注释批注40，图片注释项目框将具有图片注释批注。url将不存在于图片注释项目框，而是存在于嵌入式图片注释项目框。为了确保网页浏览器能够显示这些图片注释项目框，图片注释显示包应当包含该图片的标记缩略图图像，在标记缩略图图像上，图片注释与适当地调整大小和上覆的诸如图片注释主题边界框301、框内图片注释批注303以及的图片注释箭头302之类的对象一起显示。此外，图片注释显示包将需要包含图片注释批注、用户名和信誉信息。
[0191]
在一个示例性实施例中，类似于注释项框36，嵌入式图片注释项目框将包括单独的上下文变化注释控制栏41和单独的上下文信誉选择器42。代替具有标记文本37的屏幕快照，嵌入式图片注释项目框将包含嵌入式图片缩略图以及在缩略图图片上显示的图片注释。代替单独的上下文注释高亮显示文本38、单独的上下文问题显示的注释符号39以及单独的上下文注释批注40，嵌入式图片注释项目框将具有嵌入式图片注释批注。url将对应于包括用图片注释来注释的嵌入图片的url。为了确保网页浏览器能够显示这些嵌入式图片注释项目框，嵌入式图片注释显示包应当包含嵌入式图像的标记的缩略图图像，在标记缩略图图像上，图片注释与适当地调整大小和上覆的诸如嵌入式图片注释主题边界框384、框内嵌入图片注释批注386以及嵌入式图片注释箭头385之类的对象一起显示。此外，嵌入式图片注释显示包将需要包含嵌入式图片注释批注、用户名和信誉信息。
[0192]
在一个示例性实施例中，类似于图9中的示例性实施例所示的注释项目框36，视频注释项目框将包括单独的上下文变化注释控制栏41和单独的上下文信誉选择器42。代替具有标记文本37的屏幕快照，视频注释项目框将包含在某个选定时间点的视频帧的缩略图以及在同一选定时间点在视频帧的缩略图上显示的视频注释。此外，播放按钮可以允许缩略图视频播放，显示缩略图视频和视频注释的一部分。视频声音摘要文本将代替单独的上下文注释高亮显示文本38，所述视频声音摘要文本是对视频中的声音进行摘要的机器生成文本段。接下来，视频注释项目框将具有视频注释批注，并且视频注释项框还将具有确定视频声音摘要文本和视频注释批注之间的注释语义关系的视频注释符号。url将不存在于视频注释项目框，而是存在于嵌入式视频注释项目框。为了确保网页浏览器能够显示这些视频注释项目框，视频注释显示包应当包含在某个选定时间点的视频帧的标记缩略图图像，在标记缩略图图像上，视频注释与适当地调整大小和上覆的诸如视频注释主题边界框322、框内视频注释批注324以及视频注释箭头323之类的对象一起显示。在用户点击播放按钮的情况下，视频注释显示包将需要包含上覆视频注释的缩略图视频。另外，视频注释显示包将需要包含视频声音摘要文本、视频注释符号、视频注释批注、用户名和信誉信息。此外，将允许用户修改视频注释的机器生成方面。
[0193]
在一个示例性实施例中，类似于图9中的示例性实施例所示的注释项目框36，嵌入式视频注释项目框将包括单独的上下文变化注释控制栏41和单独的上下文信誉选择器42。代替具有标记文本37的屏幕快照，嵌入式视频注释项目框将包含在某个选定时间点的嵌入式视频帧的缩略图，以及在同一选定时间点在嵌入式视频帧的缩略图上显示的嵌入式视频注释。此外，播放按钮可以允许缩略图视频播放，显示缩略图视频和视频注释的一部分。代替单独的上下文注释高亮显示文本38的将是嵌入式视频声音摘要文本，其是对视频中的声音进行摘要的机器生成的文本段。接下来，嵌入式视频注释项目框还将具有嵌入式视频注释批注，并且嵌入式视频注释项目框还将具有确定嵌入式视频声音摘要文本和嵌入式视频
注释批注之间的注释语义关系的嵌入式视频注释符号。其中嵌入了视频的网页的url将被显示在嵌入式视频注释项目框中。为了确保网页浏览器能够显示这些嵌入式视频注释项目框，嵌入式视频注释显示包应当包含嵌入式视频帧在某个选定时间点的标记缩略图图像，在标记缩略图图像上，嵌入式视频注释和适当调整尺寸并上覆的诸如嵌入式视频注释主题边界框389、框内嵌入式视频注释批注391和嵌入式视频注释箭头390之类的对象一起显示在其上。在用户点击播放按钮的情况下，嵌入式视频注释显示包将需要包含上叠嵌入式视频注释的缩略图视频。另外，嵌入式视频注释显示包将需要包含嵌入式视频声音摘要文本、嵌入式视频注释符号、嵌入式视频注释批注、用户名和信誉信息。此外，将允许用户修改视频注释的机器生成方面。
[0194]
在一个示例性实施例中，类似于图9中的示例性实施例所示的注释项目框36，声音记录注释项目框将包括单独的上下文变化注释控制栏41和单独的上下文信誉选择器42。代替具有标记文本37的屏幕快照，声音记录注释项目框将包含被称作缩略图关联声音记录图像的表示声音记录的缩略图。这将通过首先创建将声音记录转换为文本表示的声音记录摘要文本来完成。这将通过使用语音识别和其它声音理解技术来完成。一旦创建了文本表示，就可以使用人工智能或深度学习模型来找到与该声音记录摘要文本相关联的图像。该图像将被称作关联的声音记录图像。表示关联的声音记录图像的缩略图是缩略图关联的声音记录图像。声音记录摘要文本将代替单独的上下文注释高亮显示文本38。接下来，声音记录注释项目框将具有声音记录注释批注，并且声音记录注释项目框还将具有确定声音记录摘要文本和声音记录注释批注之间的注释语义关系的声音记录注释符号。url将不存在于声音记录注释项目框，而是存在于嵌入式声音记录注释项目框。为了确保网页浏览器能够显示这些声音记录注释项目框，声音记录注释显示包应当包含缩略图关联的声音记录图像、声音记录摘要文本、声音记录注释批注、声音记录注释符号、用户名以及信誉信息。此外，将允许用户修改声音记录注释的机器生成方面。
[0195]
在一个示例性实施例中，类似于注释项目框36，嵌入式声音记录注释项目框将包括单独的上下文变化注释控制栏41和单独的上下文信誉选择器42。代替具有标记文本37的屏幕快照，嵌入式声音记录注释项目框将包含表示称为缩略图关联嵌入式声音记录图像的嵌入式声音记录的缩略图。这将通过首先创建将嵌入式声音记录转换为文本表示的嵌入式声音记录摘要文本来完成。这将通过使用语音识别和其它声音理解技术来完成。一旦创建了文本表示，就可以使用人工智能或深度学习模型来找到与该嵌入式声音记录摘要文本相关联的图像。该图像将被称作关联的嵌入式声音记录图像。关联的嵌入式声音记录图像的缩略图表示是缩略图关联的嵌入式声音记录图像。嵌入式声音记录摘要文本将代替单独的上下文注释高亮显示文本38。接着，嵌入式声音记录注释项目框将具有嵌入式声音记录注释批注，嵌入式声音记录注释项目框还将具有确定嵌入式声音记录摘要文本与嵌入式声音记录注释批注之间的注释语义关系的嵌入式声音记录注释符号。在其上发现嵌入式声音记录的网站的url将存在用于嵌入式声音记录注释项目框中。为了确保网页浏览器能够显示这些嵌入式声音记录注释项目框，嵌入式声音记录注释显示包应当包含缩略图关联的嵌入式声音记录图像、嵌入式声音记录摘要文本、嵌入式声音记录注释批注、嵌入式声音记录注释符号、用户名和信誉信息。此外，将允许用户修改声音记录注释的机器生成方面。
[0196]
在示例性实施例中，类似于图9中的示例性实施例所示的注释项目框36，注释组项
目框将包括单独的上下文变量注释控制栏41和单独的上下文信誉选择器42。代替具有标记文本37的屏幕快照，注释组项目框将包含表示注释组的缩略图。对于图片注释，这意味着具有包含在注释组中的所有图片注释的图片的缩略图图像。图片注释和注释组包括嵌入图片的图片注释。对于视频注释，这意味着在一时间点的视频的具有包括在注释组中在同一时间点的所有视频注释的缩略图图像。此外，缩略图视频将包括具有在整个缩略图视频中显示的注释组中的所有视频注释的缩略图视频。视频注释和注释组包括嵌入视频的视频注释。对于声音记录注释，这意味着表示注释组中所有声音记录注释的所有声音记录回放范围的声音的缩略图图像。这样的图像将基于所有声音记录回放范围的声音记录摘要文本。在该特定注释组中的注释列表将代替单独的上下文注释高亮显示文本38。关于该特定注释组的用户生成注释将代替单独的上下文注释批注。此外，如果机器生成的图像和缺省文本不适合，则用户可以修改这些元素。在替代实施例中，注释组中的注释列表可以由人类生成的更合适的摘要文本代替。url将不存在于不具有任何嵌入注释的注释组项目框，但是url将存在于包括嵌入注释的注释组项目框。可以使用嵌入式注释组注释符号来表示源材料和注释组中注释之间的语义关系。注释组项目框也将指示注释组中注释的数量。为了确保网页浏览器能够显示这些注释组注释项目框，注释组显示包应该包括相关缩略图图像或缩略图视频、对注释对象的引用列表、相关摘要文本、相关注释批注、相关注释组注释符号、用户名和信誉信息。此外，将允许用户修改注释组的机器生成方面。
[0197]
在一个示例性实施例中，类似于图9中的示例性实施例所示的注释项目框36，派生的注释组项目框将包括单独的上下文变化注释控制栏41和单独的上下文信誉选择器42。代替具有标记文本37的屏幕快照，派生注释组项目框将包含表示派生注释组的缩略图。对于图片注释，这意味着具有包括在派生注释组中的所有图片注释的图片的缩略图图像。图片注释和派生注释组包括嵌入图片的图片注释。对于视频注释，这意味着在某一时间点视频的缩略图图像，视频的所有视频注释包括在同一时间点的派生注释组中。此外，缩略图视频将包括在派生注释组中的所有视频注释在整个缩略图视频中显示的缩略图视频。视频注释和派生注释组包括嵌入式视频的视频注释。对于声音记录注释，这意味着表示派生注释组中所有声音记录注释的所有声音记录回放范围的声音的缩略图图像。这样的图像将基于所有声音记录回放范围的声音记录摘要文本。在该特定派生注释组中的注释列表将代替单独的上下文注释高亮显示文本38。关于该特定派生注释组的用户生成注释将代替单独的上下文注释批注40。此外，如果机器生成的图像和缺省文本不适合，则用户可以修改这些元素。在替代实施例中，派生注释组中的注释列表可以由人类生成的更合适的摘要文本代替。url将不存在于不具有任何嵌入注释的派生注释组项目框，但是url将存在于包括嵌入注释的派生注释组项目框。可以使用派生注释组注释符号来表示源材料和注释组中的注释之间的语义关系。为了确保网页浏览器能够显示这些注释组注释项目框，注释组显示包应当包括相关缩略图图像或缩略图视频、注释对象的引用列表、相关摘要文本、相关派生注释批注、相关派生注释组注释符号、用户名和信誉信息。此外，将允许用户修改派生注释组的机器生成方面。
[0198]
此时，注释组和派生注释组在已经描述的示例性实施例的上下文中可能看起来相似。然而，当使用时，派生注释组、派生注释组项目框和派生注释组显示包将与注释组、注释组项目框和注释组显示包不同地处理。注释组指示注释之间的更紧密的链接，并且派生注
释组可以包括到注释组中。通过查阅图44和图45可以看出这些差异的影响。
[0199]
在一个示例性实施例中，类似于图9中的示例性实施例所示的注释项目框36，具有派生注释项目框的注释组将包括单独的上下文变化注释控制栏41和单独的上下文信誉选择器42。具有派生注释项目框的注释组和具有派生注释显示包的相应注释组类似于注释组项目框和注释组显示包，除了关于派生注释的形成，例如其组成注释和派生注释批注对于每个派生注释组是存在的。该信息的存在允许显示派生注释，如图44和图45所示。此外，具有派生注释项目框的注释组显示注释的数量和具有派生注释的注释组内的派生注释组的数量。所有这些信息都用派生注释显示包反映在注释组中。类似于注释项目框36，具有派生注释项目框的注释组将包括单独的上下文变化注释控制栏41和单独的上下文信誉选择器42。代替具有标记文本37的屏幕快照，具有派生注释项目框的注释组将包含表示具有派生注释的注释组的缩略图。对于图片注释，这意味着具有包括在具有派生注释的注释组中的所有图片注释的图片的缩略图图像。因为派生注释组通过包含在派生注释组中的注释来改变图像，所以重要的是包含在具有派生注释的注释组中的所有注释的集合。图片注释和注释组包括嵌入图片的图片注释。对于视频注释，这意味着在一时间点的视频的具有包括在注释组中在同一时间点的所有视频注释的缩略图图像。此外，缩略图视频将包括具有在整个缩略图视频中显示的在具有派生注释的注释组中的所有视频注释的缩略图视频。同样，重要的是包含在具有派生注释的注释组中的所有注释的集合。视频注释和注释组包括嵌入式视频的视频注释。对于声音记录注释，这意味着表示具有派生注释的注释组中的所有声音记录注释的所有声音记录回放范围的声音的缩略图图像。这样的图像将基于在具有派生注释的注释组中的所有注释集合中的所有声音记录回放范围的声音记录摘要文本。在该具有派生注释的特定注释组中的注释列表将代替单独的上下文注释高亮显示文本38。用户生成的关于具有派生注释的特定注释组的批注将代替单独的上下文注释批注。此外，如果机器生成的图像和缺省文本不适合，则用户可以修改这些元素。在替代实施例中，在具有派生注释的注释组中的注释列表可以用由人生成的更合适的摘要文本来代替。url将不存在于不具有任何嵌入注释的具有派生注释项目框的注释组，但是url将存在于具有包括嵌入注释的派生注释项目框的注释组中。可以使用具有派生注释符号的嵌入注释组来表示源材料和具有派生注释的注释组中的注释之间的语义关系。具有派生注释项目框的注释组也将指示具有派生注释的注释组中的注释数量以及派生注释组的数量。为了确保网页浏览器能够用派生的注释项目框显示这些注释组，具有派生注释显示包的注释组应当包括相关缩略图图像或缩略图视频、注释对象引用列表、相关摘要文本、相关注释批注、具有派生注释符号的相关注释组、用户名和信誉信息。此外，将允许用户修改具有派生注释注释组的机器生成方面。
[0200]
在示例性实施例的上下文中讨论了各种类型的数据元素包、显示包和项目框，将描述需要对图14、图15、图16、图17和图18作出的改变。这些改变使那些顺序图和流程图适应于实现在所写的说明和在图35、图36、图37、图38、图39、图40、图41、图42、图43、图44、图45、图46、图47、图48和图49所示的示例性实施例中示出和描述的特征和性能相关的方法和系统。图14中的序列图适用于先前描述的数据元素包之一连同其相应的显示包和其相应的被显示的包，其中当实现不同类型的注释时，对于先前描述的不同类型的注释，注释创建过程是不同的。显示包出现在图14使用注释显示包的地方，而被显示的包出现在图14使用显
示的注释包的地方。图15中的序列图也适用于前面所述的显示包和被显示的包。这些显示包出现在图15中注释被显示的包出现的地方，而被显示的包出现在图15使用被显示的注释包的地方。显示包具有用于显示其对应的项目框或其对应的被显示的包的数据。根据示例性实施例，可以在用户界面中显示项目框或被显示的包。通常，项目框是被显示的包连同单独的上下文变化注释控制栏41和单独的上下文信誉选择器42。图9所示的示例性实施例中，单独的上下文变量注释控制栏41和单独的上下文信誉选择器42被示出用于注释项目框36。图16中的序列图适用于用适当的嵌入式注释显示播放包替换注释符号显示包和用适当的嵌入式注释的可见元素替换关闭的显示的注释符号。嵌入式注释显示包和嵌入式注释的可见元素先前已讨论。图17和图18按原样应用，其中数据元素包和显示包是从本文中先前指定的类型选择的。
[0201]
在一个示例性实施例中，图10中注释组织上下文区域43内的项目箱44可以包含注释项目框、嵌入式图片注释项目框、嵌入式视频注释项目框、嵌入式声音记录项目框、注释组项目框、派生注释组项目框、具有派生注释项目框的注释组和记事本。记事本也可以作为记事本项目框被显示。所有这些类型的项目框都具有如所示用于注释项目框36的单独的上下文变化注释控制栏41。虽然注释项目框36的其它元素对于其它类型的项目框改变，但是单独的上下文变化注释控制条41和项目框的被显示形式因素没有改变。这允许将这些新类型的项目框集成到项目箱44中。所有这些项目类型都是在外部站点上创建的，并且它们在用户创建这些项目之后不久就出现在项目箱44中。这通过使用web socket得以促进，web socket基于访问控件和用例将信息从注释服务器61推送到应当接收显示包的所有连接的网页浏览器。如图11中的示例性实施例所示，项目框可以从项目箱44移动到由显示的可写集合50表示的可写集合。另外，注释项目框、嵌入式图片注释项目框、嵌入式视频注释项目框和嵌入式声音记录项目框可以使用位于文本变化注释控制栏34中的添加到记事本图标158按钮添加到活动记事本159，如图23中的示例性实施例所示。添加到记事本图标158按钮不出现在所有图中标记的上下文变化注释控制栏34中。然而，在一个示例性实施例中，这样的按钮可以被添加到上下文变化注释控制栏34中。也可以使用触发器将其它项目类型添加到活动记事本159以执行到记事本的添加。在所有情况下，点击在活动记事本159内的项目框上应该打开浏览器选项卡中的相关项目，滚动到注释的位置，并显示注释。所有不同类型的项目框都可以出现在集合中。虽然在图31所示的示例性实施例中显示的集合仅示出注释项目框，但是所有类型的项目框都可以存在于集合内。关于堆叠的显示的注释项目组的所有批注适用于堆叠的各种类型的项目组。此外，关于开窗函数的批注也适用。可基于url或基于正被注释的图片项目、视频项目、声音记录项目或文档项目来对堆叠的项目组进行分组。此外，包括在集合中的项目的类型不改变集合的其它属性。由显示的集合表示的集合可以显示在与图32的示例性实施例中所示的页面类似的页面上。
[0202]
如前所述，诸如图10中的示例性实施例中所示的搜索过滤器之类的过滤器被用于接收来自用户的输入。在项目箱44搜索过滤器46的情况下，它是搜索短语。这些输入被转换成参数值发送到注释服务器61。这些参数值由注释服务器61使用以将参数输入到由电子数据库62使用的请求查询中。请求查询包括参数值和页码。具有参数值的请求查询被用于指定一组项目和那些项目上的顺序排序。这些项目包括网页注释、嵌入式图片注释、嵌入式视频注释、嵌入式声音记录、图片注释、视频注释、声音记录注释、注释组、派生注释组、具有派
生注释的注释组、pdf文档注释、pdf文档、图片、视频、链接和普通注释。过滤器还可以限制到某些项目类型。页码指定特定页。此外，所述请求查询可以包括将被发送到在客户电子设备上运行的网页浏览器的指定数量的项目。该请求查询包含用于诸如搜索短语之类的过滤器值的参数和要从指定的项目列表以及在该项目列表上的顺序排序中排除的项目的排除列表。如前所述，在图10和图31中所示的示例性实施例中，该顺序排序提供了用于分页的信息。集合过滤器和集合分页工作如前面用于图10和图32中所示的示例性实施例的描述所描述的。该描述适用于锁定功能。
[0203]
当集合包括不同的项目类型时，在图33所示的示例性实施例中描述的收件箱将以类似的方式工作。改变的将是用户现在可以讨论集合消息内更多项目类型的颗粒细节。此外，可以在专用于每种类型的项目的消息链中建立功能。然后，可以实现功能以改变作为注释的组成部分的对象、批准对注释的改变或者复刻(fork)被添加到当前集合的注释。如果公开内容集中在图片注释周围，则可以使用图片注释中的每个对象的选择器来方便讨论。此外，用于诸如视频注释或声音记录注释的其它项目类型的选择器可以被构建到消息链功能中。这样的功能可以变换视频注释主题边界框322、框内视频注释批注324或视频注释箭头323，并改变视频注释对象边界框运动路径332、视频注释箭头运动路径333以及视频注释批注输入框运动路径334。在消息链中提出改变之后，项目的拥有者可以批准改变，或者管理员可以批准在当前集合的上下文中将项目复刻到新项目中。
[0204]
当存在多个项目类型时，图28和图29中所示的示例性实施例也适用。在这种情况下，注释服务器61和电子数据库62将处理这些不同类型的项目。在示例性实施例中，注释服务器61可以具有rest应用程序接口来处理不同的项目类型，并且电子数据库62具有处理不同类型的包中的不同数据元素的模式。硬件要求受到以下方式的影响。如果视频319不是本地存储的，而是通过url引用的，则视频319的存在将不会像如果视频319是本地存储的那样增加存储需求。如果它是本地存储的或通过内容传送网络63存储的，则视频319将对存储需求具有更大的影响。声音记录回放348的存在可能产生使用深度学习模型来处理语音和声音识别的需要。视频319的存在将增加系统的计算处理要求，因为视频319通常比其它媒体类型具有更大的计算处理要求。
[0205]
为了在示例性实施例中向用户提供附加注释特征，可以通过能够注释的网页浏览器的网页浏览器扩展来部署和配置机器学习和深度学习模型。如果不是通过使用网页浏览器扩展来建立能够注释的网页浏览器，则还可以直接通过能够注释的网页浏览器来处理部署和配置。该功能可以通过网页上的某个地方的面板或浮动的工具栏提供给用户。该功能也可以通过菜单选项或固定浏览器工具栏来展示。该浮动工具栏还可以附接到网页的某个位置或放置在网页浏览器中的侧面板内。对于图片和嵌入的图片，该面板或浮动工具栏可以使按钮可用，以处理识别图像中的对象、识别图像中的文本、配置对象和文本检测器的识别特性以及配置注释元素的特性的任务。注释主题边界框、注释箭头和注释批注框是注释元素。对象识别按钮在可能的注释对象周围用虚线绘制注释对象边界框。然后，用户可以选择感兴趣的注释主题边界框，并在出现的注释批注输入框中写入注释批注。基于配置设置，可以自动地创建注释箭头。还可以向用户提供选择多个注释主题边界框的选项，这可以导致为每个注释主题边界框创建一个注释箭头，每个注释箭头的一端指向注释主题边界框，而另一端取决于注释是否已被写入指向注释批注输入框或注释批注框。箭头的位置是配置
属性。另一个可配置属性是注释主题边界框、注释箭头和注释批注框的可见特性。可见特性包括可见、鼠标悬停和不可见。对于总是可见的注释元素是可见。鼠标悬停用于鼠标悬停在目标区域上变得可见的注释元素。不可见用于总是不可见的注释元素。鼠标悬停目标区域可以是注释主题或可见注释元素中的至少一个。在替代实施例中，使用注释对象轮廓，该注释对象轮廓包围包括注释主题的像素的封闭区域。可以使用这些与注释主题边界框不同的注释主题轮廓。此外，对象轮廓可以是与可见元素不同的鼠标悬停元素，其中该可见特性可以通过配置设置来控制。还可以具有允许用户选择是使用注释主题边界框还是注释主题轮廓的配置设置。确定注释主题边界框或注释主题轮廓依赖于能够识别对象并确定注释主题边界框或注释主题轮廓的机器学习或深度学习模型。通过使用客户电子设备的中央处理单元或图形处理单元，可以在运行于客户电子设备上的网页浏览器中运行深度学习模型。图形处理单元可以通过使用由现代网页浏览器展示的webgl接口来使用，而现代网页浏览器又使用客户电子设备的图形处理单元。然后可以通过使用利用基于区域的卷积神经网络(r-cnn)的注释对象检测器或者通过使用基于区域的卷积神经网络(r-cnn)的对象分割来确定注释对象边界框和注释对象轮廓。除了基于区域的卷积神经网络模型之外，替代实施例可以使用其它机器学习或深度学习方法。由于不同的深度学习模型具有不同的识别特性，因此用户可以输入对象和文本检测器的所需识别特性。基于这些特性可以选择不同的机器学习或深度学习模型。图像中的文本可以通过使用被设计用于识别各种字母、数字和其它字符的卷积神经网络(cnn)来识别。此外，用户可以在配置选项中选择是否将单个字符集合为单词，以及是否将单个单词集合为n个连续的词。此外，用户可以通过可用于识别特性的配置选项来输入词或标签，以将对象识别限制到用户已经输入的指定对象类型。为了处理视频和嵌入式视频，为注释元素运动路径的配置提供附加按钮。所描述的用于图片的技术也可以在视频的各个帧中实施。此外，深度学习模型可以随时间跟踪注释主题，并确保注释主题边界框和注释主题轮廓随注释主题一起移动。这可以通过在离散点处的单独帧分析，然后使用离散点之间的内插值方法来实现。这产生用于注释主题边界框和注释主题轮廓的运动路径。还计算注释对象轮廓中的轮廓移动。这些运动路径及注释轮廓演变的配置可通过处理注释元素运动路径的配置选项的面板中的附加按钮、菜单选项、浏览器工具栏或浮动工具条提供给用户。用于注释目的的视频中的语音和声音识别的机器学习和深度学习模型可以由面板、菜单选项、浏览器工具栏或浮动工具栏中的另一个配置选项来处理。
[0206]
如本文所用，词语“示例性的”意味着“用作例子、实例或图解”。这里描述为“示例性的”的任何实现方式不一定被解释为优选的或优于其它实现方式，也不应被解释为必须在文字上重复的模型。因此，该描述应被认为是说明性的，而不是对本发明的限制。
[0207]
条件语言，例如“可以”、“可”、“可能”或“能”等，除非另有特别说明，或者在所使用的上下文中另有理解，否则通常意图传达某些实施例包括某些特征、元件和/或步骤，而其它实施例不包括某些特征、元件和/或步骤。因此，这样的条件语言一般不是用来暗示特征、元件和/或步骤对于一个或多个实施例是以任何方式所需的，或者一个或多个实施例在有或没有用户输入或提示的情况下在逻辑决策上必须包括，无论是否这些特征、元件和/或步骤包括在任何特定实施例中或要在任何特定实施例中执行。这里使用的标题是为了方便读者，而不是为了限制本发明或权利要求的范围。
[0208]
这里使用的涉及项目列表中的“至少一个”的短语指的是包括单个项目的那些项
目的任何组合。例如，“a，b或c中的至少一个”旨在覆盖a、b、c、a和b、a和c、b和c以及a、b和c。连接语言，例如短语“x，y和z中的至少一个”，除非另有说明，否则在上下文中通常用于传达项目、项目等可以是x、y或z中的至少一个。因此，这样的连接语言通常不意味着某些实施例需要至少一个x、至少一个y或至少一个z中的每一个都存在。
[0209]
图中的流程图、图形用户界面、序列、系统、组件和泳道活动图说明了根据本发明的各种实施例的方法、计算机程序产品和系统的可能实现方式的使用情况、功能、体系结构和操作。在这点上，流程图、图形用户界面、序列、系统、组件和泳道活动图中的每个项目可以表示指令的模块、段或部分，其包括用于实现指定的逻辑功能的一个或多个可执行指令。在一些替代实现方式中，项目中指出的功能可能发生在图中指出的序列之外。例如，实际上，连续示出的两个项目可以实际上基本同时执行，或者根据所涉及的功能，项目有时可以以相反的顺序执行。还将注意到，不涉及一个或多个用户的流程图、用户图形界面、序列、系统、部件以及泳道活动图的每个项目以及不涉及一个或多个用户的流程图、图形用户界面、序列、系统、部件和泳道活动图中的项目的组合可以由执行指定功能或动作或执行专用硬件和计算机指令组合的基于专用硬件的系统来实现。
[0210]
参考根据本发明实施例的方法、计算机程序产品和系统的流程图、图形用户界面、序列、系统、组件和泳道活动图来描述本发明的各方面。可以理解，不涉及一个或多个用户的流程图、图形用户界面、序列、系统、组件和泳道活动图的每个项目以及不涉及一个或多个用户的以及项目的流程图、图形用户界面、序列、系统、组件和泳道活动图的项目组合可以通过计算机可读程序指令来实现。
[0211]
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理设备的处理器以制造机器，使得通过计算机或其它可编程数据处理装置的处理器执行的指令创建用于实现在不涉及一个或多个用户的一个或多个流程图、用户图形界面、序列、系统、组件和泳道活动图项目中的不涉及一个或多个用户的功能/动作的装置。这些计算机可读程序指令也可以被存储在能够引导计算机、可编程数据处理装置和/或其它设备以特定方式工作的计算机可读存储介质中，使得其中存储有指令的计算机可读存储介质包括制造条款，该制造条款包括实现不涉及一个或多个用户的在一个或多个流程图、图形用户界面、序列、系统、组件和泳道活动图项目中指定的功能/动作方面的指令，其中所述一个或多个项目不涉及一个或多个用户。
[0212]
这样的代码，正如本领域普通技术人员所理解的，可以被存储或适合于存储在一个或多个有形的机器可读介质中，例如存储在存储器芯片、本地或远程硬盘、光盘或其它介质上，这些介质可以由基于处理器的系统访问以执行所存储的代码。应注意，有形介质可包括纸或其上印刷有指令的另一适当介质。例如，指令可以通过纸张或其它介质的光学扫描以电子方式捕获，然后编译、解释或如果需要以适当的方式处理，然后存储在计算机存储器中。此外，应注意，有形介质可以包括利用存储芯片、本地或远程硬盘、光盘或其它介质来存储的版本控制储存库。例如，可以从版本控制储存库中获得指令，然后以适当的方式编译、解释或以其它方式处理指令，然后将指令存储在计算机存储器中。
[0213]
计算机可读程序指令也可被装载到计算机、其它可编程数据处理设备或其它设备上，以使一系列的操作步骤在计算机、其它可编程设备或其它装置上执行以产生计算机实现过程，使得在计算机、其它可编程设备或其它装置上执行的指令实现一个或多个流程图、
图形用户界面、序列、系统、组件和泳道活动图项目中指定的功能/动作。
[0214]
另外，虽然这里所述的方法、非临时性计算机可读介质、系统和设备可能容易受到各种修改和替换形式的影响，但是其具体例子已经在附图中示出，并且在这里详细描述。然而，应当理解，本发明不限于所公开的特定形式或方法，相反，本发明覆盖落入所描述的各种实施方式和所附权利要求书的精神和范围内的所有修改、等同物和替代方案。此外，与实施例或实施方式相关的任何特定特征、方面、方法、性能、特性、质量、属性、元素等的本文公开可用于本文提出的所有其它实施例或实施例方式中。本文公开的任何方法不需要按照所述顺序来执行。本文公开的方法可以包括由实践者采取的某些动作。然而，该方法也可以明确地或隐含地包括那些动作的任何第三方指令。本文公开的范围还包括任何和所有重叠部分、子范围及其组合。
[0215]
例如“至少”、“最小”等语言包括所引述的数字。在诸如“约”或“大约”之类的术语之后的数字包括引述的数字，并且应当根据情况(例如，在一些情况下尽合理可能地准确，例如-5％，5％，10％，15％等)来解释。例如，“约3.5mm”包括“3.5mm”。在词语之后的术语，例如“基本上”包括所引述的词语，并且应当基于情况(例如，在该情况下尽可能合理)来解释。例如，“基本恒定”包括“常数”。
[0216]
描述具体实施方式是为了使本领域普通技术人员能够制造和使用本发明，并且用于满足获得专利的要求的上下文中提供。示例性实施例的各种修改对于本领域技术人员来说是显而易见的，并且本发明的一般原理可以应用于其它实施例，并且可以在其它特征不相应使用的情况下使用本发明的一些特征。因此，本发明并不旨在限制于所示的实施例，而是给出与本文所述的原理和特征相一致的最宽范围。