扩增并呈现捕获的数据的制作方法
【专利说明】扩増并呈现捕获的数据
[0001] 相关申请的交叉引用
[0002] 本申请要求享有于2013年8月7日提交的序列号为61/863,241的美国临时申请的 优先权。
【背景技术】
[0003] 通过多种网页和用户生成内容捕获工具及其相关联的收集和积酿(curation)应 用（诸如MicrosoftQneNote?郝Everno化啦垄记本应用），促进了对内容的收集W便之 后的访问、组织和修改。"网络剪辑器(web clipper)"是运样一种工具：它通常运行在客户 端处的网络浏览器上，W使得能够对来自网络浏览器所显示的网页的内容进行剪辑。其它 工具和输入机制可W用于聚集并且存储内容。例如，可W通过麦克风和摄像头捕获音频或 视频，且可W通过键盘、键板、触摸屏或鼠标来捕获某些文本。
[0004] 当在笔记本应用中时用户可W对捕获到笔记本中的内容进行注释、加标签W及W 其它方式进行组织。通常，将内容的基本拷贝/粘贴或截屏/照片捕获到笔记本中。例如，网 页的捕获通常可W包括广告，且在一些案例中包括网页的导航条W及其它元素。相似地，其 它输入(例如照片)也可W被笔记本应用照原样直接捕获。
【发明内容】
[0005] 基于针对所捕获的数据的已识别的实体，可W将所捕获的数据进行转换和扩增W 用于在文档中的特定呈现(例如，笔记本应用中的笔记）。可W基于实体检测、提取W及知识 库解析与检索来提供对所捕获的数据的特定呈现。
[0006] 对输入到笔记本应用中的信息进行呈现与扩增的方法可W包括:接收针对与输入 到笔记本应用中的项目相关联的内容的一个或多个结构化呈现，识别所述项目的首要实体 (primary entity)，并且至少根据所述项目的一个或多个结构化呈现为该项目的首要实体 创建实体对象。可W根据针对所述首要实体的模板来将所述实体对象呈现在到笔记本应用 的用户接口中。模板可W选自对应于不同的首要实体的一组模板，W使得针对一个首要实 体的布置和呈现与针对另一个首要实体的不同。
[0007] 可W提供便于对所捕获的数据进行的实体特定的呈现的系统和服务。所述系统可 W包括支持笔记本应用捕获服务的一个或多个服务器，所述笔记本应用捕获服务能够基于 所捕获的内容的已确定的首要实体来增强对所捕获的内容的呈现。所述服务能够根据针对 与输入到笔记本应用中的项目相关联的内容的至少一个或多个结构化呈现为所述项目的 首要实体创建实体对象。实体对象可W包括从所述项目提取的内容，W及为了对从所述项 目中捕获的数据进行扩增而检索的另外的内容。
[000引还可W提供运样的系统，其中能够根据实体特定的模板显示与输入到笔记本应用 中的项目相关联的内容的实体对象。该系统可W为与输入到笔记本应用中的项目相关联的 内容请求实体对象，并且，在所述笔记本应用的用户接口中，能够显现对所述实体内容的实 体特定的呈现。
[0009] 所述项目可W是统一资源定位符化化）、音频、视频、图像（照片、图形等）、字处理 文档、超文本标记语言化TML)文档、演示文稿文档（presentation document)、Adobe够 可移植文档格式(PDF)等。所述项目的首要实体可W通过对笔记本应用所捕获的或W其他 方式输入到笔记本应用的内容(或数据)进行的实体确定(entity determination)来识别。 可W根据所述项目的至少一个或多个结构化呈现来创建实体对象。在一些案例中，所述内 容的一个或多个结构化呈现(例如，来自内容源、知识库或两者），可W用于便于对所述项目 的首要实体的识别。
[0010] 提供本
【发明内容】
是为了 W简化形式引入各式各样的概念，运些概念在下文中在具 体实施方式中进一步描述。本
【发明内容】
并不是想要标识所要求保护的主题的关键特征或本 质特征，也不是想要用于限定所要求保护的主题的范围。
【附图说明】
[0011] 图1示出了用于捕获数据的操作环境。
[0012] 图2示出了一种实施方式的过程流程图。
[0013] 图3示出了示例捕获服务的功能图。
[0014] 图4示出了根据多个模型进行的实体对象创建。
[0015] 图5示出了针对具有用户接口的系统的功能图。
[0016] 图6示出了根据一种实施方式的捕获服务的示例过程流程。
[0017]图7A和7B示出了其中在网络剪辑中已辨识的实体被分配了实体容器的示例场景。 [001引图8A-8E示出了根据一种实施方式的示例场景的过程流程的用户接口。
[0019] 图9A-9G示出了根据一种实施方式的示例场景。
[0020] 图10A-10D示出了用于捕获和呈现图像项目的场景。
[0021 ]图1IA-IIC示出了用于捕获和呈现图像项目的另一个场景。
[0022] 图12示出了用于捕获和呈现图像项目的又一个场景。
[0023] 图13A-13C示出了捕获与ML相关联的内容的场景
[0024] 图14示出了对所捕获的U化的经扩增的呈现。
[0025] 图15A-15C示出了具有针对某种实施方式的过程流程的系统架构图。
[00%]图16示出了可W被实现用于捕获服务的实体挖掘引擎(entity mining engine) 的系统架构。
[0027] 图17是示出了在一些实施例中使用的计算设备的组件的方框图。
[0028] 图18示出了可W用于实现本文中所描述的方法和服务的计算系统的组件。
【具体实施方式】
[0029] 基于针对所捕获的数据的已识别的实体，可W将所捕获的数据转换和扩增，W用 于在文档中的特定的呈现，诸如笔记本应用的笔记。能够基于实体检测、提取W及知识库解 析与检索来提供对所捕获的数据的特定呈现。
[0030] 所述项目可W是URU音频、视频、图像（照片、图形等）、字处理文档、HTML文档、演 示文稿文档、PDF等。所述项目的首要实体可W通过对与所述项目相关联的内容(或其它数 据)进行的实体确定来识别，并且通过笔记本应用来捕获或者W其他方式输入到笔记本应 用。所述内容可W是例如来自网页或其他文档文件类型（包括HTML、PDF、MicrosoftWord ?;文档(DOC)、办公室开放可扩展标记语言(OOXML)格式(DOCX)等文件格式）的音频、照片、 视频、格式、风格、布局和/或文本。
[0031] 在一些案例中，文档理解技术可W用于解析所述内容，W便于识别和理解页面上 的对象(例如，实体类型确定）。W此方式，有可能理解在页面上的是什么，例如，在该内容是 关于电影、书、食谱、商业合同等的情况下。
[0032] 实体可W指的是人物、地点、事物、事件、任务或概念。实体的对象设及的是该实体 的有形的形式。如果实体具有至少一个特定属性并且不依赖于另一实体，则该实体是强实 体类型。例如，"指环王"命名了 "书"实体类型的一个对象，该对象可W利用可包括标题、作 者W及国际标准书号（ISBM)号码的属性来限定。"书"实体可W被视为强实体类型，而 "ISBN"是依赖于书的而将不被视为强实体类型。
[0033] 由于可W有许多从内容中识别的实体，因此"首要实体(primary entity)"指的是 可W用于定义内容的主要的占主导地位的实体。例如，首要实体可W是"书"、"食谱"、"商务 名片"或其它特定实体，其当被确定存在于所捕获的内容中时，便于对用于呈现针对所述内 容创建的所述实体对象的模板的选择。没有必要让所有实体都具有一个对应的模板。在一 些案例中，可W针对不具有(一个或多个)特定的相关联的模板的那些首要实体使用缺省模 板。
[0034] 在一些方法中，服务根据与输入到笔记本应用中的项目相关联的内容来进行实体 确定，并且创建由结构化数据构成的实体对象，例如本文中描述的实体容器，其提供了一个 对象W及该对象的一个或多个属性(属性元素）。在一些实施方式中，实体容器还包括服务 元素。服务元素可W使得用户能够采取与该实体相关的行动(例如，购买项目、设定日历事 件、分享W及推荐项目）。可W使得对于服务元素可用的服务从多种在线服务中可用。对象 的属性可W从互联网上的多个源获得。
[0035] 实体对象可W利用项目的一个或多个结构化呈现来创建。术语"实体对象"和"实 体容器"在本文可W互换地使用，W用于指代将所捕获的内容扩增到与已识别的首要实体 关联的特定的结构化格式。一个或多个结构化呈现可W包括由网络数据服务所创建的模型 (或专题卡片），其用来描述(并且存储信息关于)一个网站和/或一个或多个网页。除了由网 络数据服务提供的那些W外，结构化呈现可W在知识库中发现或可W从内容源中得到（例 如，内建到网页或其它文档中，该网页或其它文档由输入到笔记本应用中的项目所引用或 者作为输入到笔记本应用中的项目被包括）。在一些案例中，所述内容的一个或多个结构化 呈现(例如，来自内容源、知识库或两者)可W用于便于对该项目的首要实体的识别。
[0036] 在某些实施方式中，页面上的(或从各个不同位置处的源检索的)元素可W被布置 成结构化数据，W使得信息可W W上下文适当（contextual appropriate)的方式被示出 (例如，擅染(render))。可W提供模板，W使得为输入到笔记本应用中的项目而创建的实体 对象可W基于已识别的首要实体来呈现。也即，用户试图捕获的事物(也即，实体）的经转换 的视图可W被呈现并被存储。运也可W针对设备而调整(例如，取决于可用带宽、显示器屏 幕尺寸、用来查看的应用、W及其它客户端特定的特性）。
[0037] 对于URL，网站页面(或其它文档)可W被转换，W用于基于根据该网站页面识别的 首要实体而进行的呈现。可W针对网站页面(或其它文档）的内容创建实体对象，并且根据 与该首要实体相关联的模板而呈现。例如，食谱的首要实体可W使得选择用于呈现为该食 谱创建的实体对象的食谱模板，该食谱模板使得用户能够根据配料的列表来核对配料的使 用或购买。
[0038] 对于图像，如果图像能够具有待提取的信息并且能够被分类为可识别的实体，贝U 可W为该图像的内容创建实体对象，并且可W将该图像的内容进行转换W用于基于已识别 的首要实体来进行呈现。例如，被识别为具有商务名片的首要实体的图像，可W被转换成由 关于该商务名片所提供的联系信息的个人的信息构成的表格。在图像中（或网站页面或其 它文档的内容)未发现但却与所述首要实体相关的另外的信息，可W通过知识库来获得。对 于商务名片的例子，关于该个人的补充信息可W通过社交媒体网站例如LinkedhT货来获 得。
[0039] 有利地，某些实施方式提供了 W下能力：捕获结构化内容，并且在经过捕获、召回 (recall) W及再利用的过程中自始至终维持其语义。运使得用户能够捕获用户真正感兴趣 的信息，并且W优选的位置和格式将其存储。此外，相关的信息一旦被召回，就可W在正确 的时间和地点成为可W访问的。
[0040] 描述了对被收集、授权、消费或剪辑的内容进行的扩增或其它增强。对于给内容提 供扩增的服务入口点（ent巧point)可W是，例如，来自剪辑器、阅读器、文档或图像察看 器、文字处理W及其它生产力应用、收集和积酿应用、W及消息收发应用。
[0041] 描述了给用户提供内容捕获选项的技术，所述技术辨识所捕获的内容的主题并且 供应与所捕获的主题相关的另外的信息（原本该信息在捕获的时刻不是立即提供给用户 的）。此扩增，连同其它增强一起，可W是自动的，或响应于用户的请求而执行。扩增服务被 呈现为可W作为捕获服务(例如，与笔记本应用相关联的服务，例如Microsoft OneNo化饭 或EveniO化瑕）的一部分而提供。
[0042] 在一些案例中，扩增是在收集的时刻（例如，当用户从网页剪辑内容时，或紧接着 将项目输入到笔记之后)进行的。在一些案例中，扩增可W在当用户对在文档中（例如，在笔 记本应用的笔记中）的内容进行修改或操纵时执行。在一些案例中，所述扩增可W当该内容 正在被保存到文档中时执行。其它案例也可W适合于自动的或用户请求的扩增。
[0043] 扩增的内容可W包括比在项目中所提供的更为特定和/或相关的内容。捕获服务 通过访问与所述内容相关的另外的信息和/或W定制的且便利的方式操纵所述内容，来便 于对内容的扩增。
[0044] 对内容的扩增还可W便于利用项目、首要实体、首要实体的对象、实体对象或实体 对象的属性来采取的行动。此外，可W通过对正被收集的主体(实体)进行理解，来促进增强 的用户体验。某些实施方式将结构和语义应用到用户的笔记，W便于.增强整体体验。
[0045] 图1示出了用于捕获数据的操作环境。参考图1，捕获服务115可W促进对输入到笔 记本应用中的剪辑或其它项目进行的实体确定与扩增，W包括与实体相关的特征和/或功 能。作为实体确定的一部分，可W关于正在捕获的内容执行实体辨识。此过程可W在客户端 100处本地执行或是作为捕获服务115的一部分执行。
[0046] 根据一个实施例的捕获服务115执行一些处理W针对应用对剪辑(clipping)进行 定制或扩增。捕获服务115可W提供扩增服务(无论是直接地或间接地），并且可W提供用于 扩增服务的应用编程接口。扩增服务可W与捕获集成地或相独立地提供。
[0047] 捕获服务115可W是运样的网络服务，其可W托管化OSt)于云中或者通过一个或 多个由提供笔记本服务或捕获服务的实体分配的服务器运行。
[0048] 云服务一般指的是提供可W扩展的（scalable)处理和存储功能的托管服务。云计 算通常可W包括虚拟化的资源。通过云计算呈现的资源W它们本身作为服务提供，其中云 计算顾客租赁使用来自拥有物理基础设施的第=方提供商的资源。网络服务可W由云服务 提供和/或托管（例如，作为大规模分布式计算环境的一部分）。网络服务是运样的软件系 统：其支持在网络上的可W互通的机器到机器的交互，并且使得软件能够连接到其它软件 应用。
[0049] 网络服务提供了一批技术标准和协议。例如，网络服务提供了可W通过发送和接 收消息的软件代理或硬件代理来实现的功能（例如，计算平台请求和提供特定服务）。应用 可W通过普遍存在的网络协议和数据格式来访问网络服务，例如超文本传输协议化TTP)、 XML JavaScript对象注释（JavaScript object Notation, JSON)、W及S0AP(起初是简单对 象访问协议（simple object access protocol)的缩略词）。本文中描述的系统、应用和服 务可W根据一个或多个应用编程接口（API)来交换通信。
[0050] (-个或多个)客户端100可W用于浏览网络和运行应用例如消息收发应用102、浏 览器104, W