用于开发和播放自然用户接口应用的方法和装置的制造方法

用于开发和播放自然用户接口应用的方法和装置的制造方法
【技术领域】
[0001] 本公开设及通常用于计算机化系统的自然用户界面（NUI)，并且尤其是设及用于 不用编程而开发NUI应用的平台W及用于播放该应用的播放器。
【背景技术】
[0002] 诸如触摸屏、深度照相机或者S维照相机的自然用户接口（NUI)设备由于他们的 高效率、有吸引力的特征W及持续下降的价格，变得越来越流行。
[0003]NUI系统包括先进的传感器并且利用先进的算法用于识别用户、辨别语音和姿态， 并且提供反馈。该些能力为用户提供了使用自然姿态与计算机化系统通信或者操作计算机 化系统的选择，并且能够提供流畅的、自然的并且直观的交互。在一些具体实施例中，诸如 微软公司Kinect?中，NUI设备可能被使用在沉浸式（immersive)环境中，即用户觉得他是 该系统中发生的事件的一部分的一种环境，无论该个事件是用户的图像、语音、移动或者是 正在被使用的另一个输入。该种环境可W从将人增加到系统中而收益很多。
[0004] 然而，开发使用NUI设备的应用是劳动密集型的，并且需要复杂的编程。例如，公 共关系（PR)代理人可能希望向作为太阳眼镜零售商的客户提供一种使有兴趣购买太阳眼 镜的客户能够从目录中选择一副太阳眼镜，并且使用捕捉客户面部的照相机来显示戴上选 定眼镜的顾客的面部，而不需要顾客真正地试戴太阳眼镜甚至不需要他们自身到场。该应 用还可动态的方式显示客户，例如在移动时从不同的角度等等。
[0005]PR代理人可W额外地或者替选地希望向作为电影制作者的另一个客户提供在主 题环境中并且穿着定做的服装，将用户浸入电影场景中、与演员们交互、并且变成片尾演员 表中的一部分。
[0006] 用现有技术JR代理人、出售商或者其他媒体创作者不得不开始漫长、复杂W及昂 贵的编程努力，用于生成该种应用，该可能需要许多编程资源，还需要专口内容的知识，并 且可能产生费用并且产生瓶颈，该增加了上市销售需要的时间。媒体创作者因此处于挫折 的位置，他们缺乏工具来充分利用最新可用的激动人屯、的技术。
[0007] 现有的NUI技术包括深度照相机，诸如美国华盛顿的Redmond或者微软公司制 造的Kinecr%其使用户能够使用身体姿势而不需要外部物体来玩游戏。开发者可W使用 Kinect系统开发工具箱化inectSystemDevelopmentKit,SDK)用于开发基于Kinect的 应用。其他技术包括诸如美国加州旧金山市的LeapMotion"制造的照相机，其可W容易 联接于任何计算机并且识别手势；诸如W色列荷兹利亚的XTR建议的从2D照相机提取深 度信息的软件解决方案；台湾台北市北投区的ASUS制造的XTI0N，开发者可W用它来使用 化enNIN口ESDK用于开发基于XTI0N或者Kinect的应用；传感器和微控制器，诸如来自 意大利伊夫雷亚的Aixluino,开发者可W用它在开放源Aixluino环境等等下进行开发。
[0008] 该种照相机正在被集成并且使用在诸如智能电话、膝上型电脑、智能TV或者任何 其他计算平台的平台上。
[0009] 其他NUI设备可W包括NUI眼镜、手跟踪设备和触摸显示器，诸如微软公司的 Digits(数字）、W色列Ringbow(彩虹）制造的腕传感器、位于美国加利福巧亚Menlo Park的Google制造的谷歌眼镜、南韩首尔的S星制成的、使显示器能够识别放在屏幕上的 手指、手和物体的MicrosoftPixelSense、美国加利福巧亚制造的包含透明触摸屏 LCD、数字标牌帽的智能窗口等等。借助于NUI应用还可W显著地增强诸如平面投影、窗口 投影、3D投影等的投影解决方案。除硬件设备之外，还有先进的跟踪和识别算法执行特征， 诸如但是不限于；面部检测和识别；面部跟踪；眼睛跟踪；身体跟踪；手的姿态识别；面部 的或者身体姿势；声音识别等。
[0010] 上述的设备和算法是适宜的并且可W被集成到NUI应用中，但是虽然如此，该种 应用的开发仍需要编程，因此应用开发不能够容易地并且很快地进行。
【发明内容】

[0011] 本公开主题的一个示例性实施例是一种装置，其具有处理单元和存储设备，该装 置包括；自然用户界面（NUI)开发平台，用于开发NUI应用，该开发平台包括；设计管理器， 用于指示NUI对象和图形对象，使得在执行NUI应用时，图形对象被设计成能基于NUI设 备所捕捉的并且与NUI对象关联的对象的移动而跟踪NUI对象的移动；交互管理器，用于 管理NUI对象和图形对象之间的交互动作；W及NUI管理器，用于定义NUI设备，使得通过 执行NUI应用的计算平台支持NUI设备，其中W图形方式开发NUI应用。在该装置内部， 图形对象可W被设计成能在NUI对象上定义的跟踪点、或者包括S个或者更多跟踪点的跟 踪区域上跟踪NUI对象。在装置内部，设计管理器可W被提供用于在NUI对象上指示参考 点。在该装置内部，图形对象可W与与物理特性有关的钉住点相关联，该样使得当执行NUI 应用时，图形对象或者它的一部分根据物理特性而跟踪NUI对象。在该装置内部，可W从由 物理对象的=维表示、物理对象的二维表示、图像、视频信号、音频信号、绘画、图解W及记 录的对象组成的组中选出图形对象。在该装置内部，NUI设备可W是从由网页照相机、深度 照相机、Kinect?设备、WII?遥控器、黑替leap手机（leap)、触控戒指（；Ringbow)、EEG头 盎巧EG helmet)、PS3"设备、智能电话、平板电脑、XTI0N、微软公司的Digits(数字）、微软 公司PixelSense(像素感知）、智能窗口（Smart Window)、谷歌眼镜（Google glass)、摩托 罗拉肥l、PMD[vision]⑥（视觉）照相机、化及装备有触控传感器的计算平台组成的组 中选出。该装置可W进一步包括姿态管理器，用于定义NUI设备的系统中可用的姿态。该 装置可W进一步包括无源媒体管理器，用于处理无源的媒体，该无源媒体管理器包括媒体 编码器，用于将识别符与视频信号关联。在该装置内部，可W通过一个或者多个交互对象提 供交互动作。在该装置内部，当执行NUI应用时，交互对象可W与编程命令关联。在该装置 内部，NUI对象可W与预定的姿态关联，并且可W用类似流程图的可视编程、通过连接器将 NUI对象连接到至少一个交互对象。在该装置内部，交互管理器可W被提供为一个或者多个 连接器类型，每个连接器类型与条件语句关联。在该装置内部，开发平台可W为开发者提供 人体或者人体多个部分的视觉表示，并且提供工具来在视觉环境中编辑实时视频。在该装 置内部，开发平台可W被提供对象记录，如此使得对象一旦被NUI设备捕捉到就可W识别 出该对象。
[0012] 本公开的另一个方面设及一种具有处理单元和存储设备的装置，该装置包括：用 于执行NUI应用的播放器，该播放器包括；用于从NUI设备接收输入的NUI控制器；解码 器，用于识别从NUI设备接收到的输入中的姿态；本地交互媒体存储器，用于存储图形对 象；W及交互媒体执行器，用于将图形对象与输入集成在一起，使得图形对象根据NUI对象 的姿态来跟踪输入中识别出的NUI对象。在该装置内部，播放器可W进一步包括物理引擎， 用于在对NUI对象起作用时，执行在图形对象上限定的物理特性和动作。在该装置内部， NUI设备可W是从由网页照相机、深度照相机、Kinect?设备、Wir遥控器、黑替leap手机 (leap)、触控戒指化ingbow)、EEG头盎巧EGhelmet)、PS3⑧设备、智能电话、平板电脑、 XTION、微软公司的Digits(数字）、微软公司PixelSense(像素感知）、智能窗口（Smart Window)、谷歌眼镜佑oogleglass)、摩托罗拉肥l、PMD[visi0n]⑧（视觉）照相机、W 及装备有触控传感器的计算平台组成的组中选出。在该装置内部，NUI设备可W被选为连 接到该装置的、最适宜的设备。
[0013] 本公开的再一个方面设及一种具有处理单元和存储设备的装置，该装置包括：用 于执行NUI应用的播放器，该播放器包括；用于从NUI设备接收输入的NUI控制器；解码器， 用于识别从NUI设备接收到的输入中的NUI对象；交互媒体加载器，用于加载NUI应用；无 源媒体接收器，用于接收无源媒体；和交互媒体执行器，用于将来自NUI应用的、包括来自 NUI设备的输入的输出与无源媒体集成在一起。在该装置内部，无源媒体可选的是电视广 播。该装置可W进一步包括信号解码器，用于识别无源媒体中的信号，并且将与NUI设备关 联的NUI对象集成到无源媒体中。在该装置内部，可W根据一个或者多个参数从云服务将 NUI应用接收到电视、机顶盒或者计算平台。
[0014] 本公开的又一个的方面设及计算机化设备执行的计算机实施的方法，包括：接收 NUI应用，包括：接收NUI对象和图形对象，使得在执行NUI应用时，图形对象被设计成能基 于NUI设备所捕捉的并且与NUI对象相关联的对象的移动而跟踪NUI对象的移动；并且接 收NUI对象和图形对象之间的交互动作；用于将指示接收到在执行NUI应用时，由计算平台 支持的NUI设备；并且在存储设备上存储NUI应用，其中NUI应用被图形地开发。在计算机 实施的方法内，NUI应用可W从由与对象交互的用户；W及与投影表面交互的用户组成的 组中挑选出来。
[0015] 本公开的又一个的方面设及计算机化设备执行的计算机实施的方法，包括：接收 流数据；监测流数据中的信号；响应于在流数据中识别出信号，捜索对应的下载的媒体；响 应于定位下载的媒体，在与识别到信号的位置相关联的位置处将流数据与下载的媒体集成 在一起。
[0016] 本公开的又一个方面设及一种计算机程序产品，包括：非瞬态计算机可读介质； 用于接收NUI应用的第一程序指令，包括：用于接收NUI对象和图形对象的指令，使得在执 行NUI应用时，图形对象被设计成能基于NUI设备所捕捉的并且与NUI对象关联的对象的 移动而跟踪NUI对象的移动；W及用于接收NUI对象和图形对象之间的交互动作的指令； 第二程序指令，用于将指示接收到在执行NUI应用时，将由平台支持的NUI设备；W及第S 程序指令，用于将NUI应用存储在存储设备上，其中该NUI应用被图形方式地开发，并且其 中所述第一、第二W及第=程序指令被存储在所述非瞬态计算机可读介质上。
[0017] 本公开的又一个方面设及一种计算机程序产品，包括：非瞬态计算机可读介质； 第一程序指令，用于接收流数据；第二程序指令，用于监测流数据中的信号；第=程序指 令，用于对在流数据中识别出信号做出响应，捜索对应的下载的媒体；W及第四程序指令， 用于响应于定位下载的媒体，在与识别到信号的位置相关联的位置处将流数据与下载的媒 体集成在一起，并且其中所述第一、第二、第及第四程序指令被存储在所述非瞬态计算 机可读介质上。
[0018] 附图的若干视图的说明
[0019] 从W下结合附图进行的详细说明中将更充分地理解并且领会本公开的主题，在所 述附图中，对应或者类似的数字或者字符指示对应或者类似的元素。除非做出相反指示，附 图提供本公开的示例性实施例或者方面，并不限制本公开的范围。在附图中：
[0020] 图1是根据公开主题的一些示例性实施例，在提供和使用用于开发NUI应用的平 台中的主要元素和活动的方框图；
[0021] 图2是根据公开主题的一些示例性实施例，使用播放器播放通过该平台开发的应 用的用户的示例性图解；
[002引图3A-3C是根据公开主题的一些示例性实施例，举例说明使用跟踪点和跟踪区域 的图解；
[0023] 图4A是根据公开主题的一些示例性实施例，用于W设计模式开发NUI应用的平台 的示例性屏幕截屏；
[0024] 图4B是根据公开主题的一些示例性实施例，用于W交互模式开发NUI应用的平台 的示例性屏幕截屏；
[00巧]图4C-4E是举例说明根据公开主题的一些示例性实施例，使用交互模式开发NUI应用的示例性图解；
[0026] 图5是显示根据公开主题的一些示例性实施例，用于开发NUI应用的平台的元素 的方框图；
[0027] 图6是显示根据公开主题的一些示例性实施例，用于播放NUI应用的播放器的元 素的方框图；W及
[0028] 图7是根据公开主题的一些示例性实施例，显示在播放器接收流媒体的运行中的 步骤的流程图。
【具体实施方式】
[0029] 定义；
[0030] NUI;自然用户界面是人类和计算平台之间的接口，其使得人类能够W对于用户来 说是自然（化化raU的、并且不需要额外的输入设备（诸如鼠标、键盘等等）的方式将数据 输入到计算机中，因此显著地减少学习曲线和适应周期；
[0031] 平台；平台或者开发平台是提供开发环境，用于生成应用、项目、内容等等的软件 产品或单元，其中应用或者项目可W被最终用户或者客户使用；
[0032] 播放器/NUI播放器；适合显示或者执行一种或者多种特定类型的应用、项目或者 内容的软件产品，该种应用或者项目通过平台开发。NUI播放器适合于与NUI设备（见下 文）通信，可选地使用设备驱动器，并且经由NUI设备或者其他通道从用户接收数据。NUI 播放器可W将NUI设备捕捉的数据与图形对象、流媒体或者其他元素结合在一起；
[0033] NUI设备；W对于用户来说是自然的方式，从用户接收输入并且将输入通信到计 算装置的硬件设备，诸如通过用户捕捉姿态的照相机、触摸屏、语音捕捉设备等等；
[0034] NUI对象；通过描述由NUI设备捕捉的对象的特性、特点及其他特征，并且使得能 够在描述上执行动作的软件成分实现的数据结构。每个该种数据结构可W代表整体的人体 或者人体的一部分，诸如脸部、手、身体、声音、触摸、眼睛等等；
[00巧]记录对象；被分析并且被转换为数据结构、用于稍后通过NUI设备捕捉时进行识 别的对象。记录对象可W是诸如椅子的物理对象，诸如任何椅子的类属对象，可辨认的环境 Afr Afr寸寸；
[0036] 图形对象：通过描述可能具有图形显示器的实体的软件成分实现的数据结构，诸 如物理对象的二维或者=维表示；图像、画、视频、声音、一部分图像等等；
[0037] 交互对象；与一组预先编程的命令关联并且使一个或者多个对象能够进行交互动 作的实体；
[003引需要注意的是；如果生成了开发平台，例如，W面向对象的范式进行了编程，可W使用类级别中的类实现上述限定的对象的类型，
[0039] 跟踪点；相对于NUI对象或者NUI对象的一部分限定的位置，其中跟踪点可W产生 自NUI对象或者由用户限定。如果移动了NUI对象，在其上限定的跟踪点在空间中移动但 是相对于对象或者对象的一部分维持相同的位置；
[0040] 钉住点；在图形对象或者图形对象的一部分上限定的位置，其可W被钉住或者附 着在NUI对象的跟踪点或者跟踪区域（见下文）上，图形对象将被显示为与物理法则相一 致，诸如重力、基本力、粒子物理学等；
[0041] 跟踪区域或者跟踪罩（trackingmask);-个或者聚合在一起的多个跟踪点。跟 踪区域可W与图形对象上的钉住点关联，使得当NUI对象移动时，图形对象跟踪跟踪区域；
[0042] 参考点：在工作区中能够在NUI对象上的跟踪点、图形对象上的位置及其他空间 中的位置之间相对定位的位置；
[0043] 物理点：扩展分配给图形对象的物理特性的点。物理点可W位于图形对象的特 定部分，并且可W生成物理点的序列或者区域，使得在图形对象的一部分或者区域上蕴含 点的物理特性。例如使用物理点，袋子的手柄可W被分配为与袋子本身特性不同的弹性特 性；
[0044] 层；层是台上对象的直观表示，诸如NUI对象、2-D图像、视频文件、声音文件、3D对 象、跟踪区域、效果等等；可时间线表示层（见下文）
[0045] 时间线：时间线是开发平台的主要工作区域的输出产品，其中不同的层可W被定 位并且布置在特定时间区域的级别中，并且其中可W限定对象之间的相互关系。
[0046]W