产生来自视频内容分析的触觉反馈的方法和设备的制作方法

产生来自视频内容分析的触觉反馈的方法和设备的制作方法
【专利摘要】本发明涉及产生来自视频内容分析的触觉反馈的方法和设备，以及涉及基于视频内容分析、包括视频上的一个或多个对象的运动的一个或多个测量的传感器信息、和/或包括一个或多个图像捕获装置的运动的一个或多个测量的传感器信息而产生触觉反馈。视频内容分析可以包括视频的图像处理。系统可以基于该图像处理识别一个或多个事件，并基于所述一个或多个事件引起触觉反馈。所述触觉反馈可以基于视频场景对象的估计的加速度发生变化，其中，所述估计的加速度基于图像处理。可以使用传感器信息使所述估计的加速度在高速时更准确，而基于图像处理，可以使基于传感器信息的估计的加速度在较低速时更准确。
【专利说明】产生来自视频内容分析的触觉反馈的方法和设备

【技术领域】
[0001]本公开涉及基于视频内容分析、来自一个或多个传感器的包括出现在视频上的一个或多个对象的运动的一个或多个测量的传感器信息、和/或包括一个或多个图像捕获装置的运动的一个或多个测量的传感器信息，来产生触觉反馈的系统和方法。

【背景技术】
[0002]传统的多媒体内容(如视频)可以用触觉反馈增强。然而，这样的增强通常需要将编码所述触觉反馈的信息直接嵌入视频中。因此，这些技术不能提供预先存在的视频上的实时触觉反馈，所述预先存在的视频尚未用编码该触觉反馈的信息注解。
[0003]此外，传统媒体回放系统没有充分利用指示出现在视频中的某一场景中的对象的运动的传感器信息来产生触觉反馈。此外，当对象高速移动时，由于模糊和其他构件，基于视频信息估计对象的加速度可能是不准确的，而使用来自附属于该对象的传感器的信息估计该对象的加速度在低速时可能是不准确的。


【发明内容】

[0004]本公开涉及基于视频内容分析、来自一个或多个传感器的包括出现在视频上的一个或多个对象(例如人)的运动的一个或多个测量的传感器信息、和/或包括一个或多个图像捕获装置的运动的一个或多个测量的传感器信息，来产生触觉反馈的系统和方法。一般来说，该系统可包括具有一个或多个处理器的计算装置，所述处理器被编程以执行所述视频内容分析和/或使用传感器信息以导致产生触觉反馈，从而增强用户体验。
[0005]所述触觉反馈可以基于视频场景对象的估计的加速度而变化，其中，所述估计的加速度基于图像处理。可以使用传感器信息使所述估计的加速度在高速时更准确，而基于图像处理，可以使基于传感器信息的估计的加速度在较低速时更准确。
[0006]在一些实施方式中，视频内容分析可以包括视频的一帧或多帧的图像处理。计算装置可以基于图像处理识别一个或多个事件，并基于所述一个或多个事件而引起触觉反馈。所述事件例如可以包括图像捕获装置的运动、对象的外观、身体部位的外观、爆炸、移动对象、特定的可识别图像特征、面部表情、手势、场景主题、和/或可以基于所述图像处理来识别的其他事件。
[0007]所述计算装置可以产生控制信号，该控制信号引起所述触觉反馈并将该控制信号传送到输出该触觉反馈的一个或多个触觉输出装置。可以根据所述计算装置的特定用途和实现，以各种方式配置所述触觉输出装置。例如，触觉输出装置可以与计算装置(例如，集成在公共外壳内)、用户接口装置、可穿戴装置、椅子(例如，在电影院设置中，其中当观看电影时，所述计算装置对电影执行图像处理，以提供身临其境的触觉反馈)和/或取决于特定实现的其他配置集成。
[0008]由于可以基于图像处理产生所述触觉反馈，所述计算装置促进实时触觉反馈而无需上游嵌入或供应将触觉反馈编码到多媒体文件或多媒体流中的信息。因此，该计算装置可以用触觉反馈来增强视频(和/或其他多媒体内容，可以为所述其他多媒体内容执行图像处理)，即使该视频尚未与引起该触觉反馈的信息联合提供或已经以其他方式嵌入该信息中。
[0009]在一些实施方式中，该计算装置可以使用包括涉及多媒体内容(例如视频)的运动的一个或多个测量的传感器信息，并产生引起触觉反馈的控制信号。例如，在拍摄视频的时候，一个或多个传感器可以耦合到图像捕获装置(例如，摄像机)和/或正被跟踪的对象(例如，视频上出现的对象)，使得所述传感器测量所述图像捕获装置和/或对象的运动，并输出包括所述测量的传感器信息。以这种方式，可以测量对象和/或图像捕获装置的运动，以提供用于提供触觉反馈的传感器信息。所捕获的视频和/或传感器信息可实时流式传输和/或储存以备以后提供给计算装置进行回放。
[0010]所述计算装置可获得传感器信息，并产生响应于所述传感器信息的控制信号。例如，所述传感器信息可以指示该图像捕获装置在视频的特定场景中是运动的。当捕获该特定场景时，所述计算装置可以产生响应于所述图像捕获装置的运动的控制信号，正如基于所述传感器信息所确定。同样地，所述传感器信息可以指示，视频场景中出现的对象是运动的。所述计算装置可以产生响应于所述对象的运动的控制信号，正如基于所述传感器信息所确定。在某些实施方式中，所述计算装置可以产生控制信号，该控制信号基于所述图像捕获装置和正被跟踪对象的运动的结合而引起触觉反馈。
[0011]在一些实施方式中，所述计算装置可以基于图像处理产生对象的速度、加速度和/或角速度的第一估计，并基于传感器信息产生对象的速度、加速度和/或角速度的第二估计。所述计算装置可以基于所述第一估计和第二估计产生对象的速度、加速度和/或角速度的融合估计。使用所述融合估计，所述计算装置可以产生所述控制信号。在一些实施方式中，所述计算装置可以单独使用第一估计(基于图像处理)以产生所述控制信号。
[0012]无论使用哪些使用关于该视频的运动信息的上述实施方式以产生所述控制信号，当现场对象和/或捕获场景的图像捕获装置在运动时，通过引起将被提供的触觉反馈，所述计算装置可以增强所述视频体验。例如，当所述计算装置确定对象在场景期间加速时，所述计算装置可以提供控制信号，该控制信号弓I起强度增加的触觉反馈。
[0013]在一些实施方式中，所述计算装置可以单独使用所述视频的图像处理来产生弓I起触觉反馈的控制信号。在其他实施方式中，所述计算装置可以单独使用传感器信息来产生引起触觉反馈的控制信号。在其他实施方式中，所述计算装置可结合传感器信息使用图像处理来生成引起触觉反馈的控制信号。
[0014]考虑构成本说明书的一部分的所有这些参照附图的以下的说明书和所附权利要求书，当前技术的这些和其它特征及特生以及结构和部分的组合的相关元件的操作方法和功能和制造的节约将变得更加显而易见，其中，相同的标号指定各个附图中的对应部分。然而，应明确理解，附图仅用于说明和描述的目的，并且不旨在作为对本发明的限制的定义。如在说明书和权利要求中使用的“一”、“一个”和“该”的单数形式包括复数指代，除非上下文另有明确规定。

【专利附图】

【附图说明】
[0015]图1根据本发明的一个方面，示出了配置为基于视频内容分析而产生触觉反馈的系统。
[0016]图2A根据本发明的一个方面，示出了一个场景的示例，其中，頂U传感器耦合到正由静止图像捕获装置拍摄的对象，而该对象的运动正由该頂U传感器测量，用于产生触觉反馈。
[0017]图2B根据本发明的一个方面，示出了一个场景的示例，其中，IMU传感器耦合到对象和图像捕获装置，而该对象的运动正由该頂U传感器测量，用于产生触觉反馈。
[0018]图2C根据本发明的一个方面，示出了一个场景的示例，其中，頂U传感器耦合到正由运动图像捕获装置拍摄的对象，而该对象的运动正由该頂U传感器测量，用于产生触觉反馈。
[0019]图3根据本发明的一个方面，示出了配置为产生基于视频内容分析的触觉反馈的计算装置的实现的示例。
[0020]图4根据本发明的一个方面，示出了合并到各种用户的触摸点中的触觉输出装置的实现的示例。
[0021]图5根据本发明的一个方面，示出了用于基于视频内容分析而产生触觉反馈的过程的示例。
[0022]图6根据本发明的一个方面，示出了用于基于传感器信息而产生触觉反馈的过程的示例，所述传感器信息包括出现在视频中的对象的运动的一个或多个测量。

【具体实施方式】
[0023]本公开涉及基于视频内容分析、和/或包括出现在视频上的一个或多个对象的运动的一个或多个测量的传感器信息、和/或包括一个或多个图像捕获装置的运动的一个或多个测量的传感器信息，来产生触觉反馈的系统和方法。
[0024]图1根据本发明的一个方面，示出了配置为基于视频内容分析而产生触觉反馈的系统100。系统100可以包括惯性测量单元(“MU”)传感器110、图像捕获装置120、计算装置130、计算装置140、视频输出装置141、触觉输出装置143、音频输出装置145和/或其它组件。尽管在图1中仅示出了前述组件中的单个组件，但可以使用多于一个的这样的组件。例如，可以使用一个或多个頂U传感器110。MU传感器110可单独操作在不同的频率和/或测量范围。在一些实施方式中，不同的MU传感器110可连接与场景有关的不同对象和/或不同的图像捕获装置120。
[0025]在一些实施方式中，MU传感器110可以包括三维(“3D”)陀螺仪111、3D加速度计113、3D磁力计115和/或其它传感器装置117。使用3D陀螺仪111、3D加速度计113、3D磁力计115和/或其它传感器装置117，MU传感器110可以生成传感器信息112，所述传感器信息112包括MU传感器110的运动的一个或多个测量。例如，当MU传感器110被连接到对象时，3D陀螺仪111、3D加速度计113、3D磁力计115和/或其它传感器装置117可以测量该对象的运动并生成传感器信息112，其可传送给计算装置130。在一些实施方式中，图像捕获装置120可以包括视频摄像机和/或其它图像或图像捕获装置。图像捕获装置120可以捕获一个或多个图像，并生成视频122，其可传送给计算装置130。在一些实施方式中，一个以上的图像捕获装置120可从不同的角度和/或其它视图拍摄场景中的相同或不同的对象。在一些实施方式中，MU传感器110可连接到图像捕获装置120，使得可以在传感器信息112中获得和报告该图像捕获装置的运动。在一些实施方式中，第一 IMU传感器110可连接到图像捕获装置120，而第二 MU传感器110可连接到对象。又一个MU传感器110可连接到另一对象和/或另一图像捕获装置120等。
[0026]在一些实施方式中，计算装置130可以在数据库中存储传感器信息112和/或视频122，用于以后供应到计算装置140。计算装置130可提供传感器信息112和/或视频122到计算装置140。当提供传感器信息112和视频122时，可以使用能容纳数据的传统视频格式将传感器信息112嵌入视频122中。或者，计算装置130可分别提供传感器信息112和视频122。在一些实施方式中,可以一个或多个可读介质132的形式将传感器信息112和/或视频122提供给计算装置140，所述传感器信息112和/或视频122可以由计算装置130和/或其他装置产生。
[0027]在一些实施方式中，计算装置140可以包括用一个或多个计算机程序模块编程的一个或多个处理器142，所述一个或多个计算机程序模块可以被存储在一个或非临时性的存储介质144中。计算装置140可由所述模块编程，以基于对视频122的图像处理和/或传感器信息112的使用而对视频122执行图像处理和/或包含传感器信息112来生成引起触觉反馈的一个或多个控制信号。
[0028]所述模块可以包括图像处理模块150、传感器处理模块152、基于图像的运动估计器模块154、基于传感器的运动估计器模块156、数据融合模块158、配置管理模块160、控制信号生成器模块162、协调模块164和/或其它模块。
[0029]在一些实施方式中，图像处理模块150可以被配置成在视频122上执行视频内容分析。不管视频122是否从计算装置130流传输、下载并存储在本地进行播放、从介质132读取、和/或反之以另一方式获得，图像处理模块150可以在存储器中缓冲视频122来处理该视频的一个或多个图像帧，以便检测感兴趣的一个或多个事件。可以以各种方式来检测不同类型的感兴趣的事件。
[0030]在一些实施方式中，通过确定该对象关于一个图像帧到另一图像帧的光流，图像处理模块150可以检测关于给定场景中静止对象的运动。这样的处理可以表明用于创建视频122的图像捕获装置是在运动中。图象处理模块150可基于图像处理确定运动的速度，这可能会触发引起所述触觉反馈的控制信号的创建。图像处理模块150可以执行常规的光流计算，这对于本领域技术人员将是显而易见的。
[0031]在一些实施方式中，基于使用一个或多个视频122的图像处理，基于图像的运动估计器模块154可确定现场出现的对象的运动的速度、加速度和/或速率。在使用一个以上的视频122的实施方式中，并行的视频馈送可用于立体视觉，或者以其他方式提供场景的两个或更多不同视角，相比于使用较少的视频馈送或视角，这可以提高运动估计的精度。所述对象的运动的这种速度、加速度和/或速率可以被包括作为检测的触发控制信号创建的事件。
[0032]在一些实施方式中，基于与身体部位(例如，脸，手等)的数据库的比较，图像处理模块150可以检测新的身体部位已经进入了给定的场景中。新的身体部位的进入可以指示新的角色已经进入场景，这可以触发引起所述触觉反馈的控制信号的创建。
[0033]在一些实施方式中，图像处理模块150可检测从一个场景到下一个场景的颜色的分布或配置中的变化(如一个或多个图像帧中所反映的)。例如，图像处理模块150可以为不同的(例如连续的)帧确定色调饱和度值(“HSV”)颜色直方图，并确定该HSV颜色直方图是否已从一帧改变到另一帧。如果所述HSV颜色直方图已经变化，图像处理模块150可确定在该场景中出现了新的对象或者其他方式的变化。
[0034]在一些实施方式中，图像处理模块150可以检测从浅到深的总体变化，反之亦然，潜在表明所述场景的周围环境变化，这可能会触发引起所述触觉反馈的控制信号的创建。在一些实施方式中，所述场景的周围环境变化可能引起基于该周围环境变化而调制的触觉反馈。
[0035]在一些实施方式中，基于可以触发引起所述触觉反馈的控制信号的创建的传统图像处理和情绪检测技术，图像处理模块150可以检测给定场景中动作者的情绪或情感。
[0036]在一些实施方式中，图像处理模块150可以检测视频中可能引起特定颜色图案的火灾、爆炸和/或其他事件，这可能会触发引起所述触觉反馈的控制信号的创建。在一些实施方式中，图像处理模块150可以检测屏幕上出现的特定的人或对象。例如，当特定的对象或人已经进入场景时，用户可以指定提供触觉反馈。
[0037]当处理图像帧时，图像处理模块150可以执行上述和/或其它事件检测的全部或一部分。响应于检测的事件，控制信号生成器模块162可以生成一个或多个控制信号，用于引起所述触觉反馈。根据所检测的事件，所述控制信号可以引起不同的触觉效果(例如，较快的图像捕获装置和/或对象运动可能会导致控制信号，相比于慢的图像捕获装置和/或对象运动，该控制信号引起更大数量级的或其他特性的触觉反馈)。此外，图像处理模块150可以为所检测事件的不同类型和/或类型的组合产生不同的控制信号(引起不同的触觉反馈)。
[0038]在一些实施方式中，传感器处理模块152可以被配置为基于传感器信息112来检测基于传感器的事件。例如，基于传感器的事件可以包括对象、人、图像捕获装置120的特定运动，和/或与视频122有关的其他运动。在一些实施方式中，基于传感器的运动估计器模块156可以被配置为基于传感器信息112的处理来确定运动的速度、加速度、速率和/或其他特性。所述基于传感器的事件可能会引起产生用于提供触觉反馈的控制信号。所述触觉反馈可以根据基于传感器的事件变化。作为特定的示例，当检测对象的运动时，可以创建所述控制信号以引起触觉反馈。基于检测的运动水平，这种触觉反馈可能会变化。
[0039]在一些实施方式中，根据是否使用单个装置以生成所述传感器信息112和视频，传感器处理模块152可以使传感器信息112与视频122同步(例如，当移动装置或具有传感器和图像捕获装置二者的其他装置用于既捕获视频又收集传感器信息时)。如果单个装置用于捕获视频和传感器信息两者，则将由该单个装置典型地同步两者。另一方面，如果该单个装置不同步所述传感器信息和视频，则传感器处理模块152可以根据使用公共时间参考(例如，全球定位系统时间)的时间戳，和/或本文中描述的事件检测来同步这两者。
[0040]在一些实施方式中，数据融合模块158可以被配置为将来自图像处理模块150、传感器处理模块152、基于图像的运动估计器模块154和/或基于传感器的运动估计器模块156的信息组合，用于改善对象的加速度估计，从而提高响应于所述加速度估计而提供的触觉反馈的质量，如关于图2A2C的进一步说明。
[0041]在一些实施方式中，配置管理模块160可以被配置为获取指示不同触觉反馈或触觉反馈的水平的用户偏好或其他输入，应该响应于检测特定事件提供所述不同触觉反馈或触觉反馈的水平。例如，用户可识别或指定触发触觉反馈和/或触觉反馈的水平的事件(如果有的话)。用户可以这种方式定制视频观看和触觉反馈生成。
[0042]在一些实施方式中，控制信号生成器模块162可以被配置为生成引起触觉反馈的一个或多个控制信号。控制信号生成器模块162可以响应于由图像处理模块150、传感器处理模块152、基于图像的运动估计器模块154、基于传感器的运动估计器模块156、数据融合模块158和/或配置管理模块160所检测或从中输出的上述事件，生成控制信号。在一些实施方式中，控制信号生成器162可基于生成响应于所述控制信号的触觉反馈的一个或多个触觉输出装置143的特定配置(例如，数量、类型、位置等)生成控制信号。以这种方式，计算装置140促进响应于不同类型的事件、事件的特性(例如，给定场景中出现的对象的估计速度)和/或用户偏好/配置的各种类型的触觉反馈。
[0043]在一些实施方式中，协调模块164可以被配置为将视频输出、控制信号输出和音频输出分别协调到视频输出装置141、触觉输出装置143和音频输出装置145。视频输出装置141可以包括显示器，诸如触摸屏显示器、监视器和/或能显示视频输出的其它显示器。在一些实施方式中，协调模块164可以根据嵌入到视频122的同步码和/或经由通常设定时间的时间戳来同步视频输出、控制信号(例如，由该控制信号所引起的触觉反馈)和音频输出，用于输出视频输出、音频输出和触觉反馈中的每一个。
[0044]触觉输出装置143可以包括致动器，例如，电磁致动器，例如偏心旋转质量(“ERM”)，其中由马达移动偏心质量、线性谐振致动器(“LRA”)，其中连接到弹簧上的质量被驱动往复，或“智能材料”，例如压电的、电活性聚合物或形状记忆合金、宏复合纤维致动器、静电致动器、电触致动器和/或提供物理反馈(例如触觉(例如，震动触觉的)反馈)的另一类致动器。触觉输出装置143可以包括非机械或非振动装置，例如使用静电摩擦(ESF)、超声波表面摩擦(USF)的装置，或用超声波触觉换能器诱发声辐射压力的装置，或使用触觉基板和柔性的或可变形的表面的装置，或提供投影触觉输出(例如使用空气喷射的一阵空气)的装置等等。
[0045]音频输出装置145可以包括扬声器或能发出声音的其它装置。在一些实施方式中，视频输出装置141、触觉输出装置143和/或音频输出装置145可以与计算装置140集成在一起。在一些实施方式中，可以分别独立于计算装置140容纳视频输出装置141、触觉输出装置143和/或音频输出装置145。
[0046]在一些实施方式中，计算装置130可以用关于计算装置140讨论的模块进行编程。因此，至少一些或所有关于计算装置140的上述功能可以在计算装置130执行。例如，计算装置130可以对它创建和/或以其他方式提供的视频执行图像处理，使得所提供的视频通过可以与所提供的视频同步的控制信号增强。以这种方式，消费该视频和控制信号的用户装置可能会引起显示该视频，并引起产生同步的触觉反馈。
[0047]非临时性存储介质144可以包括一体地(即，基本上不可移动的)提供有计算装置140的系统存储器，和/或经由例如端口(例如，USB端口、火线端口等)或驱动器(例如，磁盘驱动器等)可拆卸地可连接到计算装置140的可移动存储中的一个或两者。非临时性存储介质144可以包括:光学可读存储介质(例如，光盘等)、磁性可读存储介质(例如，磁带、磁硬盘驱动器、软盘驱动器等)、基于电荷的存储介质(例如，EEPR0M、RAM等)、固态存储介质(例如，闪存驱动器等)和/或其它电子可读存储介质中的一个或多个。非临时性存储介质144可以包括一个或多个虚拟存储资源(例如，云存储、虚拟专用网络和/或其他虚拟存储资源)。非临时性存储介质144可以存储软件算法、由处理器142所确定的信息、从计算装置140接收的信息和/或使计算装置140能够起到如本文所述作用的其它信肩、O
[0048]处理器142被配置为提供计算装置140中的信息处理能力。因此，处理器142可以包括:数字处理器、模拟处理器、设计为处理信息的数字电路、设计为处理信息的模拟电路、状态机和/或用于电子地处理信息的其它机构中的一个或多个。尽管图1中将处理器142示为一个单一的实体，但这仅是为了例示的目的。在一些实施方式中，处理器142可以包括多个处理单元。这些处理单元可以物理地位于同一装置内，或者处理器142可以表示多个协同工作的装置的处理功能。处理器142可以被配置为通过软件；硬件；固件；软件、硬件和/或固件的某种组合；和/或用于配置处理器142的处理能力的其他机构来执行模块。
[0049]本文所描述的各种模块仅是示例性的。可以使用模块的其它配置和数字，以及使用非模块化的方法，只要一个或多个物理处理器被编程以执行本文中所描述的功能。应当理解的是，虽然模块150、152、154、156、158、160、162和164在图1中被示为共同位于单个处理单元中，在处理器142包括多个处理单元的实施方式中，一个或多个模块可以位于远离其它模块的位置。由本文所描述的不同模块所提供的功能的描述是为了说明的目的，并且不旨在进行限制，因为任何模块可以提供比所描述的更多或更少的功能。例如，可以消除一个或多个模块，并且可以由所述模块中的其他模块提供其功能的某些或全部。作为另一个例子，处理器142可以被配置为执行一个或多个可以执行本文归因于所述模块中一个的某些或全部功能的附加模块。
[0050]图1所示的组件可以通过诸如网络的各种通信链路通信地彼此耦合。该网络可以包括有线或无线连接。在本发明的一些方面中，该网络例如可包括:因特网、内联网、PAN(个人局域网)、LAN(局域网)、WAN(广域网)、SAN(存储区域网)、MAN(城域网)、无线网络、蜂窝通信网络、公共交换电话网络和/或其他网络中的任何一个或多个。
[0051]本文中被描述为存储或可存储的各种输入、输出、配置和/或其他信息可被存储在一个或多个数据库中(图1中未示出)。这些数据库例如可以是、包括或接口由例如Oracle公司商业销售的Oracle?关系数据库。也可使用、纳入、或访问其他数据库，例如Informix?, DB2 (数据库2)，或包括基于文件的、或查询格式、平台、或资源的其他数据存储，例如OLAP (在线分析处理)、SQL (标准查询语言)、SAN(存储区域网络)，微软Access?或其它。该数据库可以包括驻留在一个或多个物理装置和在一个或多个物理位置的一个或多个这样的数据库。该数据库可以存储多种类型的数据和/或文件和相关联的数据或文件的描述、管理信息或任何其他数据。
[0052]图2A根据本发明的一个方面,示出了场景200A的一个示例，其中，IMU传感器110耦合到正由静止图像捕获装置120拍摄的对象202A，而对象202A的运动正由MU传感器110测量，用于改善对象202A的加速度估计。
[0053]可能感兴趣的所述图像捕获装置的帧信息和对象202A的基本知识可以用来估计在参考使用传统的计算机视觉方法的固定的图像捕获装置中的其3D运动和其位置。连接到对象202A的IMU传感器110可提供惯性数据估计，通过使用由所述图像捕获装置120提供的数据将使该惯性数据估计更精确。
[0054]可以由用户预先选择用作用于提供触觉反馈的基础的对象202A。使用常规的模板匹配方法(例如光流、方向梯度直方图(“HOG”)、3D模型姿态估计等)，通过在两个或更多个连续的图像中检测对象202A(给定其特性或一些其特征点)，基于图像的运动估计器模块154可以确定对象202A的加速度。在一些实施方式中，通过将由基于图像的运动估计器模块154所估计的其运动与由基于传感器的运动估计器156所估计的运动组合，数据融合模块158可以确定对象202A的运动。
[0055]图2B根据本发明的一个方面，示出了场景200B的一个示例，其中MU传感器110耦接到对象202B和图像捕获装置120，并且对象202B的运动正由IMU传感器110测量，用于改善对象202B的加速度估计。
[0056]基于图像的运动估计器模块154可以使用场景中一些视觉固定不变特征(visualfix invariant feature),应用计算机视觉算法以从连续巾贞估计3D相机姿势(在固定参考(referential)的位置和方向)。在这种情况下，估计相机姿势可以相当于估计对象姿势。估计的数据可被结合到由连接到对象202B的MU传感器110提供的数据，以便使用数据融合模块158使其更精确。
[0057]如果触觉反馈和图像捕获装置120的移动有关，仅可以使用该图像捕获装置的固有参数。基于图像的运动估计器模块154可为场景中的一些固定不变特征确定该光流(例如:尺度不变特征变换、加速鲁棒特征等)。图像捕获装置120/对象202B的移动将与计算出的光流相反。
[0058]图2C根据本发明的一个方面，示出了场景200C的一个示例，其中，IMU传感器110耦合到正由运动图像捕获装置120拍摄的对象202C，而该对象的运动正由MU传感器110测量，用于改善对象202C的加速度估计。在一些实施方式中(图2C中未示出)，MU传感器110可耦合到图像捕获装置120，以提供其运动的一个或多个测量。
[0059]基于图像的运动估计器模块154可以使用场景中一些视觉固定不变特征，应用计算机视觉算法以从连续帧估计3D相机姿势(在固定参考的位置和方向)。图像捕获装置的帧信息和对象202C的特性的基本知识可用于使用计算机视觉方法来估计图像捕获装置参考中的其3D运动和其位置。对象位置和运动可随后被转换为全局固定参考，并使用数据融合模块158融合来自MUllO的传感器信息。
[0060]可以使用将为其创建触觉反馈的图像捕获装置的固有参数和视频馈送中对象/人的特性。通过为场景中一些不变的静止特征计算光流，基于图像的运动估计器模块154可以确定图像捕获装置120的运动。如果MU传感器110耦合图像捕获装置120，可使用数据融合模块158以更高精度估计这种运动。通过模板匹配，可以使用数据融合模块158以更高精度估计这种运动，如果頂U传感器110耦合装置120，可估计场景中对象202C的相对运动。通过相互关联这两个值，然后评估固定参考中的运动。
[0061]图3根据本发明的一个方面，示出了被配置为基于视频内容分析生成触觉反馈的计算装置140的实施方式的示例。计算装置140A可被配置为移动装置，诸如具有集成的视频输出装置141 (例如，触摸屏显示器)、集成的触觉输出装置143和集成的音频输出装置145的智能手机。在此实施方式中，当通过该移动装置接收触觉反馈时，计算装置140A可用于观看视频内容。在一些实施方式中，外部触觉装置还可通过有线或无线连接耦合到计算装置140A。
[0062]计算装置140B可以被配置为便携式计算装置，例如具有集成触觉愉出装置143和集成音频输出装置145的笔记本电脑。在此实施方式中，当通过便携式计算装置接收触觉反馈时，计算装置140B可用于观看视频内容。在一些实施方式中，外部触觉装置还可通过有线或无线连接耦合到计算装置140B。
[0063]计算装置140C可以被配置为独立的计算装置，如台式计算机、游戏控制台或其他独立的计算装置。在此实施方式中，计算装置140C可耦合到单独的视频输出装置141、单独的音频输出装置145和单独的用户触摸点302，其可容纳触觉输出装置143。
[0064]图4根据本发明的一个方面，示出了被结合到各种用户触摸点302的触觉输出装置143的实施方式的示例。例如，触摸点302A和302B可以被配置为可穿戴装置，例如可佩戴的眼镜和可穿戴的服装。也可使用其他类型的可穿戴装置。触摸点302C可以被配置为包括触觉输出装置143 (在图4中被示为触觉输出装置143A，143B,...143C)的各种用户装置，其可以包括装置，例如智能手机、键盘、鼠标、游戏控制器和/或其他用户装置。
[0065]图5根据本发明的一个方面，示出了用于生成基于视频内容分析的触觉反馈的过程500的一个示例。在本文中更详细地描述了图5的流程图和其他附图中描述的各种处理操作。可以使用上面详细描述的系统组件的一些或全部来实现所描述的操作。根据本发明的一个方面，可以不同的顺序来执行各种操作。在其它实施方式中，附加操作可以伴随着在图5和其他附图中所示的一些或全部操作而被执行，或者可省略某些操作。在又一些其他实施方式中，可以同时执行一个或多个操作。相应地，所示(并在下面更详细地描述)的操作实质上是示例性的，并且因此不应该被视为限制性的。
[0066]在操作502中，可以获得具有一个或多个图像帧的视频，所述获得可以包括捕获和/或读取。在操作504中，可以对一个或多个图像帧执行图像处理。在操作506中，可检测基于图像处理的事件。在操作508中，可以提供基于检测的事件的控制信号。该控制信号可能引起触觉输出装置提供触觉反馈。因此，可基于正对视频上执行的图像处理生成触觉反馈。
[0067]图6根据本发明的一个方面，示出了用于基于传感器信息生成触觉反馈的过程600的一个示例，所述传感器信息包括出现在视频上的对象的运动的一个或多个测量。
[0068]在操作602中，可以获得与该视频相关联的视频和传感器信息，所述获得可包括捕获和/或读取。所述传感器信息可以包括与该视频相关的所捕获的运动的一个或多个测量。该运动可包括对象的运动、当捕获该视频时正被移动的图像捕获装置的运动和/或与视频相关的可测量的其他运动。
[0069]在操作604中，可以生成基于传感器信息的控制信号。该控制信号可以被配置为引起触觉反馈。在一些实施方式中，该控制信号可基于传感器信息和该视频的图像处理的输出。
[0070]在操作606中，可向该控制信号同步地提供与该视频有关的捕获的运动。
[0071]考虑到本文公开的本发明的说明书和实践，对于本领域技术人员，本发明的其它方面、用途和优点将是显而易见的。本说明书应被视为仅仅是示例性的，并且本发明的范围相应地意在仅由所附权利要求来限定。
【权利要求】
1.一种基于视频图像处理提供触觉反馈的计算机实现的方法，该方法在具有用计算机程序模块编程的处理器的计算装置上被实施，该方法包括: 读取包括一个或多个图像帧的一个或多个视频； 对一个或多个图像帧执行图像处理； 基于图像处理检测事件；以及 基于检测的事件提供控制信号，该控制信号被配置为引起触觉反馈。
2.根据权利要求1所述的计算机实现的方法，其中检测事件包括: 检测一种或多种类型的事件，所述一种或多种类型的事件包括:图像捕获装置运动、对象的外观、身体部位的外观、爆炸、移动对象、特定的可识别图像特征、面部表情、手势、或场景主题。
3.根据权利要求2所述的计算机实现的方法，该方法还包括: 接收一个或多个用户偏好，所述一个或多个用户偏好指定当被检测时引起提供该控制信号的至少一种类型的事件，其中提供该控制信号包括: 当已经检测由所述一个或多个用户偏好所指定的一种或多种类型的事件时，提供所述控制信号。
4.根据权利要求1所述的计算机实现的方法，该方法还包括: 基于所述控制信号，由触觉输出装置产生触觉反馈。
5.根据权利要求3所述的计算机实现的方法，该方法还包括: 使所述一个或多个视频与所述触觉反馈协调显示。
6.根据权利要求1所述的计算机实现的方法，该方法还包括: 实时检测所述事件，使得所述控制信号不嵌入所述一个或多个视频中。
7.根据权利要求1所述的计算机实现的方法，该方法还包括: 将所述控制信号嵌入到所述一个或多个视频中；以及 将所述一个或多个视频传送到远程装置，其中，将在该远程装置处提供所述一个或多个视频和触觉反馈。
8.根据权利要求1所述的计算机实现的方法，其中该方法还包括: 获得与所述一个或多个图像帧相关联的传感器信息，其中，所提供的控制信号还基于所述传感器信息。
9.根据权利要求8所述的计算机实现的方法，其中所述一个或多个图像帧包括在所述一个或多个图像帧上捕获的对象，并且其中，所获得的传感器信息与该对象的运动的一个或多个传感器测量相关。
10.根据权利要求9所述的计算机实现的方法，该方法还包括: 基于所述一个或多个图像帧产生对象的运动的第一估计，并基于所述一个或多个传感器测量产生对象的运动的第二估计；以及 用对象的运动的第二估计更新对象的运动的第一估计，或用对象的运动的第一估计更新对象的运动的第二古计。
11.根据权利要求8所述的计算机实现的方法，其中所获得的传感器信息与用于捕获所述一个或多个视频的图像捕获装置的运动的一个或多个传感器测量相关。
12.根据权利要求11所述的计算机实现的方法，该方法还包括:基于所述一个或多个图像帧产生图像捕获装置的运动的第一估计，并基于所述一个或多个传感器测量产生图像捕获装置的运动的第二估计；以及 用图像捕获装置的运动的第二估计更新图像捕获装置的运动的第一估计，或用图像捕获装置的运动的第一估计更新图像捕获装置的运动的第二估计。
13.根据权利要求8所述的计算机实现的方法，其中所获得的传感器信息包括出现在一个或多个视频上的对象的运动的一个或多个第一传感器测量和用于捕获所述一个或多个视频的图像捕获装置的运动的一个或多个第二传感器测量。
14.根据权利要求13所述的计算机实现的方法，该方法还包括: 基于所述一个或多个图像帧和所述一个或多个第一传感器测量产生图像捕获装置的运动的估计； 基于所述一个或多个图像帧和所述一个或多个第二传感器测量产生对象的运动的估计；以及 基于所述图像捕获装置的运动的估计和所述对象的运动的估计更新所述对象的运动的估计。
15.根据权利要求1所述的计算机实现的方法，其中该方法还包括: 获得与所述一个或多个图像帧相关联的传感器信息；以及 基于所述传感器信息提 供第二控制信号。
16.一种基于与视频相互关联的传感器信息而提供触觉反馈的计算机实现的方法，该方法在具有用计算机程序模块编程的处理器的计算装置上被实施，该方法包括: 读取一个或多个视频和与所述一个或多个视频相关联的传感器信息，其中，所述传感器信息包括关于所述一个或多个视频的捕获的运动的一个或多个测量； 基于所述传感器信息产生控制信号，该控制信号被配置为引起触觉反馈；以及 与关于所述一个或多个视频的捕获的运动同步地提供控制信号。
17.根据权利要求16所述的计算机实现的方法，其中所述一个或多个视频包括一个或多个图像帧，所述一个或多个图像帧包括在所述一个或多个视频上捕获的对象，并且其中所述运动包括所述对象的运动。
18.根据权利要求17所述的计算机实现的方法，该方法还包括: 基于所述一个或多个图像帧产生对象的运动的第一估计和基于所述一个或多个传感器测量产生对象的运动的第二估计；以及 用对象的运动的第二估计更新对象的运动的第一估计，或用对象的运动的第一估计更新对象的运动的第二估计。
19.根据权利要求16所述的计算机实现的方法，其中所述运动包括用来捕获所述一个或多个视频的图像捕获装置的运动。
20.根据权利要求19所述的计算机实现的方法，该方法还包括: 基于所述一个或多个图像帧产生图像捕获装置的运动的第一估计，和基于所述一个或多个传感器测量产生图像捕获装置的运动的第二估计；以及 用图像捕获装置的运动的第二估计更新图像捕获装置的运动的第一估计，或用图像捕获装置的运动的第一估计更新图像捕获装置的运动的第二估计。
21.根据权利要求16所述的计算机实现的方法，其中所获得的传感器信息包括出现在一个或多个视频上的对象的运动的一个或多个第一传感器测量和用于捕获所述一个或多个视频的图像捕获装置的运动的一个或多个第二传感器测量。
22.根据权利要求21所述的计算机实现的方法，其中所述一个或多个视频包括一个或多个图像帧，所述一个或多个图像帧包括在所述一个或多个视频上捕获的对象，该方法还包括: 基于所述一个或多个图像帧和所述一个或多个第一传感器测量产生图像捕获装置的运动的估计； 基于所述一个或多个图像帧和所述一个或多个第二传感器测量产生对象的运动的估计；以及 基于所述图像捕获装置的运动的估计和所述对象的运动的估计更新所述对象的运动的估计。
23.一种基于视频图像处理提供触觉反馈的系统，该系统包括: 处理器，被配置为: 读取包括一个或多个图像帧的一个或多个视频； 对一个或多个图像帧执行图像处理； 基于图像处理检测事件 基于检测的事件提供控制信号，该控制信号被配置为引起触觉反馈。
24.一种基于与视频相互关联的传感器信息提供触觉反馈的系统，该系统包括: 处理器，被配置为: 读取一个或多个视频和与所述一个或多个视频相关联的传感器信息，其中，所述传感器信息包括关于所述一个或多个视频的捕获的运动的一个或多个测量； 基于所述传感器信息产生控制信号，该控制信号被配置为引起触觉反馈；以及 与关于所述一个或多个视频的捕获的运动同步地提供控制信号。
【文档编号】G06T7/20GK104049749SQ201410190360
【公开日】2014年9月17日 申请日期:2014年3月14日 优先权日:2013年3月15日
【发明者】J·萨布尼, J·M·克鲁兹-埃尔南德斯 申请人:英默森公司