专利名称：用于提供基于对象的媒体混合的方法和装置的制作方法
技术领域：
本发明的实施例总体上涉及内容共享技术，并且更具体地，涉及一种用于提供基于对象的媒体混合的方法和装置。
背景技术：
现代通信时代已经带来了有线和无线网络巨大发展。由于消费者需求的推波助澜，计算机网络、电视网络和电话网络正经历着前所未有的技术发展。无线和移动网络互联技术已经解决了相关的消费者需求，而同时为信息传输提供了更多的灵活性和即时性。通过扩展移动电子设备的能力，当前和未来的网络互联技术继续促使信息易于传输以及针对用户的便利性。需要使得信息更加易于传输的一个领域涉及在多个设备之间以及潜在地多个用户之间的信息共享。就此而言，考虑到现代电子设备具有创建和修改内 容的能力，还有分布或共享内容的能力，对于这样的设备的用户而言，成为媒体内容的多产(prolific)用户和制造者并不罕见。已经将网络和服务开发为使得用户能够将所创建的内容移动到网络内的各种点或者在网络内的各种点处的体验内容。已经开发并且将继续开发各种应用和软件以便给予用户鲁棒的在固定或移动环境中执行任务、传达、获取信息或服务、自我娱乐等的能力。考虑到移动电子设备的鲁棒能力以及这样的设备相对小的尺寸，对于个人而言，几乎持续地将移动电子设备保持在身上或身旁变得越来越常见。此外，由于这样的设备用于工作、游戏、休闲、娱乐以及其他用途，所以许多用户还频繁地与他们的设备进行交互。因此，无论交互是经由移动电子设备还是固定电子设备(例如，个人计算机(PC))发生，都有越来越多的人经由在线网络与朋友、同事和熟人进行交互。这种趋势已经导致了多种如下社交网络应用的数量的增长，该社交网络应用覆盖了从纯职业化到纯休闲活动以及其间的每件事的整个人类交互范畴。社交网络应用的用户经常使用社交网络作为向他人分布内容的机制。此外，社交电视(TV)的概念已经得以研发以使得其它用户、好友或同事的集合能够在视觉共享空间中集会并且观看电视或其它视频内容，而同时还能够进行社交交互。社交交互的方面经常采用被添加到视频内容或处于其上(例如，配音或字幕)的一些形式的通信的形式。然而，在一些情况下，社交交互方面可能干扰或遮挡视频内容的观看。因此，可能希望研发再进一步的机制，使得能够通过其来访问社交环境中的内容。
发明内容
因此，提供了一种使得能够提供基于对象的媒体混合的方法、装置和计算机程序产品。就此而言，例如，本发明的一些实施例可以使得用户所选择的对象或所观看内容内的感兴趣区域连同与社交交互媒体相关联的视觉覆盖区域一起被追踪，从而一方不会遮挡另一方的视图。另外，一些实施例可以提供将一些形式的覆盖素材附着到所选择对象或感兴趣区域自身的能力以进一步定制所观看内容的显示。在一个示例实施例中，提供了一种提供基于对象的媒体混合的方法。该方法可以包括接收要提供给多个群组成员的共享内容的指示，接收对共享内容内感兴趣区域的选择，接收与至少一个群组成员相关联的社交交互媒体，以及将共享内容与社交交互媒体进行混合以提供混合内容。该混合内容可以被动态修改以避免把社交交互媒体覆盖在感兴趣区域上。在另一个示例实施例中，提供了一种用于提供基于对象的媒体混合的计算机程序产品。该计算机程序产品包括至少一个具有存储于其中的计算机可执行程序代码指令的计算机可读存储介质。该计算机可执行程序代码指令可以包括用于接收要提供给多个群组成员的共享内容的指示，接收对共享内容内感兴趣区域的选择，接收与至少一个群组成员相关联的社交交互媒体，以及将共享内容与社交交互媒体进行混合以提供混合内容的程序代码指令。该混合内容可以被动态修改以避免把社交交互媒体覆盖在感兴趣区域上。在另一个示例实施例中，提供了一种用于提供基于对象的媒体混合的装置。该装置可以包括至少一个处理器以及至少一个包括计算机程序代码的存储器。该至少一个存储器和计算机程序代码可以被配置为利用至少一个处理器使得该装置至少执行接收要被提供到多个群组成员的共享内容的指示，接收对共享内容内感兴趣区域的选择，接收与至少·一个群组成员相关联的社交交互媒体，以及将共享内容与社交交互媒体进行混合以提供混合内容。该混合内容可以被动态修改以避免把社交交互媒体覆盖在感兴趣区域上。本发明的实施例提供了用于在基于网络的内容共享环境中采用的方法、装置和计算机程序产品。结果，例如，个体设备的用户可以享受到关于与所选择的其它设备用户组共享内容的有所改进的性能。
由此已经在总体上对本发明的实施例进行了描述，现在将参考附图，附图未必依照比例绘制，并且其中图I是根据本发明示例实施例的通信系统的示意性框图；图2是根据本发明示例实施例的用于提供基于对象的媒体混合的装置的示意性框图；图3图示了根据本发明示例实施例的混合内容的样本显示视图；图4图示了根据本发明示例实施例的、示出社交交互媒体的移动以避免与感兴趣区域重叠的混合内容的样本显示视图；图5图示了根据本发明示例实施例的关于与群组形成和操作相关联的活动的框图；图6图示了根据本发明示例实施例的、可以被采用以控制信道和传输栈并且用于媒体会话和传输栈的示例协议；以及图7是根据本发明示例实施例的用于提供基于对象的媒体混合的示例方法的框图。
具体实施例方式现在将在下文中参考附图更为全面地对本发明的一些实施例进行描述，在附图中示出了本发明的一些但并非全部实施例。实际上，本发明的各种实施例可以以许多不同形式来实现并且不应当被理解为局限于这里所阐述的实施例；相反，提供这些实施例是使得本公开将满足所适用的合法要求。相同的附图标记通篇指代相同部件。如这里所使用的，术语“数据”、“内容”、“信息”和类似术语可以互换使用以指代能够依据本发明实施例进行传送、接收和/或存储的数据。因此，使用这样的术语不应当被认为是对本发明实施例的精神和范围进行限制。此外，如这里所使用的，术语“电路”是指(a)仅硬件的电路实现(例如，模拟电路和/或数字电路的实现)；(b)电路和包括存储在一个或多个计算机可读存储器上的软件和/或固件指令的(多个)计算机程序产品的组合，该指令一起进行工作以使得装置执行这里所描述的一种或多种功能；以及(C)例如(多个)微处理器或(多个)微处理器的一部分的电路，其需要软件或固件来进行操作，即使软件或固件并非物理上存在。“电路”的这一定义应用于该术语在这里的所有使用，包括在任意权利要求中的使用。作为进一步的示例，如在此所用，术语“电路”还包括包含一个或多个处理器和/或其(多个)部分以及所伴随的软件和/或固件的实现。作为另一示例，如这里所使用的术语“电路”还例如包括用于移动 电话的基带集成电路或应用处理器集成电路，或者在服务器、蜂窝网络设备、其它网络设备和/或其它计算设备中的类似集成电路。如这里所定义的，指代物理存储介质(例如，易失性或非易失性存储器设备)的“计算机可读存储介质”可以与指代电磁信号的“计算机可读传输介质”有所区别。电子设备已经在其通信和内容共享能力方面有了快速发展。随着这样的设备的能力已经有所提高，应用和服务已经有所增长以利用(leverage)该能力来为用户提供增加的可用性以及改善的体验。社交网络以及支持社交网络的各种服务和功能是被开发的以利用设备和网络能力来向用户提供在体验共享内容的同时互相进行通信的能力的机制的示例。共享内容可以是从另一个源广播的、或者由社交网络群组的成员所提供的供其它组成员消费的视频和/或音频内容。同时，在一起体验共享内容的时，各种组的成员可以通过提供要覆盖在共享内容上的文本、音频和/或视频评论(例如，以社交交互媒体的形式)讨论内容或其它主题。然而，在一些情况下，共享内容会被所覆盖的视频、评论、图像或其它素材所遮挡。因此，本发明的一些实施例可以提供一种机制，通过该机制提供对社交交互媒体的动态控制，以移动这样的媒体来避免将社交交互媒体覆盖在被覆盖的重要内容部分上。例如，用户可以选择不被遮挡的一个或多个对象或区域。相对应的对象或区域随后可以被追踪以使得如果对象或区域的位置移动到显示器的一部分该部分将被社交交互媒体所遮挡，则可以移动社交交互媒体以避免遮挡。一些实施例还可以使得用户能够将特定的内容(例如，图形、视频或图像)附着到感兴趣的对象或区域以放大、高亮或以其他方式修改相对应的对象或感兴趣区域。因此，将提供给用户用于社交环境中的个性化和满意的体验的内容的改进的能力。图I图示了一般性系统示图，在该图中示出了在示例通信环境中的可以从本发明的实施例获益的诸如移动终端10的设备。如图I所示，依据本发明示例实施例的系统的实施例可以包括能够经由网络30相互通信的第一通信设备(例如，移动终端10)和第二通信设备20。在一些情况下，本发明的实施例可以进一步包括一个或多个网络设备(诸如服务平台40)，移动终端10 (并且可能还有第二通信设备20)可以与该网络设备进行通信以提供、请求和/或接收信息。此外，在一些情况下，移动终端10可以与第二通信设备20(例如，PC或另一移动终端)以及同样可以是移动或固定通信设备的一个或多个附加通信设备(例如，第三通信设备25)进行通信。移动终端10可以是任意多种类型的移动通信和/或计算设备，例如便携式数字助理(PDA)、寻呼机、移动电视、移动电话、游戏设备、膝上计算机、相机、相机电话、视频录影机、音频/视频播放器、收音机、全球定位系统(GPS)设备，或者上述任意组合，以及其它类型的语音和文本通信设备。第二通信设备20和第三通信设备25可以是任意的以上所列出的移动通信设备或者是固定通信设备的示例，固定通信设备诸如PC或者具有相对固定的位置以及对网络30的有线或无线接入的其它计算设备或通信终端。网络30可以包括经由相对应的有线和/或无线接口相互进行通信的各种不同节点、设备或功能。这样，图I的图示应当被理解为系统的某些部件的宽泛视图的示例，而并非系统或网络30的全面或详细的视图。虽然并非必须，但是在一些实施例中，网络30可以 能够支持依据多种第一代(IG)、第二代(2G)、2. 5G、第三代(3G)、3. 5G、3. 9G、第四代(4G)移动通信协议、长期演进(LTE)等的任意一种或多种的通信。诸如移动终端10以及第二通信设备20和第三通信设备25的一个或多个通信终端可以经由网络30相互通信，并且可以包括用于向基址(base site)传送信号并从那里接收信号的一个或多个天线，上述基址例如可以是作为一个或多个蜂窝或移动网络的一部分的基站，或者是可以耦合到诸如局域网(LAN)、城域网(MAN)和/诸如互联网的广域网(WAN)的数据网络的访问点。备选地，这样的设备可以包括支持与网络30的基于陆线的通信或有线通信的通信接口。反过来，诸如处理部件(例如，个人计算机、服务器计算机等)的其它设备可以经由网络30耦合到移动终端10和/或第二通信设备20和第三通信设备25。通过将移动终端10和/或第二通信设备20以及其它设备直接或间接连接到网络30，可以使得移动终端10和/或第二通信设备20和第三通信设备25能够例如根据包括超文 本传输协议(HTTP)等在内的多种通信协议来与其它设备进行通信或者相互进行通信，由此分别执行移动终端10以及第二通信设备20和第三通信设备25的各种通信或其他功能。此外，虽然在图I中没有示出，但是移动终端10以及第二通信设备20和第三通信设备25可以例如依据射频(RF)、蓝牙(BT)、红外(IR)或者任意多种不同的有线或无线通信技术进行通信，上述通信技术包括LAN、无线LAN(WLAN)、全球微波接入互操作性(WiMAX)、WiFi、超宽带(UWB)、Wibree技术等。这样，可以使得移动终端10以及第二通信设备20和第三通信设备25能够通过任意多种不同的访问机制来与网络30进行通信并且相互进行通信。例如，诸如宽带码分多址(W-CDMA)、CDMA2000、全球移动通信系统(GSM)、通用分组无线业务(GPRS)等的移动接入机制可以和诸如WLAN、WiMAX等的无线接入机制以及诸如数字用户线路(DSL)、有线调制解调器、以太网等的固定接入机制一样得到支持。在示例实施例中，无论所涉及的设备的实例化形式如何，本发明的实施例都可以涉及对包括所定义用户群组和/或用户设备的社交网络的环境内的内容提供访问。该群组可以基于可以形成特定群组的任意多种方式来预先定义。就此而言，例如，被邀请成员可以接收加入群组的邀请，可以提交申请并且被接受的申请人可以成为群组成员，或者群组成员管理员可以定义要成为群组成员的用户集合。因此，例如，群组成员可以是社交网络的一部分或者可以与诸如服务平台40所托管或者与之相关联的服务之类的特定服务相关联。因此，应当理解的是，虽然图I示出了能够进行通信的三个示例设备，但是一些实施例可以包括类似潜在地具有更多群组成员和相对应设备的社交网络的群组。因此，图I不应当被视为在这方面受限制。在示例实施例中，服务平台40可以是诸如服务器或其它处理电路的设备或节点。服务平台40可以具有任意数量的功能或者与各种服务的关联。这样，例如，服务平台40可以是诸如专用服务器、后端服务器或者与特定信息源、功能或服务相关联的服务器机组之类的平台。这样，服务平台40可以表示多个不同服务或信息源中的一个或多个。除了如这里所描述的修改之外，服务平台40的功能可以由如下硬件和/或软件组件所提供，该硬件和/或软件被配置为依据用于向通信设备的用户提供信息的已知技术进行操作。在示例实施例中，服务平台40可以提供内容管理、内容共享、内容获取以及与通信和媒体内容相关的其它服务等。Nokia的Ovi套件是可以与服务平台40相关联的服务提供机制的示例。在一些情况下，服务平台40可以包括内容分布器42、与内容分布器42相关联或者与内容分布器42相结合工作。然而，内容分布器42可以备选地在移动终端10和/ 或第二通信设备20和第三通信设备25中的一个或多个实现，或者甚至在网络内的一些其它设备处实现。这样，例如，在一些情况下，网络30可以是其中内容分布器42在形成P2P网络的至少一个设备中实现的ad hoc、端对端(P2P)网络。因此，虽然内容分布器42在图I中被示为单独实体，但是应当理解的是，在各个备选实施例中，内容分布器42可以直接与图I所示的任意其它设备相关联或者甚至在任意其它设备处实例化。如以下将要更为详细描述的那样，在任意情况下，根据一个示例的内容分布器42可以提供以电视广播形式的内容或者供群组成员消费的其它视频/音频内容。在一些情况下，内容可以是源于群组之外的源的内容，但是在其它情况下，一个群组成员可以选择将要与群组的其它成员进行共享的内容并且将这样的内容提供给其它成员或者使得这样的内容从内容分布器42进行流送(stream)。在示例实施例中，服务平台40可以与关联于社交网络的功能和服务的提供相关联。因此，例如，服务平台40可以包括与使得群组成员能够互相共享社交交互媒体相关联的功能。这样，服务平台40可以充当或者包括社交电视服务器，或者用于基于来自各个群组成员的个体参与者的媒体提交来向群组成员提供社交交互媒体的另一社交网络服务器。社交交互媒体可以包括文本、音频、图形、图像、视频等，其可能覆盖于正在群组成员之间进行共享的其它内容(例如，共享内容)之上。因此，在一些情况下，诸如在社交电视的情况下，有时，社交交互媒体可以是关于共享内容的注释。在一些情况下，内容分布器42可以向服务平台40提供内容，并且服务平台40可以将内容分布器42向其提供的内容与从群组成员(例如，移动终端10和/或第二通信设备20和第三通信设备25)提供的社交交互内容进行整合。服务平台40可以采用根据示例实施例的用于基于对象的媒体混合的装置，以随后向群组成员提供混合内容。备选地，服务平台40可以向群组成员提供社交交互媒体，并且内容分布器42可以单独提供内容以供群组成员观看，并且群组成员的个体设备可以采用根据示例实施例的用于基于对象的媒体混合的装置以随后向群组成员提供混合内容。图2图示了根据本发明示例实施例的用于使得能够提供基于对象的媒体混合的装置的示意性框图。现在将参考图2对本发明的示例实施例进行描述，其中显示了用于提供基于对象的媒体混合的装置50的某些部件。图2的装置50例如可以在通信设备(例如，移动终端10和/或第二通信设备20或第三通信设备25)或者各种其他设备，包括移动和固定设备(例如，服务平台40或以上所列出的任意设备)上得以采用。备选地，实施例可以在设备的组合上得以采用。因此，本发明的一些实施例可以全部在单个设备(例如，移动终端10或服务平台40)实现，或者由处于客户端/服务器关系的设备所实现。此外，应当注意的是，以下所描述的设备或部件可以不是强制性的，并且因此在某些实施例中可以省略掉一些设备或部件。现在参考图2，提供了用于提供基于对象的媒体混合的装置50。装置50包括处理器70、用户接口 72、通信接口 74和存储器设备76，或者与之进行通信。存储器设备76例如可以包括一个或多个易失性和/或非易失性存储器。换句话说，例如，存储器设备76可以是电存储设备(例如，计算机可读存储介质)，其包括被配置为存储可以被机器(例如，计算设备)所获取的数据(例如，比特)的门或其它结构。存储器设备76可以被配置为存储信息、数据、应用、指令等，以使得装置能够执行依据本发明示例实施例的各种功能。例如，存储器设备76可以被配置为对输入数据进行缓冲，以供处理器70处理。除此之外或备选地， 存储器设备76可以被配置为存储供处理器70执行的指令。在一些实施例中，存储器设备76还可以或者备选地存储内容项(例如，媒体内容、文档、聊天内容、消息数据、视频、音乐、图片等)。处理器70可以以多种不同方式来实现。例如，处理器70可以被实现为各种处理装置中的一个或多个，诸如协处理器、微处理器、控制器、数字信号处理器(DSP)、带有或不带附带DSP的处理部件，或者包括集成电路的各种其它处理设备，例如ASIC (专用集成电路)、现场可编程门阵列(FPGA)、微处理器单元(MCU)、硬件加速器、专用计算机芯片、处理电路等。在示例实施例中，处理器70可以被配置为执行存储在存储器设备76中或者可被处理器70所访问的指令。备选地或除此之外，处理器70可以被配置为执行硬编码的功能。这样，无论通过硬件或软件方法还是通过其组合来配置，处理器70都可以表示能够在相应配置的同时执行根据本发明实施例的操作的(例如，以电路物理实现的)实体。因此，例如，当处理器70被实现为ASIC、FPGA等时，处理器70可以是用于进行这里所描述操作的特殊配置的硬件。备选地，作为另一个示例，当处理器70被实现为软件指令的执行器时，该指令可以对处理器70进行特殊配置，以在该指令执行时执行这里所描述的算法和/或操作。然而在一些情况下，处理器70可以是适于通过处理器70的进一步的配置由如下指令来使用本发明的实施例的专门设备(例如，移动终端或者网络设备)的处理器，该指令用于执行在此描述的算法和/或操作。在一些情况下，处理器70可以包括被配置为支持处理器70的操作的时钟、算术逻辑单元(ALU)和逻辑门等。同时，通信接口 74可以是诸如以硬件、软件或者硬件和软件的组合所实现的诸如设备或电路的任意装置，所述硬件和软件或者硬件和软件的组合被配置为从网络和/或与装置进行通信的任意其它设备或模块接收数据和/或向其传送数据。就此而言，通信接口74例如可以包括用于使得能够与无线通信网络进行通信的天线(或多个天线)和提供支持的硬件和/或软件。在一些实施例中，通信接口 74备选地或者还支持有线通信。这样，例如，通信接口 74可以包括通信调制解调器和/或用于支持经由线缆、数字用户线路(DSL)、通用串行总线(USB)或其它机制进行通信的其它硬件/软件。
用户接口 72可以与处理器70进行通信以接收用户接口 72处的用户输入的指示和/或向用户提供听觉、视觉、机械或其它输出。这样，用户接口 72例如可以包括键盘、鼠标、操纵杆、显示器、触摸屏、软按键、麦克风、扬声器或其它输入/输出介质。在该装置被实现为服务器或一些其它网络设备的示例实施例中，用户接口 72可以是受限的、在远处提供(例如，从移动终端10或另一设备提供)或者被取消。然而，在该装置被实现为通信设备(例如，移动终端10)的实施例中，除其它设备或部件之外，用户接口 72可以包括扬声器、麦克风、显示器和键盘等中的任意或全部。就此而言，例如，处理器70可以包括被配置为控制例如扬声器、响铃、麦克风、显示器等的用户接口的一个或多个部件的至少一些功能的用户接口电路。处理器70和/或包括处理器70的用户 接口电路可以被配置为通过存储在可由处理器70所访问的存储器(例如，存储器设备76等)上的计算机程序指令(例如，软件和/或固件)来控制用户接口的一个或多个部件的一个或多个功能。在示例实施例中，处理器70可以被实现为、包括或控制内容混合器80和感兴趣区域(ROI)管理器82。内容混合器80和ROI管理器82均可以是诸如设备或电路的任意装置，上述设备或电路依据软件进行操作或者以硬件或者硬件和软件的组合(例如，在软件控制下进行操作的处理器70，被实现为特别配置为执行这里所描述操作的ASIC或FPGA的处理器70，或者其组合)所实现，由此将该设备或电路配置为分别执行如以下所描述的内容混合器80和ROI管理器82的相对应功能。因此，在采用软件的示例中，执行该软件的设备或电路(例如，一个示例中的处理器70)形成了与这样的装置相关联的结构。在示例实施例中，内容混合器80可以被配置为将至少两个数据流组合为能够在诸如显示器和/或扬声器或者其它用户接口组件的输出设备进行呈现的单个组合内容项。在一些情况下，内容混合器80可以被配置为将社交交互媒体86覆盖在来自内容分布器42的音频和/或视频内容上。这样，内容混合器80可以将与音频和/或视频相关联的信令与可以由一个或多个群组成员所提供的用于和其它群组成员共享的作为社交交互媒体86的图形、音频、视频、文本、图像等相组合，上述音频和/或视频内容可以是意图在群组成员之间进行共享的内容(例如，共享内容84)。从内容混合器80输出的组合数据可以随后被提供用于显示和/或音频呈现，以使得例如与社交交互媒体86相关联的视频、音频、图像、文本或图形覆盖在共享内容84的视频内容上，并且与社交交互媒体86相关联的声音则被配音到共享内容84的音频中。在示例实施例中，内容混合器80的输出还可以包括与如以下更为详细描述的ROI管理器82所生成的ROI数据88相关联的放大或其它修改。这样，例如，内容混合器80可以被配置为基于(如由ROI数据所确定的)ROI相对于社交交互媒体内容的位置来提供显示特征管理。可能除其它之外，ROI管理器82可以被配置为提供ROI的设计，提供ROI追踪和/或提供ROI的放大。因此，例如，ROI管理器82被配置为使得用户能够选择ROI，其可以是图像或视频帧中任意可识别的个人、地点或事物。在示例实施例中，可以使得用户能够利用用户接口 72来选择要充当ROI的对象或项目。例如，用户可以选择特定对象或者利用光标、触摸屏、视点追踪、点击和拖动操作或者其它功能来定义包括要充当ROI的对象的区域。响应于ROI的选择，ROI管理器82随后可以在ROI移动到显示屏上的各个位置时对ROI进行追踪(或者从追踪ROI的另一实体接收报告)。在示例实施例中，响应于ROI的追踪，ROI管理器82被配置为生成追踪信息或作为ROI数据88的报告，该报告描述了视频序列的任意特定图像或帧中的ROI位置。这样，ROI管理器82可以被配置为向内容混合器80提供ROI数据88，以便由内容混合器80在生成用于在用户接口 72处显示的混合内容时使用。混合内容可以包括具有基于社交交互媒体86所提供的覆盖数据的共享内容84。然而，与社交交互媒体86相关联的对象或内容项的位置可以由内容混合器80基于ROI数据88来改变。就此而言，例如，内容混合器80可以被配置为将与社交交互媒体86相关联的内容项的位置与ROI的位置进行比较，并且移动与社交交互媒体86相关联的内容项以防止社交交互媒体86遮挡ROI的视图(或者，倘若遮挡不可避免至少减少遮挡的量)。换而言之，一些示例的内容混合器80被配置为如果ROI的位置移动以创建与社交交互媒体86相关联的内容项的重叠(或者在创建重叠的阈值距离内移动)的情况下移动与社交交互媒体相关联的内容项。被移动的内容项通常被移动到当前不会发生重叠的另一个位置。在一些备选实施例中，不同于通过移动与之重叠的社交交互媒体来避免ROI的遮挡，内容混合器80可以被配置为在感知到重叠时降低社交交互媒体86的可见度。这样，例如，在一些情况下通过提高社交交互媒体86的透明度或者减小社交交互媒体的媒体窗口尺寸而修正了避免遮挡的重叠条件。也可以执行其它修改。此外，在一些情况下，不同于降低社交媒体的可见度来避免遮挡，内容混合器80实际上可以被配置为提高社交交互媒体 86的可见度。例如，可以利用比亮部更暗的颜色、比暗部更亮的颜色或者相对于共享内容84中所出现的颜色更具对比性的颜色来使得社交交互媒体86显得更具可见性。如以上所指出的，在一些实施例中，ROI管理器82可以进一步被配置为提供对ROI的放大。在采用该特征的示例实施例中，ROI管理器82可以被配置为使得用户能够选择图形、视频或图像来覆盖R0I。因此，例如，ROI可以有效地被替换为相对应的图形、视频或图像。这样，当ROI在共享内容84内移动时，被选择来覆盖ROI的图形、视频或图像可以相应地进行移动。在示例实施例中，可以使得用户能够选择或定义如以上所描述的R0I，并且随后可以使得用户能够选择要覆盖在ROI上作为ROI覆盖的内容项(例如，图形、视频片段或图像)。在一些示例中，被选择来覆盖ROI的图形、视频或图像可以基于ROI的大小自动地重新设置大小。例如，在共享内容84涉及体育赛事时，如果ROI被选择为对应于球，则球的大小可以根据体育赛事的特定镜头的视图而变化。就此而言，对于广角镜头，球可能较小并且因此ROI也可能较小。然而，对于特写镜头而言，球可能更大并且ROI也可能更大。在一些实施例中，无论ROI的大小如何，ROI覆盖的大小可以是恒定的，但是在其它情况下，ROI覆盖可以被重新设置大小以适合共享内容84的任意给定帧的ROI大小。ROI覆盖的定义也可以结合对ROI进行追踪的实施例来实现，以避免ROI被社交交互媒体所遮蔽。然而，ROI覆盖也可以独立于社交交互媒体避免而得以实践。此外，在一些情况下，可以实现环境认知(context awareness)以使得可以基于当前环境自动生成ROI覆盖。例如，如果当前日期是会话中一个参与者的生日，则对象可以选择为利用过生日的参与者的姓名进行注释，并且诸如生日蛋糕或祝贺之类的一些图像可以替代所选择的对象。图3图示了根据本发明示例实施例的混合内容的样本显示视图。就此而言，图3示出了可以结合示例实施例使用的移动通信设备(例如，移动终端10)的示例。移动终端10包括显示器100，该显示器100正呈现以体育赛事形式的共享内容84。移动终端10还显示了与社交交互媒体86相关联的各种内容项。在该示例中，社交交互媒体86包括在观看共享内容84的同时参与聊天会话的第一群组成员的媒体窗口 110和第二群组成员的媒体窗口 112。媒体窗口 110和112在一些情况下可以是实时视频馈送(feed)，但是在其它实施例中也可以是与各个相应群组成员的对应联系人信息相关联存储的静态图像。尽管在该示例中示出了两个群组成员，但是可以示出任意数量的群组成员。此外，在一些实施例中，群组成员的媒体窗口可以仅在相对应的一个群组成员提供社交交互媒体86时示出，或者可以提供最为活跃或最近活跃的成员的有限数量的媒体窗口。然而，在备选实施例中，可以示出当前群组成员的媒体窗口。因此，可以提供当前群组成员(或者活动聊天的群组成员)的任意数量的媒体窗口。该示例的社交交互媒体86还包括聊天文本114。聊天文本114指示了聊天文本114的提供者的身份以及内容本身。在一些情况下，聊天内容可能由不希望被看到或者无法将其自己的实时视频流送到群组的用户所提供。社交交互媒体86被提供作为呈现在共享内容84上的视觉(并且可能还是音频)覆盖内容。在一些情况下，视觉覆盖内容可以具有一定程度的透明度，如聊天文本114的情形。然而，在其它情况下，视觉覆盖内容可以是不透明的，如媒体窗口 110和112的情形。在图3的示例中，共享内容84可以被提供至内容混合器80和ROI管理器82，并且 ROI管理器82可以适当提供ROI、ROI移动和ROI覆盖信息的指示作为ROI数据88。内容混合器80还可以接收描述社交交互媒体86的信息并且将社交交互媒体86作为覆盖呈现给如图3所示的显示器100上示出的共享内容84。图4图示了根据本发明示例实施例的、示出社交交互媒体的移动以避免与ROI相重叠的混合内容的样本显示视图。在图4中，第一会话参与者的媒体窗口 120在共享内容84的显示视图130的左上角示出。第二会话参与者的媒体窗口 122在显示视图130的右上角示出。在该示例中，已经将球选择为将要作为ROI 140进行追踪的对象。在图4的示例中，由于球被射向球网并且上升到显示视图130的左上角，所以媒体窗口 120的覆盖将趋于遮挡ROI 140的视图。在ROI 140移动到可能开始遮挡的位置时，内容混合器80可以将媒体窗口 120移动到新的位置126。在一些实施例中，媒体窗口 120可以保留在新位置126直至与ROI 140的冲突有所进展(例如，ROI 140移动到将被处于新位置126的媒体窗口 120所遮挡的位置)。然而，在备选实施例中，媒体窗口 120可以在一个时间延迟之后或者响应于ROI 140空出初始位置而返回其初始位置。因此，从图4能够看出，可以采用对象追踪算法或其它对象追踪设备或机制来追踪(例如，与ROI 140相关联的)对象。当被追踪的对象将被社交交互媒体所遮挡时，社交交互媒体可以被自动重新定位以避免遮挡。在一些实施例中，内容混合器80可以被配置为响应于与社交交互媒体相关联的内容项的边界与ROI 140的边界相重叠或者快要与ROI140的边界接触来执行社交交互媒体的重定位。然而，备选地可以采用重定位的其它触发。例如，与社交交互媒体和ROI 140相关联的一个或多个内容项可以具有位于这样的对象实际边界周围具有预定大小的缓冲区，从而当对象的缓冲区遇到另一个对象或缓冲区时，与社交交互媒体相关联的内容项被触发以进行重新定位。在任意情况下，通常完成社交交互媒体的重定位通常以避免与社交交互媒体相关联的视觉覆盖对象与ROI 140的重叠。如以上所指出的，装置50可以在网络设备(例如，服务平台40)或通信设备(例如，移动终端10)处得以采用。因此，应当理解的是，根据示例实施例的内容混合可以在显示内容的设备处完成(诸如在移动终端10包括装置50时)，或者在将内容提供至显示内容的设备的设备处完成(诸如在服务平台40包括装置50时)。因此，例如，如果装置50在将内容提供给显示内容的设备的设备处得以采用，则社交交互媒体86和共享内容84可以在单个数据流中(例如，连同ROI数据88—起)提供。然而，如果装置50在显示内容的设备处得以采用，则社交交互媒体86和共享内容84可以(例如，与伴随共享内容84的ROI数据88)在单独的数据流中提供。在再一个备选实施例中，装置50的部分可以在(如以上所讨论的)多个设备之间进行划分，并且因此内容混合器80可以在显示内容的设备(例如，移动终端10)处实现，而ROI管理器82则在将内容提供至显示内容的设备的设备处(例如，在服务平台40处)实现。在该示例中，具有ROI数据88的共享数据84可以在一个流中提供，并且社交交互媒体86可以在单独流中提供。无论利用其接收数据流的机制如何，以及每个相应设备在物理上位于哪里，内容混合器80都可以被配置为对媒体混合进行修改(例如，修改所将要显示的内容)以提供避免ROI和社交交互媒体的视觉覆盖数据之间的重叠。包括图5A和5B的图5示出了依据本发明示例实施例 的两种不同的混合可能性。虽然图5结合社交电视进行讨论，但是应当理解的是，本发明的实施例也可以结合其它类型的共享内容来实践。图5A结合社交电视图示了集中式混合，在社交电视中，共享内容在社交电视服务器(例如，服务平台40)与社交交互媒体进行混合，并且随后被提供至虚拟共享空间中的参与者客户端设备。如图5A所示，交互媒体流(例如，参与者媒体)可以被提供至服务平台40，从而使得服务平台40能够对社交交互媒体进行汇总以便提供给所有群组成员或客户端设备(例如，移动终端10以及第一通信设备20和第二通信设备25)。服务平台40还可以(例如，经由控制信道)从一个或多个客户端设备接收指示以指定要被追踪的一个或多个对象或其它R0I。相对应的对象随后可以被追踪(例如，被ROI管理器82追踪)并且社交交互媒体可以与(例如，来自内容分布器42或者来自客户端设备之一的)共享内容进行混合，以基于ROI追踪信息来提供混合内容从而提供混合内容的修改以避免与社交交互媒体相关联的视觉覆盖和ROI的重叠。(经修改或未修改的)混合内容随后可以作为复合流被提供至每个参与者客户端设备。图5B图示了终点混合的实施例，其中共享内容被直接提供至参与者客户端，并且社交交互媒体也被直接提供至参与者客户端，从而使得内容可以在参与者客户端处进行混合。特别地，在终点混合中，每个用户(或者至少多个用户)可以选择不同的ROI并且系统可以进行操作以向每个相应用户提供如下显示信息，该显示信息基于所选择ROI及其与社交交互媒体的关系进行混合。然而，在一些情况下，可以实施集中混合的实施例以基于各个相应用户所选择的ROI向每个相应用户提供有所差异的ROI数据。在备选实施例中，ROI可以由用户选择并且与所有其它用户或者其他用户的所选择的部分进行共享。此外，在一些情况下，作为选择，可以提供多个ROI选择并且群组成员可以进行投票来选择将要被基于根据示例实施例的媒体混合进行追踪的对象的单个R0I。在示例实施例中，如以上所指出的，用户选择(例如，选择R0I)的信令可以经由会话控制信道来提供。如图6所示，可以采用任意适当协议来用于控制信道和传输栈以及用于媒体会话和传输栈(例如，会话发起协议(SIP)、会话描述协议(SDP)、实时传输协议(RTP)、实时传输控制协议(RTCP)、HTTP、短消息服务(SMS)等)。除了如以上所描述的信令发送ROI数据和混合内容之外，在一些情况下，可以使得用户能够定义对应于被认为感兴趣并且不被覆盖的显示区域的ROI蒙片(mask)，而其它部分可以被指定为可以被覆盖的背景。如以上所指示的，当出现混合内容时，或者甚至当移动项目以避免覆盖移动的ROI时，ROI蒙片区域可以被免于作为社交交互媒体可以移动到那里的潜在位置。图7是根据本发明示例实施例的方法和程序产品的流程图。将理解的是，流程图中的每个框以及流程图中框的组合可以通过各种方式来实现，诸如硬件、固件、处理器、电路和/或与包括一个或多个计算机程序指令的软件的执行相关联的其它设备。例如，以上所描述的一个或多个过程可以通过计算机程序指令来实现。就此而言，实现以上所描述过程的计算机程序指令可以被移动终端或网络设备的存储器设备所存储，并且由移动终端或网络设备中的处理器来执行。如将理解的那样，任意这样的计算机程序指令都可以被加载到计算机或其它可编程装置(例如，硬件)上以产生机器，从而在计算机或其它可编程装置上执行的指令创建出用于实现(多个)流程图框中所指定功能的装置。这些计算机程序指令也可以存储在计算机可读存储器中，该存储器可以指示计算机或其它可编程装置以特定方式工作，从而存储在计算机可读存储器中的指令产生包括实现(多个)流程图框中所指定功能的指令装置的制造品。计算机程序指令还可以被加载到计算机或其它可编程装置 上，以使得在计算机或其它可编程装置上执行一系列操作来产生计算机实现的过程，从而在计算机或其它可编程装置上执行的指令实现在(多个)流程图框中所指定的功能。因此，流程图的框支持用于执行指定功能的装置的组合，用于执行指定功能的操作的组合以及用于执行指定功能的程序指令装置。还将理解的是，流程图中的一个或多个框以及流程图中框的组合能够由执行指定功能的专用的基于硬件的计算机系统、或者所述特殊用途的硬件和计算机指令的组合来实现。就此而言，如图7所示的根据本发明一个实施例的方法可以包括在操作200接收要被提供至多个群组成员的共享内容的指示，以及在操作210接收对共享内容内的感兴趣区域的选择。该方法可以进一步包括在操作220接收与至少一个群组成员相关联的社交交互媒体，以及在操作230将共享内容与社交交互媒体进行混合以提供混合内容。该混合内容可以被动态修改以避免把社交交互媒体覆盖在感兴趣区域上。在一些实施例中，以上的某些操作可以被修改或者进一步如以下所描述的被放大。此外，在一些情形中，以上所描述的操作可以增加以附加的可选操作(其示例在图7中以虚线示出)。应当意识到的是，以下的每个修改、增加或放大都可以包括以单独或与这里所描述的特征中的任意其它特征进行组合的以上操作。在示例实施例中，该方法进一步包括在操作240将混合内容提供给与群组成员之一相关联的至少一个远程客户端设备。在备选情况下，可以在进行混合的设备处经由不同数据流接收共享内容的指示和社交交互媒体。在一些情况下,接收共享内容的指示以及接收社交交互媒体可以包括经由不同数据流接收共享内容的指示和社交交互媒体。在示例实施例中，接收感兴趣区域的选择可以包括从多(plurality)个群组成员中的复数数个(multiple)接收感兴趣区域的选择。本发明的实施例随后针对多个所接收的选择中被选择的一个或者关于复数个选择进行实践。在一些实施例中，将共享内容与社交媒体内容进行混合可以包括追踪感兴趣区域的移动，并且响应于感兴趣区域移动到感兴趣区域的一部分与社交交互媒体的内容项的一部分的相重叠处的位置，将内容项的位置从内容项的一部分不与感兴趣区域的一部分相重叠的位置进行移动。在示例情况下，接收对感兴趣区域的选择可以进一步包括接收内容要覆盖感兴趣区域的指示。此外，接收内容要覆盖感兴趣区域的指示可以包括基于当前环境信息接收指
/Jn o在示例实施例中，用于执行以上图7的方法的装置可以包括被配置为执行以上所描述操作(200-240)中的一些或每个的处理器(例如，处理器70)。该处理器例如可以被配置为通过执行硬件实现的逻辑功能，执行所存储指令，或者执行用于执行每个操作的算法来执行操作(200-240)。备选地，该装置可以包括用于执行以上所描述的每个操作的装置。就此而言，根据示例实施例，用于执行操作200-240的装置例如可以包括处理器70，或者内容混合器80、R0I管理器82和/或用于执行指令或者执行用于处理如以上所描述的信息的算法的设备或电路中的相应的多个。对这里所阐述的本发明的许多修改和其它实施例将被从以上描述和相关联附图中所给出的教导获益的本发明相关领域的技术人员所意识到。因此，所要理解的是，本发明并不局限于所公开的具体实施例，并且修改和其它实施例旨在包括在所附权利要求的范围之内。此外，虽然以上描述和相关联附图以部件和/或功能的某些示例组合为背景对示例 实施例进行了描述，但是应当意识到的是，可以由备选实施例提供部件和/或功能的不同组合而并不背离所附权利要求的范围。就此而言，例如，不同于以上明确描述的部件和/或功能的组合也被预期为在一些所附权利要求中阐述。虽然这里采用了特定的术语，但是它们以一般和描述性含义所使用而并非是用于限制的目的。
权利要求
1.一种装置，包括至少一个处理器以及至少一个包括计算机程序代码的存储器，所述至少一个存储器和所述计算机程序代码被配置为利用至少所述一个处理器使得所述装置至少执行 接收要被提供到多个群组成员的共享内容的指示； 接收对所述共享内容内感兴趣区域的选择； 接收与至少一个所述群组成员相关联的社交交互媒体；以及 将所述共享内容与所述社交交互媒体进行混合以提供混合内容，所述混合内容被动态修改以避免把所述社交交互媒体覆盖在所述感兴趣区域上。
2.根据权利要求I的装置，其中所述至少一个存储器和所述计算机程序代码进一步被配置为利用所述至少一个处理器进一步使得所述装置将所述混合内容提供给与所述群组成员之一相关联的至少一个远程客户端设备。
3.根据权利要求I的装置，其中所述至少一个存储器和所述计算机程序代码进一步被配置为利用所述至少一个处理器使得所述装置经由不同的数据流接收所述共享内容的指示和所述社交交互媒体。
4.根据权利要求I的装置，其中所述至少一个存储器和所述计算机程序代码进一步被配置为利用所述至少一个处理器使得所述装置从所述多个群组成员中的复数个接收对感兴趣区域的选择。
5.根据权利要求I的装置，其中所述至少一个存储器和所述计算机程序代码进一步被配置为利用所述至少一个处理器使得所述装置响应于追踪所述感兴趣区域的移动将所述共享内容与所述社交媒体内容混合，以及响应于所述感兴趣区域移动到所述感兴趣区域的一部分与所述社交交互媒体的内容项的一部分相重叠处的位置，将所述内容项的位置从所述内容项的所述部分不与所述感兴趣区域的所述部分相重叠的位置进行移动。
6.根据权利要求I的装置，其中所述至少一个存储器和所述计算机程序代码进一步被配置为利用所述至少一个处理器使得所述装置与接收内容要覆盖所述感兴趣区域的指示相关联地接收对所述感兴趣区域的选择。
7.根据权利要求I的装置，其中所述至少一个存储器和所述计算机程序代码进一步被配置为利用所述至少一个处理器使得所述装置基于当前环境信息接收内容要覆盖所述感兴趣区域的指不。
8.根据权利要求I的装置，其中所述装置在移动终端处实现。
9.根据权利要求I的装置，其中所述装置在网络服务平台处实现。
10.一种方法，包括 接收要被提供到多个群组成员的共享内容的指示； 接收对所述共享内容内感兴趣区域的选择； 接收与至少一个所述群组成员相关联的社交交互媒体；以及 将所述共享内容与所述社交交互媒体进行混合以提供混合内容，所述混合内容被动态修改以避免把所述社交交互媒体覆盖在所述感兴趣区域上。
11.根据权利要求10的方法，进一步包括将所述混合内容提供给与所述群组成员之一相关联的至少一个远程客户端设备。
12.根据权利要求10的方法，其中接收所述共享内容的指示和接收所述社交交互媒体包括经由不同的数据流接收所述共享内容的指示和所述社交交互媒体。
13.根据权利要求10的方法，其中接收对所述感兴趣区域的选择包括从所述多个群组成员中的复数个接收对感兴趣区域的选择。
14.根据权利要求10的方法，其中将所述共享内容与所述社交媒体内容进行混合包括追踪所述感兴趣区域的移动，以及响应于所述感兴趣区域移动到所述感兴趣区域的一部分与所述社交交互媒体的内容项的一部分相重叠处的位置，将所述内容项的位置从所述内容项的所述部分不与所述感兴趣区域的所述部分相重叠的位置进行移动。
15.根根据权利要求10的方法，其中接收对所述感兴趣区域的选择进一步包括接收内容要覆盖所述感兴趣区域的指示。
16.根据权利要求15的方法，其中接收内容要覆盖所述感兴趣区域的指示包括基于当前环境信息接收所述指示。
17.—种包括具有存储于其中的计算机可执行程序代码指令的至少一个计算机可读存储介质的计算机程序产品，所述计算机可执行程序代码指令包括 用于接收要被提供到多个群组成员的共享内容的指示的程序代码指令； 用于接收对所述共享内容内感兴趣区域的选择的程序代码指令； 用于接收与至少一个所述群组成员相关联的社交交互媒体的程序代码指令；以及 用于将所述共享内容与所述社交交互媒体进行混合以提供混合内容的程序代码指令，所述混合内容被动态修改以避免把所述社交交互媒体覆盖在所述感兴趣区域上。
18.根据权利要求17的计算机程序产品，进一步包括用于将所述混合内容提供给与所述群组成员之一相关联的至少一个远程客户端设备的程序代码指令。
19.根据权利要求17的计算机程序产品，其中所述用于接收共享内容的指示和接收社交交互媒体的程序代码指令包括用于经由不同的数据流接收所述共享内容的指示和所述社交交互媒体的指令。
20.根据权利要求17的计算机程序产品，其中用于将所述共享内容与所述社交媒体内容进行混合的程序代码指令包括用于追踪所述感兴趣区域的移动，以及响应于所述感兴趣 区域移动到所述感兴趣区域的一部分与所述社交交互媒体的内容项的一部分相重叠处的位置，将所述内容项的位置从所述内容项的所述部分不与所述感兴趣区域的所述部分相重叠的位置进行移动的指令。
全文摘要
一种用于提供基于对象的媒体混合的装置可以包括至少一个处理器以及至少一个包括计算机程序代码的存储器。该至少一个存储器和该计算机程序代码可以被配置为利用至少一个处理器使得该装置至少执行接收要被提供到多个群组成员的共享内容的指示，接收对共享内容内感兴趣区域的选择，接收与至少一个群组成员相关联的社交交互媒体，以及将共享内容与社交交互媒体进行混合以提供混合内容。该混合内容可以被动态修改以避免把社交交互媒体覆盖在感兴趣区域上。还提供了相对应的方法和计算机程序产品。
文档编号G06F3/048GK102763068SQ201180009256
公开日2012年10月31日 申请日期2011年2月12日 优先权日2010年2月12日
发明者A·J·埃罗南, J·P·奥詹佩拉, S·S·梅特 申请人:诺基亚公司