本发明涉及多媒体技术领域，尤其涉及一种通过客户端实现内容投屏的方法、投屏装置及系统。
背景技术：
现有技术中，通过将电脑和手机连接在同一个wifi下，能够实现手机和电脑的同屏，但是其仅仅能够实现手机和电脑的同屏，在需要保证显示端显示同屏内容的过程中手机端无法进行其他操作，且现有技术的无法实现将手机里的内容选择性地投射到电脑、电视或者其他显示设备端进行显示，更不能同时将多张图片均投射到显示端一起显示，灵活性较低,不能满足用户更多的需要。
技术实现要素：
本发明的目的是针对上述问题，提供一种通过客户端实现内容投屏的方法；
本发明的另一目的是针对上述技术问题，提供一种基于上述方法的通过客户端实现内容投屏的投屏装置；
本发明的另一目的是针对上述技术问题，提供一种基于上述方法的通过客户端实现内容投屏的系统。
为达到上述目的，本发明采用了下列技术方案：
本发明的通过客户端实现内容投屏的方法，包括以下方法：
s1：接收投屏客户端发送给服务器的投屏请求并与发送投屏请求的投屏客户端建立投屏连接关系；
s2：接收投屏客户端发送过来的投屏内容并将投屏内容显示在显示设备上；
s3：根据投屏客户端发送过来的控制指令和/或本投屏装置端的控制指令控制投屏内容的显示状态。
在上述的通过客户端实现内容投屏的方法中，所述的投屏内容包括文字内容、写画手迹内容、图片内容、视频内容、音频内容、文件内容和网页内容中的任意一种或多种的组合。
在上述的通过客户端实现内容投屏的方法中，所述的控制指令包括清屏/清屏退至后台指令、播放进度控制指令、内容比例缩放控制指令、内容位置控制指令、暂停/结束指令、批注指令和撤销/重做指令中的任意一种或多种的组合；其中，
若为清屏/清屏退至后台指令，判断是否为清屏退至后台指令，若是，则将当前显示进程退至后台并提供新的画布；若否，则结束投屏内容的显示并提供新的空白画布；
若为播放进度控制指令，根据控制指令控制当前播放内容的播放进度；
若为内容比例缩放控制指令，根据控制指令控制指定投屏内容的缩小或放大；
若为内容位置控制指令，根据控制指令控制指定内容调整在显示界面中的位置；
若为暂停/结束指令，根据控制指令暂停投屏内容的播放或结束投屏内容的播放；
若为批注指令，根据控制指令控制显示界面进入批注模式以供用户在显示界面上或通过投屏客户端对特定内容进行写画批注，当通过投屏客户端对特定内容进行写画批注的时候接收用户在投屏客户端所在终端的输入信息，根据所述输入信息在投屏内容上生成对应的批注信息；
若为撤销/重做指令，根据控制指令撤销当前显示界面中最近操作动作；
并且，在根据控制指令控制投屏内容显示状态的同时将显示状态同步至投屏客户端。
在上述的通过客户端实现内容投屏的方法中，在执行清屏/清屏退至后台指令时，判断是否为清屏退至后台指令，若是，则在接收到投屏内容恢复指令后，将空白画布与该空白画布上的输入信息一起转换为图片格式进行保存以获得空白画布图片，并在保存成功后恢复投屏内容的显示，且所述的清屏/清屏退至后台指令由客户端发出或由用户触摸显示设备的显示界面发出。
在上述的通过客户端实现内容投屏的方法中，在步骤s2之后，还包括以下步骤：
s3：当接收到批注指令时，判断写画批注模块是否在前台，若是，则直接将当前画面转换为渲染格式以获得内容画布；若否，则从显示缓存中获取当前画面帧并切换写画批注模块至前台，将当前画面帧叠加在写画批注模块的画布层上，同时将当前画面帧转换为渲染格式以获得内容画布；
s4：获取触摸检测模块输出的由用户触摸显示界面产生的触摸轨迹，并将该触摸轨迹发送给写画批注模块，由写画批注模块将触摸轨迹渲染显示在内容画布上；或者，接收投屏客户端发送过来的输入信息，并将输入信息渲染在内容画布上；
s5：当接收到恢复指令时，将内容画布与该内容画布上的输入信息和/或触摸轨迹一起转换为图片格式进行保存以获得内容画布图片，并在保存成功后恢复内容的显示。
在上述的通过客户端实现内容投屏的方法中，还包括以下步骤：
将空白画布图片和/或内容画布图片发送给相应的投屏客户端；
或者，在接收到结束投屏连接指令时，将与相应投屏客户端建立投屏连接期间生成的空白画布图片和/或内容画布图片打包发送给相应的投屏客户端。
且所述的结束投屏指令通过以下方法执行：
当接收到投屏客户端发送的结束投屏连接指令时断开与投屏客户端之间的投屏连接关系；
或者，在接收到用户通过触摸显示界面发出的结束投屏连接指令时断开与投屏客户端之间的投屏连接关系。
在上述的通过客户端实现内容投屏的方法中，通过以下方法与投屏客户端建立投屏连接关系：
向服务器请求一个携带有表示该投屏装置的id的投屏二维码；通过长连接等待投屏客户端扫描所述的投屏二维码；并在投屏客户端扫描该投屏二维码后通过服务器获得该投屏客户端的信息并与该投屏客户端建立投屏连接关系；
或者，向服务器注册用于配对的id号和配对码；在接收到投屏客户端向服务器发起的与id号和配对码相匹配的配对请求后与该投屏客户端建立投屏连接。
在上述的通过客户端实现内容投屏的方法中，在进行内容投屏的过程中，还包括以下步骤：
当处于同一画布层的时候，将先后投射过来的内容按照先后顺序上下排列和/或左右排列在该画布层上，且每一个画布层上下和/或左右无线延展。
一种基于上述方法的投屏装置，所述的投屏装置包括与具有触摸功能的显示设备连接的控制器，所述的控制器包括第一投屏模块、写画批注模块、触摸检测模块和客户端指令接收及处理模块，其中，
第一投屏模块：用于与投屏客户端建立投屏连接关系，并用于接收投屏客户端发送的投屏内容；
写画批注模块，用于将当画面帧转换为可渲染格式以获得以当前画面帧为背景的内容画布；以及，用于将触摸轨迹和/或输入信息进行渲染并显示在内容画布和/或空白画布上；
触摸检测模块，用于接收用户在显示界面上的触摸轨迹，并将触摸轨迹发送给写画批注模块进行渲染显示或将触摸轨迹发送给指令接收及处理模块；
指令接收及处理模块，用于接收触摸检测模块检测到的和/或客户端发送过来的控制指令，并根据控制指令控制投屏内容的显示状态。
一种基于上述方法的系统，包括上述的投屏装置，与投屏装置连接的具有触摸功能的显示设备，与投屏装置投屏连接的投屏客户端，以及分别与投屏装置和投屏客户端连接的服务器，所述的投屏装置包括控制器，该控制器连接于所述的显示设备，所述的控制器又包括第一投屏模块、写画批注模块和触摸检测模块，所述的投屏客户端包括第二投屏模块和遥控控制模块，所述的服务器包括投屏连接模块，其中，
第二投屏模块，用于向服务器发起投屏连接请求，以及用于向批注装置投射投屏内容；
遥控控制模块，用于向投屏装置发送控制指令以控制投屏内容的显示状态，以及用于查看投屏装置的本地文件。
投屏连接模块，用于在投屏客户端发起投屏请求的时候将请求信息发送给投屏装置，以及将投屏客户端与投屏装置建立投屏连接关系。
本发明通过客户端实现内容投屏的方法、投屏装置及系统相较于现有技术具有以下优点：1、能够将安装有本投屏客户端的终端中的内容选择性地投射到显示设备端进行显示；2、通过同时将多张图片投射到显示设备端同一显示界面下，提高显示界面的灵活性；3、通过投屏客户端遥控显示设备端的显示状态实现远程投屏、远程控制显示状态等；4、通过投屏客户端访问投屏装置的本地文件，即使访问者远离投屏装置也能够通过投屏客户端便捷地访问到它的本地文件；5、能够通过客户端实现向投屏装置投屏各类内容。
附图说明
图1是本发明实施例一投屏装置的主界面示意图；
图2是本发明实施例一实施例一的方法流程图；
图3是本发明实施例一中投屏客户端与投屏装置建立投屏连接关系的方法流程图一；
图4是本发明实施例一中投屏客户端与投屏装置建立投屏连接关系的方法流程图二；
图5是本发明实施例一中执行清屏/清屏退至后台指令过程的方法流程图；
图6是本发明实施例一的批注写画部分方法流程图；
图7是本发明实施例一中将批注笔记打包发送给投屏客户端的方法流程图；
图8是本发明实施例三的系统框图。
附图标记：投屏装置1；控制器11；第一投屏模块111；写画批注模块112；触摸检测模块113；指令接收及处理模块114；显示设备2；投屏客户端3；第二投屏模块31；遥控控制模块32；服务器4；投屏连接模块41。
具体实施方式
虽然流程图将各项操作描述成顺序的处理，但是其中的许多操作可以被并行地、并发地或者同时实施。各项操作的顺序可以被重新安排。当其操作完成时处理可以被终止，但是还可以具有未包括在附图中的附加步骤。处理可以对应于方法、函数、规程、子例程、子程序等等。
这里所使用的术语“和/或”包括其中一个或更多所列出的相关联项目的任意和所有组合。当一个单元被称为“连接”或“耦合”到另一单元时，其可以直接连接或耦合到所述另一单元，或者可以存在中间单元。
这里所使用的术语仅仅是为了描述具体实施例而不意图限制示例性实施例。除非上下文明确地另有所指，否则这里所使用的单数形式“一个”、“一项”还意图包括复数。还应当理解的是，这里所使用的术语“包括”和/或“包含”规定所陈述的特征、整数、步骤、操作、单元和/或组件的存在，而不排除存在或添加一个或更多其他特征、整数、步骤、操作、单元、组件和/或其组合。
以下采用本发明的优选实施例并结合附图，对本发明的技术方案作进一步的描述，但本发明并不限于这些实施例。
实施例一
本方法、装置及系统能够应用于多种场合，例如会议投屏、教学投屏、家庭投屏等，本发明的投屏客户端3可以安装在手机、平板、pda等终端上，且在终端上以app的形式存在，投屏客户端3在终端上的显示界面具有用于建立连接的界面，用户可以通过在该界面内操作与本投屏装置1建立投屏连接关系；本发明的投屏装置1可以是具有控制器11的控制盒，该控制器11内嵌设有一套基于安卓系统或其他系统开发改进的自有操作系统，它通过连接显示设备2的信号输入端与显示设备2连接，当该显示设备2选择该控制器11的信号源时，显示设备2便显示该自有操作系统的主界面，且如图1所示主界面为纯净的空白画布界面，下面具有一些操作键，这里虽然说的是空白画布界面但并不限制界面一定为黑色，也可以是其他颜色的界面。
具体地本实施例主要以投屏装置1端为执行主体进行说明，如图2所示，本实施例的通过客户端实现内容投屏的方法包括：
s1：投屏装置1接收投屏客户端3发送给服务器4的投屏请求并与发送投屏请求的投屏客户端3建立投屏连接关系；
具体可以通过以下方法建立投屏连接关系：
如图3所示，本投屏装置1向服务器4请求一个携带有表示该投屏装置1的id的投屏二维码；通过长连接等待投屏客户端3扫描所述的投屏二维码；并在投屏客户端3扫描该投屏二维码后通过服务器4获得该投屏客户端3的信息并与该投屏客户端3建立投屏连接关系；
或者，如图4所示，向服务器4注册用于配对的id号和配对码；在接收到投屏客户端3向服务器4发起的与id号和配对码相匹配的配对请求后与该投屏客户端3建立投屏连接。
进一步地，投屏客户端通过端对端的传输方式向投屏装置发送投屏内容以及控制指令，且本实施例采用webrtc技术实现端对端的传输方式，主要方法包括：
在投屏客户端与投屏装置投屏连接之后，服务器建立webrtc连接以完成投屏客户端与投屏装置之间的信令协商，之后，建立投屏客户端与投屏装置之间端对端连接方式，从而使投屏客户端的投屏内容以及控制指令可以近场发送给投屏装置也可以远程发送给投屏装置。
在成功建立投屏连接后，投屏客户端3生成用于向投屏装置1发送控制指令的遥控界面，用户在遥控界面中可以遥控控制投屏内容的显示状态。
s2：接收投屏客户端3发送过来的投屏内容并将投屏内容显示在显示设备2上；
这里的投屏内容包括文字内容、写画手迹内容、图片内容、视频内容、音频内容、文件内容和网页内容中的任意一种或多种的组合。
s3：根据投屏客户端3发送过来的控制指令和/或本投屏装置1端的控制指令控制投屏内容的显示状态。
其中本投屏装置1端的控制指令由用户触摸显示界面发出，例如用户通过点击显示界面上的预设位置调整投屏内容在显示界面中的位置等；
投屏客户端3的控制指令由用户在投屏客户端3中的遥控界面中点击特定位置或写画特定手势发出，例如，用户通过点击遥控界面中的返回键控制当前显示界面上做的最近批注信息。
并且，在根据控制指令控制投屏内容显示状态的同时将显示状态同步至投屏客户端3。也就是说，无论是显示设备端还是投屏客户端3端，对显示界面元素的比例、位置、进度、状态等做了控制后，都会同步，例如在播放ppt的过程中，可以在投屏客户端3中做翻页操作，也可以在显示界面上做翻页操作，无论是哪边发出的控制指令，翻页进度都会同步到两边。
具体地，所述的控制指令包括清屏/清屏退至后台指令、播放进度控制指令、内容比例缩放控制指令、内容位置控制指令、暂停/结束指令、批注指令和撤销/重做指令中的任意一种或多种的组合；其中，
若为清屏/清屏退至后台指令，判断是否为清屏退至后台指令，若是，则将当前显示进程退至后台并提供新的画布；若否，则结束投屏内容的显示并提供新的空白画布；
若为播放进度控制指令，根据控制指令控制当前播放内容的播放进度；
若为内容比例缩放控制指令，根据控制指令控制指定投屏内容的缩小或放大；
若为内容位置控制指令，根据控制指令控制指定内容调整在显示界面中的位置；
若为暂停/结束指令，根据控制指令暂停投屏内容的播放或结束投屏内容的播放；
若为批注指令，根据控制指令控制显示界面进入批注模式以供用户在显示界面上或通过投屏客户端3对特定内容进行写画批注，当通过投屏客户端3对特定内容进行写画批注的时候接收用户在投屏客户端3所在终端的输入信息，根据所述输入信息在投屏内容上生成对应的批注信息；
若为撤销/重做指令，根据控制指令撤销当前显示界面中最近操作动作；且最近的操作动作可以是距当前最近的一次投屏操作、批注操作或调整操作，也可以是当前最近的一次撤销动作。
具体地，当用户需要投图片的时候，在投屏客户端的遥控界面中选择投图片，然后在投屏客户端所在终端的文件中或投屏客户端本身的图片消息中选择图片发送至投屏装置，投屏装置接收后，用户可以通过遥控界面向投屏装置发送控制指令以调整图片的比例、位置等，也可以直接在显示界面中对图片进行调整，且调整状态在显示界面中和客户端界面中同步；
同样地，用户需要投写画手迹的时候，选择投手迹，然后投屏客户端显示手写界面，用户在该手写界面中可以进行随意写画，写画完成后发送至投屏装置，投屏装置接收到的是写画轨迹，用户同样能够在遥控界面中向投屏装置发送控制指令或在投屏装置的显示界面中触摸以调整写画轨迹的状态，并同步调整状态；
当用户需要投文字的时候，选择投文字，然后投屏客户端显示文字输入键盘，在文字输入完成后，将用户的输入文字发送至投屏装置，投屏装置接收后，用户可以通过遥控界面向投屏装置发送控制指令以调整或在文字大小位置等状态，或者用户可以在显示界面上直接调整文字的大小位置等状态，无论用户在哪边进行调整，状态同步至两端；
当用户需要投文件时，选择投文件，在投屏客户端所在终端的本地文件中选择文件，例如ppt文件等上传至投屏装置，投屏装置接收后便显示文件内容，用户可以通过遥控界面向投屏装置发送控制指令，也可以在显示界面中直接对ppt做翻页等操作，文件控制状态同样会同步至两端；
当用户需要投音视频内容的时候，选择投音视频，在投屏客户端所在终端的本地文件中选择音视频内容上传至投屏装置，投屏装置的显示界面显示音视频内容，用户通过遥控界面向投屏装置发送控制指令进行比例调整、暂停、进度调整等，或者用户在显示界面中对音视频进行状态调整，调整状态同样同步至两端。
进一步地，如图5所示，在执行清屏/清屏退至后台指令时，判断是否为清屏退至后台指令，若是，则在接收到投屏内容恢复指令后，将空白画布与该空白画布上的触摸轨迹和/或输入信息一起转换为图片格式进行保存以获得空白画布图片，图片格式包括bmp格式、jpeg格式、jpeg2000格式、tiff格式、png格式等，在保存成功后恢复投屏内容的显示，且所述的清屏/清屏退至后台指令由客户端发出或由用户触摸显示设备2的显示界面发出。
需要说明的是，针对视频、网页、音频、文件等一类的数据，清屏指令的方式需要人为选择，也就是用户在选择清屏/清屏退至后台指令对应的按键以后，还需要进一步选择是直接清屏还是清屏并将显示内容退至后台，针对图片、文字、手迹一类的数据，用户在选择清屏/清屏退至后台指令对应的按键以后自动进入清屏并结束显示。
进一步地，本实施例的显示设备2具有触摸功能，使显示设备具有触摸功能的结构可以内置于显示设备2中，也可以外置在显示设备2上，例如设置在显示屏前面的触摸屏，当然还可以额外安装在一般的显示设备2上，例如在液晶屏上安装红外触摸框等，将用户在显示界面上的触摸信号发送给控制器11，由控制器11根据用户的触摸手势控制投屏内容的显示，或者，将用户的触摸轨迹和/或输入信息渲染在显示界面上以实现写画操作，具体地，如图6所示，在步骤s2之后，还包括以下步骤：
s3：当接收到批注指令时，判断写画批注模块112是否在前台，若是，则直接将当前画面转换为渲染格式以获得内容画布；若否，则从显示缓存中获取当前画面帧并切换写画批注模块112至前台，将当前画面帧叠加在写画批注模块112的画布层上，同时将当前画面帧转换为渲染格式以获得内容画布；需要说明的是，若当前显示的是视频、网页、音频、文件等一类的数据内容，那么，在进入批注模式的时候写画批注模块112需要从后台切换至前台，若当前显示的是图片、文字、手迹等数据内容，这些数据内容直接显示在写画批注模块112的画布层上，不需要切换写画批注模块112至前台；
s4：获取触摸检测模块113输出的由用户触摸显示界面产生的触摸轨迹，并将该触摸轨迹发送给写画批注模块112，由写画批注模块112将触摸轨迹渲染显示在内容画布上；或者，接收投屏客户端3发送过来的输入信息，并将输入信息渲染在内容画布上；输入信息是指用户在投屏客户端3所在终端屏上的触摸轨迹和/或用户在客户端所在终端上输入的文字内容。
s5：当接收到恢复指令时，将内容画布与该内容画布上的触摸轨迹和/或输入信息一起转换为图片格式进行保存以获得内容画布图片，并在保存成功后恢复内容的显示。
并且，本实施例还包括以下步骤：
将空白画布图片和/或内容画布图片发送给相应的投屏客户端3；或者，如图7所示，在接收到结束投屏连接指令时，将与相应投屏客户端3建立投屏连接期间生成的空白画布图片和/或内容画布图片打包发送给相应的投屏客户端3供用户后续回顾。
且所述的结束投屏指令通过以下方法执行：
用户通过在投屏客户端3中进行与结束投屏连接指令对应的特定操作以将结束投屏连接指令发送给投屏装置1，投屏装置1在接收到结束投屏连接指令的时候断开与投屏客户端3之间的投屏连接关系；
或者，用户在显示界面上进行对应于投屏连接指令的特定操作时断开与投屏客户端3之间的投屏连接关系；
进一步地，在进行内容投屏的过程中，还包括以下步骤：
当处于同一画布层的时候，将先后投射过来的内容按照先后顺序上下排列和/或左右排列在该画布层上，且每一个画布层上下和/或左右无线延展，也就是说在用户选择发出清屏指令之前，用户向投屏装置1发送的文字、图片等内容在同一画布层上显示，且相互之间按照一定规律进行排列。
此外，在检测到与客户端3非正常断开时，投屏客户端3和本投屏装置1均主动携带对方的身份信息，例如id号向服务器4发起重新连接请求。
进一步地，通过遥控界面，用户还可以在投屏客户端3中访问投屏装置1的本地文件，即使访问者远离投屏装置1也能够通过投屏客户端3便捷地访问到它的本地文件。
实施例二
本实施例还公开了一种采用实施例一张方法的通过客户端实现内容投屏的投屏装置1，所述的投屏装置1包括与具有触摸功能的显示设备2连接的控制器11，所述的控制器11包括第一投屏模块111、写画批注模块112、触摸检测模块113和指令接收及处理模块114，其中，
第一投屏模块111：用于与投屏客户端3建立投屏连接关系，并用于接收投屏客户端3发送的投屏内容；
写画批注模块112，用于将当画面帧转换为可渲染格式以获得以当前画面帧为背景的内容画布；以及，用于将触摸轨迹和/或输入信息进行渲染并显示在内容画布和/或空白画布上；
触摸检测模块113，用于接收用户在显示界面上的触摸轨迹，并将触摸轨迹发送给写画批注模块112进行渲染显示或将触摸轨迹发送给指令接收及处理模块114；
指令接收及处理模块114，用于接收触摸检测模块113检测到的和/或客户端发送过来的控制指令，并根据控制指令控制投屏内容的显示状态。
实施例三
如图8所示，本实施例公开了一种基于实施例一中方法的通过客户端实现内容投屏的系统，包括实施例二中的投屏装置1，与投屏装置1连接的具有触摸功能的显示设备2，与投屏装置1投屏连接的投屏客户端3，以及分别与投屏装置1和投屏客户端3连接的服务器4，所述的投屏装置1包括控制器11，该控制器11连接于所述的显示设备2，所述的控制器11又包括第一投屏模块111、写画批注模块112和触摸检测模块113，所述的投屏客户端3包括第二投屏模块31和遥控控制模块32，所述的服务器4包括投屏连接模块41，其中，
第二投屏模块31，用于向服务器4发起投屏连接请求，以及用于向投屏装置1投射投屏内容；
遥控控制模块32，用于向投屏装置1发送控制指令以控制投屏内容的显示状态，以及用于查看投屏装置1的本地文件。
投屏连接模块41，用于在投屏客户端3发起投屏请求的时候将请求信息发送给投屏装置1，以及将投屏客户端3与投屏装置1建立投屏连接关系。
本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。
尽管本文较多地使用了投屏装置1；控制器11；第一投屏模块111；写画批注模块112；触摸检测模块113；指令接收及处理模块114；显示设备2；投屏客户端3；第二投屏模块31；遥控控制模块32；服务器4；投屏连接模块41等术语，但并不排除使用其它术语的可能性。使用这些术语仅仅是为了更方便地描述和解释本发明的本质；把它们解释成任何一种附加的限制都是与本发明精神相违背的。