多目视觉控制电视姿态的装置和方法
【专利摘要】本发明公开了一种多目视觉控制电视姿态的装置和方法。升降电机装在平台上，升降电机连接滑动丝杆，滑动丝杆套有滑动块，滑动块装有旋转电机，旋转电机与电视机显示屏背部连接；电视机显示屏背后两侧装有左、右双目视觉摄像机；通过校准摄像机拍摄电视机照片，预处理和边缘检测处理得到电视机水平偏转角度和中心点坐标，通过左右双目摄像机间隔时间采集两次人图片，提取人体眼部特征进行双目立体视觉重构，计算获得两次采集的坐标、水平倾斜角度和水平高度，再计算二次的变化绝对值对旋转调整和高度调整，并计算偏差绝对值进行补偿处理。本发明能让电视机的姿态根据人脸的姿态进行自动改变，使人的眼睛不会斜视电视机，因而不会产生疲劳，获得更好的体验。
【专利说明】
多目视觉控制电视姿态的装置和方法
技术领域
[0001] 本装置设及视觉检测装置和方法，尤其是指一种多目视觉控制电视姿态的装置和 方法，属于信息处理技术。
【背景技术】
[0002] 目前市场上出售的电视机都不包含此装置，所W人们在看电视的时候不得不W - 种姿态一直持续下去。当人们想要躺着的时候，就不得不斜视电视机，而运种姿态容易使人 的眼睛产生疲劳，长此W往甚至出现斜视。现有技术中缺少了一种可避免上述情况，W提高 看电视的舒适度的装置或方法。
【发明内容】
[0003] 为了解决【背景技术】中存在的问题，本发明的目的是提出了一种多目视觉控制电视 姿态的装置和方法，通过智能模式识别进行图像处理获得空间人眼部位置的定位(相对参 考系的高度和倾斜度），让电视机的姿态根据人脸的姿态进行自动改变，获得更好的体验。
[0004] 为实现本发明之目的，本发明采用如下技术方案：
[0005] -、一种多目视觉控制电视机姿态的装置：
[0006] 本发明包括用于安装的平台、控制器、两个双目视觉摄像机、电视机显示屏、升降 电机、旋转电机、滑动丝杆、校准摄像机、蓝牙通信发送模块和用于供电的电源，控制器固定 安装在平台底部，升降电机竖直安装在平台上，升降电机输出轴朝向与滑动丝杆同轴固定 连接，滑动丝杆上通过螺纹副套有滑动块，滑动块上安装有旋转电机，旋转电机输出轴与电 视机显示屏的背部固定连接;电视机显示屏背后两侧的平台上安装有左双目视觉摄像机右 双目视觉摄像机，左双目视觉摄像机右双目视觉摄像机位于电视机显示屏上方；电视机显 示屏的正前方设有校准摄像机，人站立在校准摄像机和电视机显示屏之间；左双目视觉摄 像机、右双目视觉摄像机、升降电机和旋转电机均通过数据线与控制器连接，校准摄像机通 过蓝牙通信发送模块和控制器进行无线连接通信。
[0007] 所述的升降电机和旋转电机输出轴通过减速装置输出。
[000引所述的控制器内包括ARM处理器W及与ARM处理器连接的蓝牙通信接收模块、电 机组控制模块和图像采集卡，蓝牙通信接收模块经蓝牙通信发送模块与校准摄像机连接， 电机组控制模块连接升降电机和旋转电机，图像采集卡与左双目视觉摄像机、右双目视觉 摄像机连接采集图像数据。
[0009] 所述装置人的眼部空间位置坐标是由双目视觉摄像机的世界坐标系确定的。所述 装置中电视机显示屏的中屯、点就是电视机显示屏对角线的交点。
[0010] 所述的校准摄像机获得蓝牙传输的信号后，才对电视机显示屏的姿进行拍摄，拍 摄的数据也经过蓝牙传给控制器。当电视机的姿态改变后，控制器会通过蓝牙给校准摄像 机一个信号。
[0011] 二、一种多目视觉控制电视机姿态的方法，具体步骤如下：
[0012] 1)采用上述装置，通过校准摄像机拍摄一张电视机显示屏照片，进行图像预处理， 进行边缘检测和转化为灰度图，利用化enCV霍夫线变换直线检测算法，检测电视机显示屏 的边框直线，可计算斜率和角度，可W求得电视机显示屏旋转角度，得到电视机显示屏的水 平偏转角度和中屯、点的坐标；
[0013] 2)通过左右双目摄像机进行第一次采集，各采取一张电视机显示屏前站立的人的 图片，对图片进行预处理，采用基于SURF算法对图像中人体眼部特征进行提取；
[0014] 3)由人体眼部特征进行双目立体视觉重构，完成对人眼部位置信息的Ξ维重建， 得到人左眼中屯、点空间位置坐标A(xi yi Z1)和右眼中屯、点空间位置坐标B(X2 y2 Z2)，其中 X代表的是水平位置，y代表的是距离水平面的高度，Z代表的是距离电视机显示屏的距离， 进而计算获得第一次采集时左右眼的中点坐标、双眼的水平倾斜角度和左右眼中屯、点的水 平高度；
[0015] 4)在间隔时间T后重复上述步骤2)和3)进行第二次图像采集，得到左眼中屯、点的 空间位置坐标A/(x/ y/ z/)、右眼中屯、点的空间位置坐标β/(Χ2/ 72^ Z2〇和左右眼的中 点坐标
，进而计算获得第二次采集时双眼的水平倾斜角度和左右 眼中屯、点的水平高度；
[0016] 5)采用W下公式计算得到二次眼部水平倾斜角的变化绝对值和眼部中屯、点的高 度变化绝对值：
[0017] 二次眼部水平倾斜角的变化绝对值：I ω = I β-a [001引眼部中屯、点的高度变化绝对值为：I Ahil = |h2-hi
[0019] 其中，a表示左右双目摄像机第一次采集获得的双眼水平倾斜角度，β表示左右双 目摄像机第二次采集获得的双眼水平倾斜角度，hi表示左右双目摄像机第一次采集获得的 左右眼中屯、点的水平高度，h2表示左右双目摄像机第一次采集获得的左右眼中屯、点的水平 高度；
[0020] 6)根据二次眼部水平倾斜角的变化绝对值和眼部中屯、点的高度变化绝对值对电 视机显示器的旋转调整和高度调整；
[0021] 7)然后校准摄像机进行第二次拍摄电视机显示屏的照片，对照片进行处理，获得 电视机显示屏的实际水平偏转角ω /和水平高度实际改变值Δ h2，进而采用W下公式计算 获得电视机显示屏的水平偏差角度偏差绝对值和升降高度偏差绝对值，对电视机显示屏的 旋转角度和高度进行补偿处理；
[0022] 电视机显示屏水平偏差角度偏差绝对值：I Δ ω I = I ω / - ω
[0023] 电视机显示屏升降高度偏差绝对值：I Ah| = I Ah2-Ahi
[0024] 8)在人站立过程观看电视机过程中，重复上述步骤1-7,实现对电视机姿态的实时 调整控制。
[0025] 所述步骤3)中第一次采集时左右眼的中点坐标、双眼的水平倾斜角度和左右眼中 屯、点的水平高度具体采用W下公式计算：
[00%]左右眼的中点坐标夫
[0027] 双眼的水平倾斜角度为：
[0028] 左右眼中屯、点的水平高度为
[0029] 所述步骤4)中第二次采集时双眼的水平倾斜角度和左右眼中屯、点的水平高度具 体采用W下公式计算：
[0030] 双眼的水平倾斜角度为
[0031] 左右眼中点的水平高度巧
[0032] 所述步骤6)具体为：当眼部水平倾斜角变化绝对值I ω I >10度或者眼部中屯、点的 高度值变化绝对值I A h| >5厘米，通过控制器控制旋转电机转动使得电视机显示器在自身 竖直面沿旋转点进行ω角度的旋转调整，通过控制器控制升降电机转动使得电视机显示器 升降进行A h距离的高度调整。
[0033] 所述步骤7)中对电视机显示屏的旋转角度和高度进行补偿处理具体为：
[0034] 若I Δ ω |>5d或者I Ah|>2.5cm，则控制器输出控制信号，控制旋转电机转动使 得电机显示屏回转I Δ ω I角度W补差实际偏差，控制升降电机使得电视机显示屏的高度退 回I Ah| W补差实际偏差。
[0035] 当人脸姿态发生变化时，人的双眼的水平倾斜角和水平高度发生了改变，双目视 觉摄像机会将采集到的数据发送到控制器，经过图像处理，控制器给电机组控制输出控制 信号，旋转电机和升降电机会对电视机的水平倾斜角和水平高度作出相同的调整。
[0036] 可是由于控制电机会产生一定的偏差，在调节完成后，校准摄像机获得调整后的 电视机的实际水平倾斜角和水平高度，当偏差达到设定的阔值的时候，控制器会通过电机 对电视机显示屏的水平倾斜角和水平高度进行调节，补偿偏差，从而保证人眼与电视机显 示屏的水平倾斜角度相同；左右眼中点的水平高度和电视机显示屏的中屯、点水平高度一致 获得最好的体验。
[0037] 本发明的有益效果是：
[0038] 本发明能让电视机的姿态根据人脸的姿态进行自动改变，使人的眼睛不会斜视电 视机，因而不会产生疲劳，获得更好的体验。
【附图说明】
[0039] 图1是本发明装置整体结构图。
[0040] 图2是本发明装置的电机组局部结构图。
[0041 ]图3是控制器的组成示意图。
[0042] 图4是装置连接图。
[0043] 图5是本发明双眼的空间坐标信息改变示意图。
[0044] 图6是本发明装置方法的流程图。
[0045] 图中：1:控制器，2:左双目视觉摄像机，3:右双目视觉摄像机，4:电视机，5:升降电 机，6:旋转电机，7:滑动丝杆，8:位置校准摄像机，9:蓝牙通信发送模块，10:电源，11:滑动 块，12:蓝牙通信接收模块，13:ARM控制处理器模块，14:电机组控制模块，15:图像采集卡。
【具体实施方式】
[0046] 结合下面附图及实施例进一步说明本装置的技术方案。
[0047] 如图1和图2所示，本发明包括用于安装的平台、控制器1、两个双目视觉摄像机2、 3、电视机显示屏4、升降电机5、旋转电机6、滑动丝杆7、校准摄像机8、蓝牙通信发送模块9和 用于供电的电源10。
[0048] 控制器1固定安装在平台底部，如图2所示，升降电机5竖直安装在平台上，升降电 机5输出轴朝向与滑动丝杆7同轴固定连接，滑动丝杆7上通过螺纹副套有滑动块11，滑动块 11上安装有旋转电机6,旋转电机6输出轴与电视机显示屏4的背部固定连接;电视机显示屏 4背后两侧的平台上安装有左双目视觉摄像机2右双目视觉摄像机3，左双目视觉摄像机2右 双目视觉摄像机3位于电视机显示屏4上方，并朝向电视机显示屏4前方人站立处。电视机显 示屏4的正前方设有校准摄像机8,人站立在校准摄像机8和电视机显示屏4之间，校准摄像 机8朝向人和电视机显示屏4方向。
[0049] 电机组装置都包含减速装置，W减少电机旋转过快带来的误差，升降电机5和旋转 电机6输出轴通过减速装置输出。
[0050] 如图4所示，左双目视觉摄像机2、右双目视觉摄像机3、升降电机5和旋转电机6均 通过数据线与控制器1连接，校准摄像机8通过蓝牙通信发送模块9和控制器1进行无线连接 通信;控制器1、电视机显示屏4、升降电机5、旋转电机6、蓝牙通信发送模块9分别与电源10 由导线相连。
[0051] 如图3所示，控制器1内包括ARM处理器13W及与ARM处理器13连接的蓝牙通信接收 模块12、电机组控制模块14和图像采集卡15,蓝牙通信接收模块12经蓝牙通信发送模块9与 校准摄像机8连接，电机组控制模块14连接升降电机5和旋转电机6，图像采集卡15与左双目 视觉摄像机2、右双目视觉摄像机3连接采集图像数据。
[0052] 如图6所示，本发明的实施例及其具体实施过程如下：
[0053] 1)采用上述装置，具体实施中，双目视觉摄像机位于电视机的正上方，在电视机对 角线的延长线上，离电视机上表面垂直距离60cm，校准摄像机位于电视机的正前方。
[0054] 具体实施中，装置只有当人脸高度变化超过±5cm，升降电机才对电视的高度进行 调节。当人脸倾斜度超过正负10°，旋转电机才对电视机的角度进行调节。对电视机的水平 偏转角角度调整范围是± 180°，水平高度变化是±40cm。双目摄像机每30秒对人体姿态进 行一次采集。
[0055] 先通过校准摄像机拍摄一张电视机显示屏照片，通过无线传输到控制器中，通过 控制器进行图像预处理，进行边缘检测后转化为灰度图，再经过处理得到电视机显示屏的 水平偏转角度和中屯、点的坐标；
[0056] 2)通过左右双目摄像机进行第一次采集，各采取一张电视机显示屏前人坐着的图 片，然后将拍取的图片由数据线传输到控制器中，通过控制器对图片进行预处理，采用基于 SURF算法对图像中人体眼部特征进行提取；
[0057] 3)由人体眼部特征进行双目立体视觉重构，完成对人眼部位置信息的Ξ维重建， 得到人左眼中屯、点空间位置坐标A(xi yi Z1)和右眼中屯、点空间位置坐标B(X2 y2 Z2)，如图 6所示，然后采用W下公式获得第一次采集时左右眼的中点坐标、双眼的水平倾斜角度和左 右眼中屯、点的水平高度：
[0061] 4)在间隔30秒后重复上述步骤2和3进行第二次图像采集，得到左眼中屯、点的空间 位置坐标y/ z/)、右眼中屯、点的空间位置坐标72^ Z2^)和左右眼的中点坐 标
如图6所示，然后采用W下公式获得第二次采集时双眼的水平 倾斜角度和左右眼中点的水平高度：
[0064] 5)采用W下公式计算得到二次眼部水平倾斜角的变化绝对值和眼部中屯、点的高 度变化绝对值：
[00化]二次眼部水平倾斜角的变化绝对值：I ω I = I β-a
[0066] 眼部中屯、点的高度变化绝对值为：I Ahil = |h2-hi
[0067] 6)当眼部水平倾斜角变化绝对值I ω I >10度或者眼部中屯、点的高度值变化绝对 值I Δ h I > 5厘米，通过控制器控制旋转电机转动使得电视机显示器在自身竖直面沿旋转点 进行ω角度的旋转调整；
[0068] 通过控制器控制升降电机转动使得电视机显示器升降进行Ah距离的高度调整， 由此人眼与电视机显示屏的水平倾斜角度相同，左右眼中点的水平高度和电视机显示屏的 中屯、点高度一致；
[0069] 7)然后校准摄像机进行第二次拍摄电视机显示屏的照片，然后通过蓝牙传输到控 制器，通过控制器对照片进行处理，获得电视机显示屏的实际水平偏转角ω/和水平高度实 际改变值Ah2;
[0070] 采用W下公式计算获得电视机显示屏的水平偏差角度偏差绝对值和升降高度偏 差绝对值：
[0071] 电视机显示屏水平偏差角度偏差绝对值：I Δ ω I = I ω/-ω
[0072] 电视机显示屏升降高度偏差绝对值：I Ah| = I Ah2-Ahi
[007引若I A ω |>5d或者I Ah|>2.5cm，则控制器输出控制信号，控制旋转电机转动使 得电机显示屏回转I Δ ω I角度W补差实际偏差，控制升降电机使得电视机显示屏的高度退 回I Ah| W补差实际偏差；
[0074] 8)在观看电视机过程中，可W选择坐着、躺着等不同姿态看电视，通过重复上述步 骤1-7,本发明实现了对电视机姿态的实时调整控制，很好地调整电视机的倾斜角度和水平 高度，适应了人观看的姿态。
【主权项】
1. 一种多目视觉控制电视机姿态的装置，包括用于安装的平台，其特征在于:还包含控 制器（1)、两个双目视觉摄像机(2、3)、电视机显示屏(4)、升降电机(5)、旋转电机(6)、滑动 丝杆(7)、校准摄像机(8)、蓝牙通信发送模块(9)和用于供电的电源（10)，控制器(1)固定安 装在平台底部，升降电机(5)竖直安装在平台上，升降电机(5)输出轴与滑动丝杆(7)同轴固 定连接，滑动丝杆(7)上通过螺纹副套有滑动块(11)，滑动块(11)上安装有旋转电机(6)，旋 转电机(6)输出轴与电视机显示屏(4)的背部固定连接；电视机显示屏(4)背后两侧的平台 上安装有左双目视觉摄像机(2)和右双目视觉摄像机(3)，左双目视觉摄像机(2)和右双目 视觉摄像机（3)位于电视机显示屏（4)上方；电视机显示屏（4)的正前方设有校准摄像机 (8)，人站立在校准摄像机(8)和电视机显示屏(4)之间；左双目视觉摄像机(2)、右双目视觉 摄像机(3)、升降电机(5)和旋转电机(6)均通过数据线与控制器(1)连接，校准摄像机(8)通 过蓝牙通信发送模块(9)和控制器(1)进行无线连接通信。2. 根据权利要求1所述的一种多目视觉控制电视机姿态的装置，其特征在于:所述的升 降电机(5)和旋转电机(6)输出轴通过减速装置输出。3. 根据权利要求1所述的一种多目视觉控制电视机姿态的装置，其特征在于:所述的控 制器（1)内包括ARM处理器（13)以及与ARM处理器（13)连接的蓝牙通信接收模块（12)、电机 组控制模块（14)和图像采集卡（15)，蓝牙通信接收模块（12)经蓝牙通信发送模块(9)与校 准摄像机(8)连接，电机组控制模块(14)连接升降电机(5)和旋转电机(6 )，图像采集卡（15) 与左双目视觉摄像机(2 )、右双目视觉摄像机(3)连接采集图像数据。4. 根据权利要求书1所述装置的一种多目视觉控制电视机姿态方法，具体步骤如下： 1) 采用权利要求1~3任一所述装置，通过校准摄像机拍摄一张电视机显示屏照片，进 行图像预处理，进行边缘检测后转化为灰度图，再经过处理得到电视机显示屏的水平偏转 角度和中心点的坐标； 2) 通过左右双目摄像机进行第一次采集，各采取一张电视机显示屏前站立的人的图 片，对图片进行预处理，采用基于SURF算法对图像中人体眼部特征进行提取； 3) 由人体眼部特征进行双目立体视觉重构，完成对人眼部位置信息的三维重建，得到 人左眼中心点空间位置坐标A(xi yi zi)和右眼中心点空间位置坐标B(X2 y2 Z2)，进而计算 获得第一次采集时左右眼的中点坐标、双眼的水平倾斜角度和左右眼中心点的水平高度； 4) 在间隔时间T后重复上述步骤2)和3)进行第二次图像采集，得到左眼中心点的空间 位置坐标f (x\ y、z\)、右眼中心点的空间位置坐标yS zS)和左右眼的中点坐?，进而计算获得第二次采集时双眼的水平倾斜角度和左右眼中 心点的水平高度； 5) 采用以下公式计算得到二次眼部水平倾斜角的变化绝对值和眼部中心点的高度变 化绝对值： 二次眼部水平倾斜角的变化绝对值：I ω | = Ιβ-a 眼部中心点的高度变化绝对值为：| Δ1η| = Ib-h 其中，a表示左右双目摄像机第一次采集获得的双眼水平倾斜角度，β表示左右双目摄 像机第二次采集获得的双眼水平倾斜角度，h表示左右双目摄像机第一次采集获得的左右 眼中心点的水平高度，h2表示左右双目摄像机第一次采集获得的左右眼中心点的水平高 度； 6) 根据二次眼部水平倾斜角的变化绝对值和眼部中心点的高度变化绝对值对电视机 显示器的旋转调整和高度调整； 7) 然后校准摄像机进行第二次拍摄电视机显示屏的照片，对照片进行处理，获得电视 机显示屏的实际水平偏转角ω'和水平高度实际改变值Ah 2,进而采用以下公式计算获得 电视机显示屏的水平偏差角度偏差绝对值和升降高度偏差绝对值，对电视机显示屏的旋转 角度和高度进行补偿处理； 电视机显示屏水平偏差角度偏差绝对值：I Δ ω I = I ο^-ω 电视机显示屏升降高度偏差绝对值：| Ah| = | Δ^-ΔΙη 8) 在人站立过程观看电视机过程中，重复上述步骤1-7,实现对电视机姿态的实时调整 控制。5. 根据权利要求书4所述的一种多目视觉控制电视机姿态的方法，其特征在于:所述步 骤3)中第一次采集时左右眼的中点坐标、双眼的水平倾斜角度和左右眼中心点的水平高度 具体采用以下公式计算：6. 根据权利要求书4所述的一种多目视觉控制电视机姿态的方法，其特征在于:所述步 骤4)中第二次采集时双眼的水平倾斜角度和左右眼中心点的水平高度具体采用以下公式 计算：7. 根据权利要求书4所述的一种多目视觉控制电视机姿态的方法，其特征在于:所述步 骤6)具体为：当眼部水平倾斜角变化绝对值| ω |多10度或者眼部中心点的高度值变化绝对 值| △ h |多5厘米，通过控制器控制旋转电机转动使得电视机显示器在自身竖直面沿旋转点 进行ω角度的旋转调整，通过控制器控制升降电机转动使得电视机显示器升降进行△ h距 离的高度调整。8. 根据权利要求书4所述的一种多目视觉控制电视机姿态的方法，其特征在于:所述步 骤7)中对电视机显示屏的旋转角度和高度进行补偿处理具体为:若| △ ω |彡5d或者| Ah 多2.5cm，则控制器输出控制信号，控制旋转电机转动使得电机显示屏回转| △ ω |角度以补 差实际偏差，控制升降电机使得电视机显示屏的高度退回I A h |以补差实际偏差。
【文档编号】H04N13/00GK106060514SQ201610542807
【公开日】2016年10月26日
【申请日】2016年7月6日
【发明人】孙坚, 李福建, 徐红伟, 黄岩艳, 钟绍俊
【申请人】中国计量大学