唐菲菲 果连成 张珣
摘要：为了满足人们对家居系统客户终端个性化智能化的需求，提出了360°全景漫游的交互界面，及对其中的家居可控点状态的自动识别。全景漫游技术根据surf算法在图像尺度空间提取特征点，通过图像拼接，生成场景在不同视线方向上的透视视图；以窗帘为例，利用灰度共生矩阵提取可控点纹理特征值，根据支持向量机进行分类。实验表明，surf算法具有良好地鲁棒性及高效的配准速度，同时基于纹理特征的模式识别，能较准确地区分图像中的可控点状态。
关键词：智能家居； 全景漫游界面； 模式识别； 纹理特征； 图像拼接
中图分类号：TN98?34 文献标识码：A 文章编号：1004?373X（2013）02?0032?04
0 引 言
智能家居无疑是近年来炙手可热的概念，一些高档的住宅小区已经配套了比较完善的智能家庭网络，其中人机交互界面的友好化已作为一个最大的亮点。系统智能化程度的提高大大降低了居住者管理及控制家居工作量的同时，也增加了家庭成员对复杂的操作界面的认知能力，如面对满目的按钮和图标、杂乱的界面主题，反而会令一些简单的操作变复杂，甚至还会对一些不熟悉这些操作界面的人，如老人、孩子、访客等造成新的困扰[1]，使智能家居系统的智能化有些本末倒置。
智能家居人机交互界面随着计算机技术的飞速发展已经经历了4个阶段。最早的命令行界面可以看成第一代智能家居人机界面。当时人被看成操作员，机器只能作出被动的反应，人只能使用手一种交互通道通过键盘输入信息，界面输入只能为静态单一字符，因此，这种人机界面交互的自然性和效率都很差。紧接着的以窗口、图标、菜单和指点装置为基础的人机交互界面可以看作第二代智能家居人机界面，如在WIMP界面中，基于图形方式的界面，输出静态/动态二位图形/图像及其他多媒体信息。近期的多通道人机界面是基于视线跟踪，语音识别，手势输入、感觉反馈等新的交互技术，用户可以使用自然的交互方式，如语音、手势、眼神、表情等与计算机系统进行协同工作，利用感知能力在3D模型的虚拟现实家居系统中漫游，如MMI可以看作是第3代人机界面[2]。随着人们的不断创新，以求推出最容易和掌握的控制界面，基于自适应模式识别的360°全景图像与第三代人机界面的融合，可以看作是第4代人机界面，目前用于触摸屏设备的swipe技术正式采用了以实景为背景的界面已给用户带来全新的环境控制体验。在基于系统界面“皮肤”是室内的360°全景实景照片的基础上，采用针对图像中可控点如灯、门、窗帘状态的自动智能识别技术，满足客户对“所见即所得”人机界面的要求。
本文主要研究在VS 2008+OpenCV工具平台上，对智能家居系统以360°实景图像为背景的界面中的窗帘部分进行的模式识别。
1 虚拟全景人机界面的实现
三维全景漫游是指在由全景图像构建的全景空间里进行切换，达到浏览各个不同场景的目的，目前比较流行的方法是采用普通数码相机采集的图片作为场景的虚拟表示，通过对具有重叠部分的图像进行拼接融合，合成一幅较大视角的场景图像，即全景图，对全景图进行重投影，可以实现在不同视域和视角方向下的透视视图[3]。
本文采用2006年bay等提出的基于特征点全景图像配准的SURF（Speed Up Robust Feature）算法进行图像拼接[4]，其具有可重复性和鲁棒性，还有较快的计算速度。
1.1 特征点检测
Surf算法对特征点的检测是基于尺度空间理论，依据Hessian矩阵行列式的局部最大值定位特征点位置[5]。对于图像I中的任意一点u=（x，y）在尺度为σ下的Hessian矩阵H（u，σ）可以定义如下：
[H（u，σ）=Lxx（u，σ）Lxy（u，σ）Lyx（u，σ）Lyy（u，σ）]（1） 式中：[Lxx（u，σ）]是高斯函数二阶导数与图像I在点u处的卷积，以此类推得到[Lxy（u，σ）]，[Lyx（u，σ）]和[Lyy（u，σ）]。Hessian的行列式为：
[det（H）=Lxx×Lyy-Lxy2] （2）
Bay等人提出用框式滤波器近似高斯二阶导数，框式滤波器在x，y，xy三个方向上的近似分别记为[Dxx]，[Dyy]和[Dxy]，大大提高了运算效率。得到近似的Hessian矩阵[H（approx）]，如下：
[det（Happrox）=Dxx×Dyy-（0.9×Dxy）2] （3）
利用尺度空间被表述为金字塔的原理，使原始图像保持不变而只改变滤波器大小，特征点检测过程中使用与图像解析度相对应大小的滤波器快速检测及定位特征点。
1.2 特征点的描述
SURF特征描述符利用Hessian快速检测出来特征点的尺度，来描述像素点强度的分布情况。为保证旋转不变形，首先以特征点为中心，计算半径6s（s为特征点所在的尺度值）的邻域内的点在x，y方向的Harr小波（Harr小波边长去4s）响应，并给这些响应值赋高斯权重系数，靠近特征点的响应贡献大，远离特征点的响应贡献小，计算所有特征点的Harr小波响应向量进行累加，选择最长矢量的方向为该特征点的主方向。
以特征点为中心，首先将坐标轴旋转到主方向，按主方向选取边长为20s的正方形区域，将该窗口区域划分为4×4的子区域，在每一个子区域内，计算5s×5s范围内的小波响应，相对于主方向的水平、垂直方向的Haar小波响应分别记为dx，dy，赋予响应值以权值系数，对每个子区域的响应以及响应的绝对值相加形成[dx，dy，dx，dy]，因此对每个特征点形成64维的描述向量，再进行向量的归一化处理[6]，即可描述特征点。
2 可控点自动识别
在全景漫游的人机交互界面中，利用图像处理技术对可控点如窗帘、灯、门等设备进行识别，本文以窗帘为例进行分析。据常识可知窗帘关时，窗户部分应该是透明玻璃或者空气（即什么都没有），两者的纹理是一样的，都是一个常数图片；窗帘关时，窗户部分应该是窗帘，从而我们可以以该图片中玻璃与窗帘的纹理特征为依据进行分类。
2.2 支持向量机的图像识别
支持向量机（SVM）是建立在统计学习理论的VC维理论和结构风险最小的原理基础上的，根据有限的样本信息在模型的复杂性和学习能力之间寻求最佳折中，本文中就是利用支持向量机来完成分类的。训练之前首先将特征数据映射到0～1范围内，以防大量的大数据计算问题。训练时将窗帘开、关的标号设定为[0，1]，选径向基函数为核函数。选择窗帘开、关图像各100张作为样本来训练SVM，另取50张作为测试样本，正确率达到98%。本文选取的4个参数及已经训练的分类器能较好地完成窗帘图像的自动识别[9?10]。
3 结 语
本文首先了解基于SURF算法图像拼接的360°全景技术，在三维漫游人机交互界面的基础上研究灰度共生矩阵及窗帘和玻璃纹理特征，通过SVM成功地对其状态进行识别。同样地可以对系统中其他家居如灯的开关状态，门的开关状态等进行自动图像识别，从而形成一个家居人机界面可控点的智能识别系统。该系统可以避免人力资源的消耗，适应于不同类人群的需求，同时基于真实图像拼接的全景图的界面，增加了用户的真实现场感和交互感受，这是未来虚拟控制界面发展的一种趋势。本文下一步工作是根据用户的空间位置及观察方向实时地调入响应的实景图像，使其与用于模式识别的图像更新达到同步。
参考文献
[1] 董士海.人机交互的进展及面临的挑战[J].计算机辅助设计与图形学学报，2004，16（1）：1?5.
[2] 张斌，绕培伦.智能家居人机交互绩效的实验分析：界面智能程度及人物认知模式的影响[J].工业工程与管理，2007（3）：99?103.
[3] 赵毅力，徐丹.基于全景图像的虚拟漫游系统研究[J].计算机与现代化，2011（6）：11?14.
[4] BAY H， TUYTELAARS T， COOL L. SURF：speeded up robust features [C]// Proceeding of the 9th European Conference on Computer Vision. [S.l.]： UCCV， 2006： 404?417.
[5] 刘奇，何明一.基于SURF特征匹配的图像拼接算法[J].测控技术，2010，29（10）：27?31.
[6] 李军，吴洁明.一种改进图像拼接算法的仿真研究[J].计算机仿真，2012，29（2）：273?276.
[7] 高程程，惠晓威.基于灰度共生矩阵的纹理特征提取[J].计算机系统应用，2010，19（6）：29?32.
[8] 苑丽红，付丽，杨勇，等.灰度共生矩阵提取纹理特征的实验结果分析[J].计算机应用，2009，29（4）：1018?1021.
[9] 何敏，王培培，蒋慧慧.基于SVM和纹理的煤和煤矸石自动识别[J].计算机工程与设计，2012，33（3）：1118?1121.
[10] 谢赛琴，沈福明，邱雪娜.基于支持向量机的人脸识别方法[J].计算机工程，2009，35（16）：186?188.
