周 江
（上海师范大学天华学院，上海201815）
0 引 言
室内场景的三维布局规划是计算机视觉领域的重点研究内容之一，是移动机器人自主导航、未知环境模型重构的重要组成部分。室内环境三维布局有着很强的应用背景，如虚拟办公室三维布局规划、博物馆三维布局规划、洞窟场景三维布局规划等已经被广泛被应用到远程办公、教育和旅游等行业中。室内场景中的主要结构通常具有一定的规律，如地面、墙壁、桌面、家具表面等都是平面，因而针对室内场景的三维布局，已有不少研究的涌现，它们利用场景的特性，对深度图进行平面检测，在检图过程中就能够得到室内场景的集合语义，以对室内场景几何结构快速解析。然而，快速的三维场景建模较难，很多专业人员采用传统的三维建模软件，对三维场景进行规划、建模等工作。这种方法在布局过程中耗费时间较长，布局效率低下，并且场景设计构思、场景布置等都需要一定的专业知识。传统的布局模型多采用基于Scene-SIRFS算法的室内场景三维布局规划模型提取未知环境的物体信息。该方法主要是从混有地面和周边环境信息的三维点云数据获取数据信息，采用VR感知未知环境，对物体与物体分割，然而这种方式受到遮挡边缘与折皱类凸起边缘等的影响，提取到的物体几何信息并不准确。
基于上述分析，设计一种基于RGB-D图像的室内场景三维布局规划模型，RGB-D摄像机除了能提供彩色图像，还能够提供图像像素点对应的深度信息。该图像可弥补利用双目相机做场景三维重建运算量大、实时性差的缺陷。
1 基于RGB-D图像的室内场景图像平面检测
RGB-D图像在光照变化和复杂背景等场景下几乎没有变化，但是图像在拍摄时受到环境噪声与设备噪声的影响，并不能将空间中的每个点深度进行编码。因此对RGB-D图像平面进行检测，分割点云，移除图像边界点[1]。为提高分割的合理性，移除以下类型的点：
1）边界点。在图像像素中的一个邻域内，利用局部法线一致性判断边界点，主要包括物体边缘、高曲率边缘、被遮挡的场景边界。
2）数据缺失的点[2]。在获取场景数据时，存在部分未被感知的区域，从而出现数据缺失现象。
依据上述定义，在每个像素的一个邻域内对边界区域进行排除，计算公式为：
上述公式中得到的结果若为0，则代表靠近边界，否则为1。
根据每个图像像素与其在二维平面[3]上相邻的像素的对应点的夹角与其在平面上的方法差值做比较，发现在这一过程中，存在一定的噪声。因此增加对色彩信息的相似性判断，以去除噪声，计算公式如下：
依据上述计算，每个像素点得到一个4个值的掩码，其中，“0”代表与相邻像素的相似性较低；“1”代表与上一位像素相似；“2”代表与左侧的像素具有一定的相似性；“3”代表与周围像素都相似。以此根据上述分析得到当前帧的相似图。
在得到上述平面信息的基础上，对图像碎片[4]进行合并，由于在相邻位置上的图像像素与空间位置上的图像位置也相邻，因此，对空间位置相邻的平面碎片进行合并，其计算公式为：
式中：K为平面碎片合并参数；a(u,ui)为二维像素平面上对应的坐标像素点；A为图像排列关系。
从一个方向比较合并，对平面点云集合减去图像中的中心点，计算平面对应的曲率：
式中：P为曲面率判定阈值；η为平面参数中的基；j为平面参数中的法向量。
根据上述计算得到同一个物理面中的多个空间子面[5]，为室内场景三维布局规划提供参考依据。
2 基于RGB-D图像的室内场景特征点匹配
提取上述计算得到的同一个物理面中的多个空间子面中的特征点，为避免RGB-D图像特征点匹配时出现误匹配现象[6]采用深度信息与局部近邻特征点约束[7]的方式对RGB-D图像的室内场景特征点进行匹配。该方法采用两个假设条件：
假设1：在第K帧图像中，特征点与图像中临近特征点在对应的第K+1帧图像中的点依然为临近特征点；
假设2：相邻图像的特征点匹配对应的深度值相差较小。
针对两帧图像匹配的特征点，对应点对间的点到平距离与平面法向量的距离之和为：
式中：W代表旋转向量；t代表匹配点数量；r代表图像内点数。
当布局时，若图像发生平移[8]、旋转和噪声等情况，则将特征点与中心点的偏移量作为其计算的主方向。根据RGB-D图像中心点位置，定义RGB-D图像中心点与特征点之间的夹角，得到特征点描述子[9]。由于上述计算仅考虑了3个图像中的一种信息，所以出现的噪声较多，在噪声点生成之前需要对RGB-D图像平滑处理，去除RGB-D图像空间中的高斯噪声与随机噪声。在噪声点去除过程中，采用31×31像素的图像块，抑制噪声点去除过程中对图像噪声的敏感性，特征点采样方式如图1所示。
RGB-D图像特征点在匹配过程中，特征点与特征点之间的相关性较小，为此采用贪婪算法[10]挑选二进制测试集，方式如下：
1）建立训练集，建立30万个特征点训练集，以及与其对应的31×31图像块中所计算的所有可能性。消除图像重叠后，获得的组合数目达到205 590种，执行组合数目中所有可能的测试数据；
2）对测试集排序，并进行筛选，使上述组合数目中每个特征点都能得到一个特征向量。
图1 图像特征点采样方式
通过上述过程，从RGB-D图像块中获得与RGB-D图像块相关性最低的图像对，得到RGB-D图像的特征点。
3 室内场景三维布局规划模型构建
在上述RGB-D图像特征点提取完成的基础上，将室内场景三维布局规划分为实时定位[11]与场景构建问题作为重要的处理内容。室内场景三维布局规划模型流程如图2所示。
图2 布局估计模型流程
由于RGB-D图像序列在布局时对新的布局实例的布局预测并不是精确的结果，存在一定的布局冲突，如功能区域穿越墙壁和功能区域重叠[12]现象。因此在室内场景布局规划时，计算RGB-D图像中的遮挡类边缘，主要包括不穿墙、不重叠、不堵门等，约束条件设定为：
式中：a1，a2，a3分别代表穿墙约束、堵门约束与重叠约束代表布局信息的描述参数。
依据穿墙约束[13]，对布局过程中穿透到墙外的情况惩罚，重叠约束会导致区域内家具功能与居住者通行受到影响，因此通过上述约束条件进行约束。通行约束的目的是保证规划后的室内实际场景的通行路线畅通，保证门的区域不被其他物体遮挡。由于RGB-D图像[14]具有全局能力，对室内场景三维布局规划目标函数求解，其求解流程如图3所示。
图3 室内场景功能区域布局优化求解流程
依据上述过程，输出最优解，若输出的不是最优解，则继续进行寻优[15]，直到得到满意的结果，调整新解，主要是调整位置和角度来产生新的解，主要调整方式包括对某个对象进行移动、旋转、缩放与交换等。室内场景中的功能区域只是一组抽象的场景元素，布局好的功能区域配合具体的场景元素，才能够得到完整的室内场景。本文采用RGB-D图像描述室内场景中的功能区域的属性，主要包括家具功能类型、各个家具类比以及家具尺寸等。在实际室内场景布局中，在数据库中搜索与所需要的尺寸相似的家具，将其合理分配到室内场景中，形成完整的室内布局场景。
4 实验
为评估基于RGB-D图像的室内场景三维布局规划模型的应用性能，利用Matlab模拟室内场景，对算法进行仿真，测试其功能，并将此方法与传统的室内场景三维布局规划模型进行对比。
4.1 实验环境设置
从NYU室内场景库中抽取1张桌子图片对比2种模型的物体几何信息提取的准确度，输入的图像如图4所示。训练过程中，构造实验训练样本集，每个样本中包括布局属性类别标签、房间几何特征，布局属性类型标签是指属性值离散化后对应的类别；然后通过实验系统对实验布局场景中的布局属性分别统计。实验中采用Kinect1相机作为2种模型实验时的图像序列收集传感器，通过其自带的摄像机与深度传感器采集数据。软件开发环境，利用OpenCV、PCL开发包进行程序开发。
4.2 实验结果
传统室内场景三维布局规划模型与此次设计的模型实验结果如图5所示。
图4 实验图像
图5 图像结果比较
由图5可知，此次设计的基于RGB-D图像的室内场景三维布局规划模型在布局模型得到的图像，虽然受到遮挡边缘与折皱边缘的约束，但是所输出的图像中桌子保持平整，并且桌子棱角较为清晰，水池部分保持原有的样子；而传统的基于Scene-SIRFS算法的室内场景三维布局规划模型输出的图像，桌子边缘位置较为模糊，棱角不清晰。因此通过上述实验可以证明此次设计的模型可准确提取室内物体的三维几何信息，受物体遮挡类边缘、折皱类凸起边缘等影响较小，对原始图像的深度优化更加精确，并且模型复杂度低，满足设计需求。
5 结语
综上所述，此次所研究的模型取得了一定的成果，但是还存在一定的不足。在后续的研究中将在目前研究工作的基础上，将模型形变方法引入建模流程中，根据模型自有风格进行改变，从而得到与实际场景更加逼真的布局结果。
