北京物流信息联盟

新论文:基于BIM的单目相机室内定位技术

2022-07-28 11:54:10

【摘要】近年来,室内定位越来越受到人们的重视。本文独创性的提出一种基于BIM的单目相机室内定位方法。该方法利用单个固定安置在室内的单目相机获取现场图像,改进的角点识别算法被用于识别图像中的地面瓷砖角点,结合BIM提供的几何信息,完成图像像素坐标向室内地面实际坐标的转换,最终根据相机在BIM中的位置信息实现实际室内目标在BIM中的精确定位。

【关键词】室内定位;BIM;图像识别

 

1引言

人或物体三维位置信息的实时获取成为了近年来研究与应用的热点,实时定位技术不仅能够极大的方便人们的生活,促进交通、测绘领域技术进步[1],更是建筑业走向信息化的重要推手。施工人员与机械的三维位置信息在施工现场的管理中具有广阔的应用前景,包括进度管理、质量管理、安全管理及操作分析等[2]。

此前已有部分学者研究出了几种施工现场人或机械设备的定位与追踪方法。其中,J. Yang[3]等用训练好的分类器识别出了现场图像中的人与特定机械,并实现了动作追踪,该方法结合图像识别与模式识别在施工现场目标识别与追踪方面有良好的表现,但无法获得目标的位置信息。Y.Fang[4]等利用无人机搭载高清相机从空中各角度获取图像信息,生成点云模型,对实时拍摄的新图像以特征点匹配的方式得到目标物实时的位置信息,该方法虽实现了建筑场地内施工车辆的位置追踪,但无法适用于建筑物内部,且存在着无准确坐标信息,易受现场复杂环境干扰等缺陷。相比于室外,建筑物室内的环境更为复杂多变,单一的技术手段无法完成室内定位工作,经研究大量文献后,笔者认为,计算机视觉所具有的类似人眼的识别能力与BIM(建筑信息模型,BuildingInformationModeling)包含的海量建筑物有关几何、位置、材质信息相辅相成,因此,为解决上述问题,实现室内目标的实时定位,本文提出一种基于BIM的单目相机实时标定与定位方法。所谓单目相机,即是日常生活中常见的仅有单一镜头的图像拍摄设备,与之相对应的是具有双镜头的双目相机。基于双目标定的室内定位技术已取得了一定的发展,然而双目定位需保证双镜头匹配同一特征点,建筑室内环境复杂,光线多变,且目标物常受到局部遮挡,特征点匹配不易实现。本文以单目相机识别目标物,无须匹配特征点,有效的弥补了建筑室内双目定位的不足。

 

2室内定位技术研究现状及方案提出

2.1研究现状

GPS(全球定位系统,GlobalPositioningSystem)定位是如今最为常见的定位技术,它利用不同卫星与GPS接收装置之间的信号传递与几何关系计算接收装置的三维坐标信息,具有覆盖范围广、成本低廉、技术成熟等优点,然而民用的GPS定位精度仅为10m[5],且GPS信号易受建筑物干扰,无法满足室内定位的精度要求。RFID(射频识别技术,RadioFrequeneryIdentification)是一种可以通过无线电讯号识别特定目标并读写相关数据的无线通讯技术,Aaroncostin[6]等将BIM与RFID结合,将RFID标签预先植入目标设备,通过现场的RFID读取装置与BIM提供的读取器位置信息,成功实现了目标设备的定位与追踪并可视化。UWB(超宽带技术,UltraWide-Band)定位是另一种专门用于室内的高精度定位,这种技术需预先设置已知坐标信息的基站,用接收器读取目标物携带的标签计算相对位置,精度可达到厘米级。尽管基于RFID与UWB的定位技术在室内定位中都有良好的表现,但是它们都需依赖于预先植入到目标物中的标签,建筑物组成复杂,内部包含机械设备、器材众多,人员来往流动频繁,无标签的目标物无法被定位。此外,UWB因其超高的传输能力,基站信号覆盖半径仅为10m左右,且成本近1000元/m2 [7]。为解决上述问题,实现无标签的室内定位,Guo-Shing Huang[8]等利用一个装有两个摄像头的硬件设施同时获取图像信息,经RGB图像向HSV空间转换后,设置阈值生成二值化图像,识别出图像中的餐盘,并根据双目标定和立体成像原理计算出了餐盘边缘特征点的三维坐标。可以看出,这种基于双目标定与图像识别的方法能够实现对任意无标签目标物的定位,但是它同样非常依赖于特征点的成功匹配,而室内的复杂环境极易造成无法提取目标物特征点或特征点难以匹配的问题。

2.2方案提出

综上所述,为实现对无标签目标物的室内定位,且不受遮挡物影响,本文独创性的提出一种基于BIM的单目相机实时标定与定位方法。

相机标定是一个求解相机成像模型参数的过程,成像模型代表着空间物体中某点与图像中相应点的对应关系。相机标定时需预先获得几个像素点所对应的真实世界坐标及点之间的真实距离。BIM是设施物理和功能特性的数字表达,是一个共享的知识资源[9],它不仅仅是一个三维可视化的建筑几何模型,更是一个包含了建设项目进度、成本等所有语义信息的信息模型。由此可以看出,BIM在相机标定阶段恰好能够为相机标定提供其所需的几何信息,即特定点之间的真实距离;在相机标定完成后,BIM又能够为准确的室内定位提供必须的位置信息。基于上述理由,本文所提出的定位技术研究流程如下图1所示:

3方案详解

3.1相机标定

如上文所述,相机标定的作用是求得图像中点的像素坐标与现实场景中相应点的真实坐标之间的对应关系,这一对应关系可以用矩阵形式表示如下:

                 

其中:x、y分别表示图像中点的横、纵坐标;

      X、Y、Z分别表示点在现实场景中的真实坐标;

      M表示相机的内参,是一个3×3的矩阵;

      W表示相机的外参,是一个3×4的矩阵;

      R、T分别表示旋转矩阵和平移向量,R为3×3矩阵,T为3×1的向量;

      s为任意尺度比例;

由公式(1)可以看出,相机标定的过程实际上就是求解相机内参与外参的计算过程。值得一提的是,相机内参是相机本身所固有的一些参数(如,焦距、成像仪与光轴的交点同成像仪中心的偏移量等),并不随图像拍摄角度、清晰度等外部因素的影响而改变。若在已知相机内参的情况下,求解图像中点的像素坐标与真实坐标对应关系则转变为了求解相机的外参矩阵。相机外参是表示相机自身与世界坐标系位置关系的参数,包括旋转矩阵R与平移向量T,旋转矩阵代表着相机坐标系与世界坐标系的角度关系,平移向量代表着相机与目标点的空间距离关系。

如今单目相机标定多采用张正友于1998年提出的单平面棋盘格标定法[10]。这种标定法以具有已知固定大小方格的棋盘格平面为标定目标,通过识别多角度下各棋盘格角点推算出相机内参与各图像中的相机外参。在标定过程中,角点数与方格尺寸需预先输入,且棋盘格平面角点的行列排列方式也必须严格定义。该方法计算高效且标定精度高,然而对于本文所提出的定位需求,标定时总是需使用棋盘格标定板是不现实的,且棋盘格标定板尺寸相比于整个室内空间过于微小,不利于标定。经调查研究发现,建筑室内地面多铺设具有统一尺寸的正方形或矩形瓷砖,瓷砖接缝交点具有较为明显的角点特征,因此,本文首先在张正友标定法的理论基础上进行改进,利用建筑室内瓷砖特征角点实现无标定板标定。

3.2角点提取

如上文所提到的,相机标定的基础是标定目标物的正确识别,即角点的准确识别。现存基于张正友标定法的角点识别算法仅在识别如图2所示的黑白棋盘格角点时有良好的表现,对于一般室内地面角点无法正确识别。为了解决上述问题,本文编写了更具有通用性的室内地面瓷砖角点识别算法,算法流程如图3所示。

如图4(a),室内瓷砖在接缝处具有较为明显的直线特征,针对这一属性,本文首先利用直线检测算法提取图像中所有较长的直线段,如图4(b)所示,角点多存在于两条直线相交处,因此求解两线段交点的算法被用于上一步中提取出的所有直线段。不可避免的是,建筑现场图像受光照、杂物等影响,易产生对瓷砖角点提取有干扰的直线段与其余角点,另外正确识别的瓷砖角点因图像的拍摄角度问题无法保证同属于一块瓷砖,难以如棋盘格一样按固定的行列排列顺序。实际在标定时,标定点的真实纵坐标Z常常人为设置为0,结合式(1)可以看出,要保证求解外参的精确解只需要4个标定点。因此本文编写了用于筛选角点的算法寻找同属于一块瓷砖的四个角点,算法分为以下几个步骤:

(1)除去相距太近的杂点。循环选取每一个交点,以该点为圆心,20个像素为半径,去除该范围内的其余交点。此步骤是为了消除一些杂物和强光引起的局部无效交点。

(2)对剩下的点按横坐标从小到大排序,从第一个点开始,计算点i与点i+1的距离,将这些距离按一定区间间隔(本文案例以150个像素长度为区间)做统计直方图,找出数量最多的区间,取区间的上限作为阈值d。此步骤是为了找到瓷砖边长在图像中大致的值,并以此作为后一步的筛选指标。

(3)从第一个点开始循环:若点i与点i+1间的距离小于d且大于d/2,并且点i的纵坐标大于点i+1的纵坐标,计算点i与点i+2的距离,若仍小于d,则计算点i+2与点i+3的距离,若仍小于d,则选定四个点i、i+1、i+2、i+3;(整个过程有任何一步不满足,都跳到下一个点开始重新判断,一旦找到四个点,就跳出循环不再继续)。将这四个角点作为最终的标定点,如图4(c)所示。

3.3BIM信息获取

完成相机标定的一个重要环节是为目标标定点赋予预定义的真实坐标,在张正友标定法中,预定义真实坐标由人工根据已知棋盘格尺寸预先输入决定。本文在正确提取瓷砖四个角点的基础上,直接引用BIM模型所提供的几何信息,无需人工输入坐标。

BIM模型包含了整个建筑所有构件的几何、位置信息,在本文中,BIM模型将提供瓷砖的几何信息,即长和宽的数值,相机标定算法可自动读取瓷砖的长和宽,为有效标定点自动生成相应的真实三维坐标,这一过程解决了传统标定法必须人工预先输入棋盘格尺寸的繁琐,实现了整个标定流程的全自动化。标定完成后,图像中定位目标的三维真实坐标将由求解出来的坐标转换矩阵确定。需要注意的是,此时求解出来的三维坐标是以四个标定点建立的坐标系为参考的,为了获得目标物相对于整栋建筑的实际坐标,BIM模型还将提供相机所在位置的坐标信息,此时相机坐标以BIM模型自身坐标系为参考,经过简单的坐标变换,将得到定位目标点在BIM模型坐标系中的真实三维坐标,即实现目标准确定位。

 

4案例展示

本文将上述室内定位技术应用于一栋教学楼建筑中,该教学楼共六层,包含了会议室、实验室、教室、办公室等上百个子空间。现将一图像拍摄设备固定于4层一实验室内,相机内参事先已通过常规相机标定方法获得。

随机选取该相机拍摄的图像,如图5(a)所示,现以图中蓝色圆凳为定位目标验证算法可行性。首先经直线检测算法检测后发现,图像中一方面瓷砖接缝处直线数量过少,另一方面图像中其余位置出现了大量具有干扰性的无效直线。对比原图可以发现,出现这种现象主要有三种原因:(1)该图像因左侧光线过于强烈,使得左侧偏下的地面反光严重,产生了许多细碎的小直线段;(2)目标物自身结构具有直线特性;(3)该实验室地面瓷砖因施工质量不佳或时日较长,接缝处宽度不均匀,过小处在图像中显示的色彩较淡,不易形成直线特征。在此基础上检测出的直线段交点如图5(b)所示,可以看出,在具有干扰性的直线处都产生了非有效角点。然而经最后的角点筛选算法筛选后,结果如图5(c)所示,有效的四个角点依然被成功选定,这表明本文编写的有效标定点识别算法具有较好的抵抗室内光照变化与物体干扰的能力。



有效标定点提取完成后,从BIM模型中自动获取瓷砖的几何信息(瓷砖几何信息如图6所示),在本例中,瓷砖尺寸为39.5cm*39.5cm,则在以最左侧有效标定点为原点的坐标系中,四个有效点的初始实际坐标(单位:mm)相应为(0,0,0)、(0,395,0)、(395,0,0)和(395,395,0),其中因四个点都处在同一平面,Z轴方向坐标值统一设定为0,方便后续标定算法的运行,四点各自对应的像素坐标为(415,1945)、(1162,1375)、(1283,2401)和(1944、1648)。

根据已知的相机内参及有效标定点坐标信息,接下来本文利用计算机视觉开源库OpenCV中的外参求解函数得到了相机外参,从而获得了图像像素点与其对应真实点的坐标转换矩阵。现在为了对图中蓝色圆凳进行定位,即获取其真实三维坐标,本文以简单的算法选择三个凳脚围成三角形的形心作为定位点,定位点在图中的坐标为(2277,1137),位置如图7所示。由之前所得矩阵换算求得该定位点的真实三维坐标为(256.3,590.5,0),该坐标建立在以图5(c)中左下角为原点的基础上。为了实现目标物在整栋建筑中的定位,读取BIM模型中相机的位置信息,本例相机位于4层楼面上空75cm处,以整栋建筑左下角为原点,相机坐标为(4220,2377.5,11550),图5(c)中左下角圆点相对于相机的坐标为(-945,790,-750),由此,求得的目标物真实坐标为(3531.3,3758,10800)。求得的目标物坐标与人工现场实际测量结果对比情况见表1。

从表1中可以看出,本文提出的这种单目相机与BIM结合的室内定位方法具有较高的精度,且高度信息因BIM的介入,能够保证100%准确。但X和Y方向的误差仍然达到了10cm左右,经过分析,主要有两方面的原因:一方面是标定时选用有效标定点数目过少,求得的转换矩阵未必是最优的解;另一方面是目标定位点的选择本身具有较大的误差。

 

5结论与展望

5.1结论

本文在对比分析了GPS、UWB等定位技术后,针对它们在室内定位中的一些不足之处,创新性的提出了一种将单目相机标定与BIM相结合的室内定位方法,主要成果如下:

(1)提出利用室内瓷砖与BIM模型提供的几何信息进行相机标定,成功摆脱了常规标定方法所必须的棋盘格标定板;

(2)独创性的将直线检测算法与线段交点算法相结合,形成了全新的角点识别算法,并编写了角点筛选算法实现了有效标定角点的提取;

(3)利用BIM提供的相机位置信息,结合相机标定所得坐标转换关系,建立了完整的室内定位流程;

(4)该室内定位方法被应用于一栋六层教学楼的四层实验室内,很好的实现了图像中目标物的定位,BIM保证了Z方向坐标的100%准确,X、Y方向坐标的准确度也都达到了95%以上

5.2展望

本文所提出的这种室内定位方法也存在着一些不足,有待后续进一步研究改进。例如在第4部分末尾提到的目标定位点选择误差较大的问题,本文采用的是以圆凳三个脚所围成三角形形心作为定位点,然而圆凳每个脚在图中都包含了大量像素点,这影响了定位点的准确性;另外,因图像成像原理导致的圆凳自身变形也给定位点选择造成了困难。

参考文献

[1] 翟鸿雁. 物联网几种定位技术的分析比较[J].软件工程师,2014(10): 第32-34页.

[2]刘文平. 基于BIM与定位技术的施工事故预警机制研究[D].清华大学,2015.

[3] Yang, J., etal., Construction performance monitoring via still images, time-lapse photos,and video streams: Now, tomorrow, and the future[J]. Advanced EngineeringInformatics, 2015. 29(2): p. 211-224.

[4]Fang, Y., et al. A point cloud-vision hybrid approach for3D location tracking of mobile construction assets[J]. 2016. Auburn, AL, Unitedstates: International Association for Automation and Robotics in ConstructionI.A.A.R.C).

[5]杨杰,张凡. 高精度GPS差分定位技术比较研究[J].移动通信,2014(02): 第54-58+64页.

[6] Costin, A.M., J. Teizer and B. Schoner,RFID and bim-enabled worker location tracking to support real-time buildingprotocol control and data visualization[J]. Journal of Information Technologyin Construction, 2015. 20: p. 495-517.

[7] 张杰. 超宽带定位与其他无线定位技术比较[A].第22届全国煤矿自动化与信息化学术会议暨第4届中国煤矿信息化与自动化高层论坛2012[C]: 中国陕西西安.第4页.

[8]Huang, G. and W. Zhang. Recognizing andlocating of objects using binocular vision system[J]. 2013. Tainan, Taiwan:IEEE Computer Society.

[9]何清华等. BIM在国内外应用的现状及障碍研究[J].工程管理学报,2012(01): 第12-16页.

[10] Zhang Z. A Flexible New Technique for Camera Calibration[J].IEEE Transactions on Pattern Analysis & Machine Intelligence, 2000,22(11):1330-1334.


友情链接

Copyright © 2023 All Rights Reserved 版权所有 北京物流信息联盟