基于图像分割与轨迹追踪的室内饰面施工进度智能评估方法

卢昱杰，仲涛，魏伟，陈隽; LU Yujie; ZHONG Tao; WEI Wei; CHEN Jun

网刊加载中。。。

使用Chrome浏览器效果最佳，继续浏览，你可能不会看到最佳的展示效果，

确定继续浏览么?

复制成功，请在其他浏览器进行阅读

基于图像分割与轨迹追踪的室内饰面施工进度智能评估方法 PDF

- ORCID：
卢昱杰 ^1,2,3
✉
- ORCID：
仲涛 ¹
- ORCID：
魏伟 ¹
✉
- ORCID：
陈隽 ¹

1. 同济大学，土木工程学院，上海 200092； 2. 同济大学，工程结构性能演化与控制教育部重点实验室，上海 200092； 3. 同济大学，上海智能科学与技术研究院，上海 200092

中图分类号： TU767； TU17

最近更新：2023-11-28

DOI：10.11835/j.issn.2096-6717.2022.076

摘要

施工进度是工程项目管理的关键组成部分，传统的进度管理多依靠人工巡检，耗时费力且无法保障进度评估的时效性。为了实现施工进度的自动化、高效化监管，针对室内施工湿作业铺贴场景，提出一套智能化进度追踪与评估框架，基于改进的Mask R-CNN深度学习框架，自动提取室内墙面和地面的瓷砖铺贴进度，基于相机轨迹追踪算法，将整个施工层的大范围施工进度识别结果映射至BIM可视化模型，为施工数字孪生奠定基础。在上海市某高层建筑项目中进行实例研究，实现了施工图像的高精度分割，验证了研究框架的可行性。该框架不仅适用于室内瓷砖铺贴，也适用于抹灰、刷涂等室内装修工程。

关键词

建筑信息模型; 计算机视觉; 室内施工; 施工进度; 图像分割; 轨迹追踪

工程项目的进度监控有助于项目管理人员及时发现并校正进度偏差，直接影响项目的成本和经济效益^[

1-2]。传统的进度监控方式多为人工巡检与填表，耗费大量工作时间，且无法保障进度评估的时效性，难以满足现阶段工程项目高效管理的需求。室内施工流程繁杂，工序间关联性强，每一道工序的施工进程都将直接影响总体进度。此外，室内环境存在构件堆积、视线遮挡等问题，需要花费更多的时间和人力用于进度管理。将AI技术应用于室内进度监控，可以非人工监督方式实时获取进度信息，并动态更新与集成至BIM模型，为施工数字孪生奠定基础。同时，还可通过动态测量施工量用于效率计算，满足日益重要的施工精细化管理要求，对提升进度管理效率意义重大^{[参考文献 3

百度学术}3]。室内施工包含多道工序，瓷砖铺贴以腻子、抹灰施工为基础，对施工技术要求很高，最后一道工序的施工进程对总进度监控影响重大。因此，笔者以瓷砖铺贴为例针对室内施工的智能化监控展开研究。

目前，施工进度自动化监控方式主要包括3种方式：1）基于传感器布设的进度管理；2）基于点云三维重建的进度管理；3）基于图像处理与分析的进度管理。第1种方式通过绑定施工构件与相应的二维码或RFID标签实现构件级别的进度追踪，大大降低了进度管理人员的工作量^[

4-5]。但在室内环境中构件数量种类繁多，人为设置标签较为耗时且存在丢失、遗漏的风险。第2种方式则是通过倾斜摄影或激光扫描等方式重建现场的三维模型，并从三维模型中获取更直观更丰富的场景信息^{[参考文献 6-7}6-7]，但由于室内场景复杂、多遮挡的特点，点云数据获取不便，且处理过程耗时过长，对于室内进度监控而言时效性过差。相比之下，近年来，基于计算机视觉(CV)^{[参考文献 8-9}8-9]的施工进度监控方法得到广泛应用，其数据获取便利、信息处理速度快等^{[参考文献 10

百度学术}10]，能够从图像中快速提取丰富的室内场景信息，时效性强且应用成本较低，将其应用于室内进度监控具有独特优势。现阶段基于计算机视觉的室内施工进度监控方法主要包括定性评价和定量计算两种，定性进度评价主要是通过提取图像中对象的材料、纹理等特征^{[参考文献 11-13}11-13]或通过检测工人活动^{[参考文献 14-15}14-15]来推断施工所处阶段；定量进度计算则主要通过计算施工完成面积等方式确定进度完成比例^{[参考文献 12

百度学术}12]。例如Deng等^{[参考文献 16

百度学术}16]通过边缘检测的方法确定地面已铺贴瓷砖部分的边界线，并通过提前标定的方式校正图片从而准确计算出瓷砖铺贴面积与进度。

然而，现阶段基于图像识别的室内进度定量化计算方法仅能通过安装固定摄像头监控有限区域的施工进度^[

17]，无法通过一套设备实现整个施工层的大范围施工进度监控，且无法同时获取墙面和地面在内的整体铺贴进度。笔者以室内瓷砖铺贴场景为例，提出了一套室内连续空间施工进度智能评估框架，该框架基于语义分割与图像轨迹追踪算法自动获取墙面和地面的整体铺贴进度，最终在BIM模型中实现进度信息集成与可视化。

1 室内施工进度自动化识别框架

1.1 整体框架

室内连续空间施工进度智能评估框架（如图1所示）主要分为3个步骤：1）图像预处理，即对获取的墙面与地面的图像进行自动畸变校正；2）图像分割与进度计算，即基于改进的Mask R-CNN算法获取已铺贴与未铺贴部分面积，并计算进度完成百分比；3）进度映射与可视化，将上述获取的进度结果映射至BIM模型，实现进度可视化。

图1 技术路线

Fig. 1 Overall framework

1.2 数据预处理

实际墙面和地面多为矩形平面，但由于拍摄角度及镜头畸变等因素影响，相机拍摄的图片存在透视畸变，造成图像处理和进度计算误差。因此，基于Canny算子与Hough变换提出一种图像校正方法，自动消除图像畸变。

该方法主要分为3个步骤：1）直线检测。基于Canny算子和Hough变换算法得到图像中的特征边缘直线，如图2(b)所示。2）直线筛选与角点计算。以水平线为0°，先根据特征直线的角度将其分为近似竖直线（角度为60°~120°）与近似水平线（角度为-30°~30°）；取整幅图像4条边界线的中点，分别计算近似竖直线与左右边中点的距离以及近似水平线与上下边中点的距离，此时，距4边中点最近的4条直线即为地面（或墙面）的边界线，其余直线均是边界线内部的特征线；最后，求出边界线的交点作为角点，如图2（c）所示。3）图像畸变校正。第1步，获得校正后图像的角点坐标，即首先设定图2（c）中左上角点的校正后坐标为(0,0)，由于校正后地面（墙面）为矩形，将矩形的长（l）设定为原图中四边形上下两条边长度的平均值，宽(w)为四边形左右两条边长度的平均值，即可得到右上、左下、右下角点的校正后坐标为(l,0)、(0,w)、(l,w)；第2步，基于上述得到的4组对应角点坐标，由RANSAC算法获取图像变换的参数矩阵F，从而将变形图像校正为正视图像。需要明确的是：针对地面面积过大，相机视野覆盖不全的情况，算法在地面中间位置选定某一参照点，将其划分为两个矩形独立拍摄，最终合并计算施工进度。

图2 图像畸变校正算法

Fig. 2 Image distortion correction algorithm

注：图（a）为原始图像，图（b）中绿色直线表示直线检测结果，图（c）中黄色直线为判断得到的边界线，红色点为角点，图（d）为校正图像

1.3 图像分割与进度获取

在研究场景中，存在3类主要对象，即瓷砖、混凝土（墙面未铺贴瓷砖部分所用材料）、砂浆（地面未铺贴瓷砖部分所用材料）。应用图像分割算法对3类识别对象进行分割，通过掩码计算来获取瓷砖铺贴进度。常用的分割算法包括DeepMask^[

18]、YOLACT^{[参考文献 19

百度学术}19]、Mask R-CNN^{[参考文献 20

百度学术}20]等。前两种算法并不适用于重叠对象的分割，相较之下，Mask R-CNN算法对有重叠、边界不明确的对象分割效果较好^{[参考文献 21

百度学术}21]。由于在研究场景中，地面上常有砂浆桶、锤子等物体遮挡、重叠，且瓷砖边界处常有散落的水泥砂浆使得边界不清晰，因此，选用Mask R-CNN算法对墙面及地面的图像进行实例分割。

Mask R-CNN算法由FPN (Feature Pyramid Networks)提取图像特征，并由RPN (Region Proposal Networks)结合图像特征提出多个RoI (Regions of Interest)。在此基础上，并行完成3个子任务，即区域分类、边界框回归和像素分割，分别得到实例的类别、准确的边界框及掩码，最终由不同颜色的掩码表征不同的实例对象（如图3所示）。同时，此算法创新性地提出ROI Align连接层，应用线性插值法来减少前向传播过程中的误差，并根据式（1）来进行反向传播，提高了掩码预测的准确性。

图3 Mask R-CNN网络结构

Fig. 3 Mask R-CNN structure

\frac{\partial L}{\partial x_{i}} = \sum_{r} \sum_{j} (1 - Δ h) (1 - Δ w) \frac{\partial L}{\partial y_{r j}}

（1）

式中：L为损失函数； $x_{i}$ 为在ROI Align计算前的原特征图上的像素点； $y_{r j}$ 为经ROI Align计算后第r个候选区域的第j个点，与 $y_{r j}$ 对应的在原特征图上的点记为 $x_{r j}$ ； $Δ h$ 和 $Δ w$ 为 $x_{i}$ 与 $x_{r j}$ 横纵坐标的差值。当 $x_{r j}$ 与 $x_{i}$ 在原特征图上的欧式距离小于1， $y_{r j}$ 的误差将会反向传播给 $x_{i}$ 。

基于图像分割的结果，通过掩码计算来获得施工进度百分比（如式（2）所示），每面墙或每块地面的瓷砖铺贴进度百分比为“已完成铺贴的瓷砖面积/墙面或地面面积”。在获取到每面墙的施工进度后，可通过“某施工层已完成铺贴的瓷砖总面积/某施工层墙面或地面面积”来计算某施工层墙面或地面的进度完成百分比。

\begin{array}{l} P = \frac{\sum_{i} S_{i}^{瓷砖}}{\sum_{i} S_{i}^{总}} = \frac{\sum_{i} p_{i}^{瓷砖}}{\sum_{i} p_{i}^{总}} = \\ \frac{\sum_{i} p_{i}^{瓷砖}}{\sum_{i} p_{i}^{瓷砖} + \sum_{i} p_{i}^{混凝 土 (砂浆)}} \end{array}

（2）

式中：P表示整施工层的瓷砖铺贴进度;i为施工层内房间序号；S为实际面积；p为像素数（像素面积）；右上角标表示对象类别。

1.4 轨迹追踪与BIM映射

依照图4所示步骤确定拍摄对象和对应的BIM模型构件之间的映射关系，从而将施工进度结果集成至BIM模型：1）相机轨迹追踪。将相机的拍摄路径起点设定为BIM模型的原点坐标，手持相机持续拍摄墙面与地面。在此过程中基于Positional tracking算法（PT算法）来自动提取相机在移动路径上的坐标信息(x₁,y₁,z₁)与角度信息(α,β,θ)；2）区分墙面与地面对象。根据俯仰角β的大小来区分拍摄对象为墙面还是地面，当 $- 30 ° \leq β \leq 90 °$ 时表示相机平视，拍摄墙面；当 $- 90 ° \leq β \leq - 30 °$ 时表示相机完全俯视，拍摄地面；3）二维图片的三维模型映射。当拍摄墙面对象时，采用俯视平面坐标系，墙构件端点坐标和构件ID可在BIM模型中通过Revit API获取。根据已知的相机平面坐标(x₁,y₁)与水平角θ能够得到准确的平面视线方程，并求出该方程与墙线方程的交点。距离相机位置最近的交点所在的墙即为相机拍摄的构件，同时可以确定该构件在BIM模型中的ID。当拍摄地面对象时，采用空间坐标系，由已知的相机坐标(x₁,y₁,z₁)与角度信息(α,β,θ)等参数可以得到准确的空间视线方程，此视线将与地面相交并可求得交点坐标，由于在BIM模型中每个房间地面的边界信息和ID已知（通过Revit API获取），因此，交点所在的构件即为相机所拍摄的地面，同时可以确定其在BIM模型中的ID。

图4 数据集成与进度更新

Fig. 4 Data integration and progress update

在获得所拍摄对象的施工进度和构件ID后，应用Revit API插件在BIM模型中通过构件ID进行遍历，找到唯一的墙面或地面构件并导入进度信息。在构件的属性栏中将自动显示进度完成百分比，同时在三维视图中将根据构件进度情况给构件外观赋予不同颜色进行区分。

2 Mask R-CNN算法改进与提升

在深度神经网络算法中，超参数和损失函数是影响算法效果的两个重要因素，其中，超参数直接影响算法的训练收敛过程，对模型性能有直接影响，而损失函数则决定了模型优化的方向，因为优化目标就是减小损失。因此，为提升模型分割精度，本研究针对本场景下数据特征单一、类别不平衡的特点从超参数优化和损失函数优化这两方面对Mask R-CNN算法进行了如下改进与提升，如图5所示。

图5 算法改进试验流程图

Fig. 5 Flow chart of algorithm improvement

2.1 超参数优化

由于数据集的数据量不足、特征单一，在未经超参优化的情况下易发生难以收敛或过拟合问题，因此，对于算法的收敛性能要求更高。分割算法常见的超参优化器包括SGD、Adagrad和Adam等。Mask R-CNN默认采用SGD优化器，其在数据特征单一的情况下易使得参数收敛到近似的局部极小值^[

22]且收敛速度偏慢，使得模型难以得到有效更新。Adagrad优化器相较于SGD优化器在参数空间平缓的方向上梯度下降更快，不易在局部收敛，在众多小数据量的数据集上表现更优^{[参考文献 23

百度学术}23]，这恰好契合研究的需求。但Adagrad优化器可能使得学习率下降过快，训练后期无法更新。而相比于Adagrad优化器，Adam优化器采用更优的自适应步长的优化策略，在训练后期仍保持较好的更新效率，这大大提高了算法收敛的速度^{[参考文献 24

百度学术}24]。

因此，应用3种优化器分别进行试验，并以Mask R-CNN算法的默认参数实验为基准实验(baseline)，结果显示（见表1），Adagrad优化器在学习率为2.5×10^-4时，模型表现低于基准实验，原因为后期学习率过小，模型参数无法进一步更新，导致模型表现不佳。对于Adam优化器而言，在学习率为2.5×10^-3时，由于学习率过大，训练前期产生梯度爆炸现象，算法无法收敛；而在学习率为2.5×10^-4时，模型的收敛速度和收敛效果得到了良好平衡，最终在试验6中达到mAP₇₅为97.7%的分割精度，相较于基准提高了3.1%。

表1 Mask R-CNN算法提升效果

Table 1 The improvement of Mask R-CNN algorithm

试验类别	试验序号	试验内容	学习率	mAP₅₀		mAP₇₅
试验类别	试验序号	试验内容	学习率	值/%	δ/%	值/%	δ/%
优化器试验	1(baseline)	SGD 优化器	2.5×10^-3	97.9	0	94.6	0
	2	SGD 优化器	2.5×10^-4	97.0	-0.9	93.3	-1.3
	3	Adagrad 优化器	2.5×10^-3	97.6	-0.3	83.3	-11
	4	Adagrad 优化器	2.5×10^-4	97.5	-0.4	94.4	-0.2
	5	Adam 优化器	2.5×10^-3	N.a.	N.a.	N.a.	N.a.
	6	Adam 优化器	2.5×10^-4	99.4	1.5	97.7	3.1
损失函数试验	7	Adam+IoU losses	2.5×10^-4	88.2	-9.7	54.3	-40.3
损失函数试验	8	Adam+Dice loss	2.5×10^-4	99.5	1.6	98.6	4

注： mAP₅₀、mAP₇₅分别表示IoU阈值为0.5、0.75时的平均准确率，其中，δ表示相较于基准实验的提高（或降低）的数值。

2.2 损失函数优化

Mask R-CNN算法的损失函数由3部分组成，即分类任务的损失值Loss_cls、边界框回归任务的损失值Loss_bbox、掩码分割任务的损失值Loss_mask。由于研究通过掩码计算得到具体铺贴进度，掩码分割任务的损失函数形式是影响分割精度和进度计算的关键因素。当前实例分割任务中，常用的损失函数形式包括CE Loss（如式（3））、IoU Loss（如式（4））、Dice Loss（如式（5））等。

C E L o s s = - \frac{1}{N} \sum_{i = 1}^{N} \sum_{j = 1}^{m} (y_{i j} l n ({\hat{y}}_{i j}))

（3）

式中：N为图像中像素数；m为图像中的预测类别数； $y_{i j}$ 、 ${\hat{y}}_{i j}$ 分别为第i个像素属于第j个类别的真实值和预测概率。

I o U L o s s = - \frac{1}{N} \sum_{i = 1}^{N} \frac{\sum_{j = 1}^{m} y_{i j} \cdot {\hat{y}}_{i j}}{\sum_{j = 1}^{m} (y_{i j} + {\hat{y}}_{i j} - y_{i j} \cdot {\hat{y}}_{i j})}

（4）

D i c e L o s s = \frac{1}{N} \sum_{i = 1}^{N} (1 - \frac{2 \sum_{j = 1}^{m} y_{i j} \cdot {\hat{y}}_{i j}}{\sum_{j = 1}^{m} ({y_{i j}}^{2} + {\hat{y}}_{i j}^{2})})

（5）

Mask R-CNN 默认采用CE Loss作为损失函数，其平等考虑每个像素点的分割效果^[

25]，适用于识别对象尺寸适中，且不同类别大小一致的情况。而研究数据集中瓷砖占整张图片的像素比例较大，相比于瓷砖的像素点总数，边界处像素点数量过少，对损失函数的影响过小，容易导致边界分割精度降低。同时，相对于瓷砖，混凝土（砂浆）占整张图片的像素比较小，存在类别不平衡的问题，影响整体分割精度。IoU Loss充分考虑到预测掩码和真实掩码间的重叠度，放大了对象边缘像素点的影响，理论上将使得边界回归更准确^{[参考文献 26

百度学术}26]。Dice Loss除考虑重叠度外，更进一步针对类别不平衡问题，加强了对图片数量少的困难样本（研究中为混凝土与砂浆）的惩罚力度，使得算法更侧重于对困难样本的训练，从而使得整体精度得以平衡与提升^{[参考文献 27

百度学术}27]。

因此，分别采用IoU Loss和Dice Loss进行试验（如表1所示），然而试验7模型表现不佳，原因为在训练前期预测边界框准确度低，与真实标签的重叠较小甚至无重叠，这使得模型参数无法更新^[

26]。试验8的mAP₇₅达到了98.6%，相较于基准模型提升了4%，取得最高精度。

3 案例研究与算法验证

3.1 案例介绍与数据收集

将上述自动化进度评估框架在上海闵行区浦江某建筑工地（如图6）进行了实地测试与应用。此项目为高层住宅项目，其中，12号楼为16层框架剪力墙结构，现场测试时9~16层正处于瓷砖铺贴阶段，因此，对12号楼第10层整层的瓷砖铺贴进度进行了评估。

（a）工地现场实景图

（b）项目BIM模型

图6 工地现场实景图与BIM模型

Fig. 6 Construction site and BIM model

采用的硬件设备为Zed 2双目深度传感相机（如图7），相较于市面上其余深度相机，该相机的精度较高且支持算法的二次开发。此相机感光尺寸为175 mm×30 mm×33 mm (6.89"×1.18"×1.3")，深度范围为0.2~20 m，景深场最大尺寸为110°(H)×70°(V)×120°(D)，契合数据收集的硬件需求。

图7 Zed 2相机及相关参数

Fig. 7 Zed 2 camera and related parameters

最终，收集到912张图像，均用labelme软件进行标注，并按照7:2:1比例将数据随机划分为训练集（638张）、验证集（184张）和测试集（90张）。

3.2 Mask R-CNN算法验证

采用一块RTX3090显卡进行训练，深度学习基本环境配置为cuda11.1+cudnn8.0+pytorch-gpu1.8.0+numpy1.21.0。Mask R-CNN算法应用了在MS-COCO数据集上预训练的Resnet-101做特征提取网络，基本参数设置如下：采用Adam优化器，恒定学习率为2.5e-4，batch size为4，共训练100epoch，其余设置均采用默认参数^[

20]。

Mask R-CNN算法应用效果如图8所示。其中，损失函数变化曲线和准确率变化曲线表征了模型的收敛效果与总体准确率，其中，在第3 000次迭代(iter)后，损失函数曲线波动趋于稳定，最终稳定在0.1左右，并且在验证集上的最终准确率达到了99.5%。同时，采用实例分割任务常用的评价指标mean Average Precision (mAP)来表征模型在各类别对象上的平均检测性能。在实例分割任务中，当实例预测掩码与其真实掩码的交并比IoU大于阈值时（0.5与0.75为图像分割常用的IoU阈值），认为该实例为正确样本，并以此计算整个测试集的精确度。最终模型在90张测试集的mAP₅₀、mAP₇₅分别达到99.5%、98.6%。

（a）损失函数变化曲线

（b）准确率变化曲线

图8 Mask R-CNN算法结果

Fig. 8 The results of Mask R-CNN algorithm

3.3 PT算法验证

通过设置校准点的方式来验证PT算法的准确度。如图9所示，测试者手持Zed 2相机从原点出发，依次经过3个校准点，并最终回到原点。此3个校准点在路径长度上均匀分布，且均位于门框中心或房间中心，因此，可获得其在BIM坐标系下的实际坐标。同时，基于PT算法求，3个点的预测坐标。通过计算实际坐标和预测坐标的相对距离，以及起点和终点坐标的相对距离，可知实时预测路径上平面坐标的最大偏差为60.82 mm。由于在室内场景下，目标对象即墙面和地面的长宽尺寸均大于3 m，最大平面坐标偏差仅占其2%，可忽略不计。

图9 PT算法效果验证

Fig. 9 Validation of PT algorithm

3.4 进度评估与BIM信息集成

基于室内连续空间施工进度智能评估框架，对12号楼第10层整层的瓷砖铺贴进度进行评估。

1）图像分割结果可视化

针对墙面、地面两类对象，表2展示了原始图像、畸变校正、图像分割、进度计算4个过程的可视化结果以及图像分割的真实标签（ground truth）。其中，两墙面的铺贴进度分别为69%、40%（铺贴施工中），两地面的铺贴进度分别为81%、30%（施工铺贴中）。

表2 铺贴进度评估可视化结果

Table 2 Visual results of paving progress assessment

类别	墙面		地面
拍摄方式
编号	墙面1	墙面2	地面1	地面2
原始图像
校正图像
图像分割
Ground truth
进度计算	69%	40%	81%	30%

2） BIM模型信息集成与可视化

该项目仅有卫生间的墙面和地面，厨房墙面与阳台地面需要瓷砖铺贴，经统计第10层共有27面墙和50块地面参与计算。应用提出的框架，该项目第10层墙面瓷砖铺贴总面积为360.47 m²，已完成铺贴面积为313.61 m²，整层施工进度为87%。地面瓷砖铺贴总面积为109.10 m²，已完成铺贴面积为80.73 m²，整层施工进度为74%。详细的构件属性及拍摄参数如表3所示。同时，在BIM模型通过颜色编码对第10层的瓷砖铺贴进行了可视化进度展示（如图10所示），其中，未施工、施工中、施工完的对象分别以绿、黄、红三色表示。同时，在构件属性栏中可以获取每个构件的进度完成信息。

表3 瓷砖铺贴进度计算示意表（以5面墙和5面地面为例）

Table 3 Table for calculation of tile laying progress (taking 5 walls and 5 floors as examples)

序号	类别	构件信息			拍摄参数墙面: (x,z,β,θ) 地面: (x,y,z,α,β,θ)	铺贴进度/%	铺贴面积/m²	各类铺贴进度/%	总铺贴进度/%
序号	类别	构件编号	需铺贴面积/m²	关键坐标点(x,z)	拍摄参数墙面: (x,z,β,θ) 地面: (x,y,z,α,β,θ)	铺贴进度/%	铺贴面积/m²	各类铺贴进度/%	总铺贴进度/%
1	墙面	1461110	5.945	(-0.20,-2,25),(-0.20,-0.20)	(-1.71,-1.56,0.07,4.17)	0	0.000	87	84
2		1461189	6.380	(1.50,-5.50),(3.70,-5.50)	(2.72,-6.64,0.17,3.04)	78	4.976
3		1461270	3.625	(3.70,-6.85),(3.70,-5.50)	(2.54,3.87,-0.14,4.75)	84	3.045
4		1461147	3.625	(9.00,-6.85),(9.00,-5.50)	(10.04,-6.20,0.10,1.55)	62	2.248
5		1461177	8.845	(-0.20,-13.20),(-3.25,-13.20)	(-1.58,-11.78,0.07,0.17)	100	8.845
6		...
1	地面	1460380	6.252	(-0.20,-2.25),(-3.25,-2.25),(-3.25,-0.20),(-0.20,-0.20)	(-2.06,1.41,-1.83,4.40,-1.17,3.51)	0	0.000	74
2		1460276	2.970	(3.70,-6.85),(1.50,-6.85), (1.50,-5.50),(3.70,-5.50)	(2.58,1.43,-6.47,4.68,-1.27,3.12)	12	0.356
3		1 60263	2.970	(11.20,-6.85),(9.00,-6.85),(9.00,-5.50),(11.20,-5.50)	(10.23,1.40,-6.38,4.63,-1.40,3.02)	89	2.643
4		1460167	6.252	(-0.20,-13.20),(-3.25,-13.20),(-3.25,-11.15),(-0.20,-11.15)	(-1.96,1.43,13.64,4.49,-1.31,6.02)	53	3.314
5		1460221	3.315	(-7.10,-12.60),(-8.40,-12.60),(-8.40,-10.05),(-7.10,-10.05)	(-7.52,1.47,11.34,5.06,-1.48,1.57)	100	3.315
6		...

（a）整层进度信息

（b）施工完构件

（d）未施工构件

（c）施工中构件

图10 BIM模型进度可视化结果

Fig. 10 Progress visualization in BIM model

4 结论

施工进度监控是工程项目管理的重要组成部分，传统的施工进度管理人为主观性强，自动化程度低。室内施工由于复杂的构件堆积和视线遮挡，其进度管理将耗费更多的时间和成本。以室内墙面地面瓷砖铺贴为例，提出一套室内连续空间施工进度智能评估框架。基于改进的Mask R-CNN算法自动获取施工进度百分比，并基于图像轨迹追踪算法将进度信息集成至BIM模型，为施工数字孪生奠定基础。该框架在上海某高层建筑项目中进行了实地测试与应用，实现图像高精度分割（mAP为98.6%），验证了框架的可行性。相对于现有的室内饰面施工进度评估框架^[

17]仅能通过安装固定摄像头监控相机所在房间的地面铺贴进度。该框架可通过一套可穿戴设备实现整个施工层的大范围施工进度监控，且同时获取墙面和地面在内的整体铺贴进度，在进度监控面积和应用范围方面得以拓展和提升。该框架不仅适用于室内瓷砖铺贴，针对抹灰、刷涂等室内装修工程同样具有普适性。本文具备如下两点创新性贡献：

1）提出了一套连续空间室内瓷砖铺贴进度自动化评估框架。通过图片畸变校正、瓷砖像素分割与掩码计算，自动获取量化的进度信息并更新集成到BIM模型。

2）提出了一种基于图像轨迹追踪技术的室内移动拍摄方法，用于自动区分与同步计算水平（地面）与竖向（墙面）瓷砖铺贴的进度，实现整个施工层的大范围施工进度监控。

研究仍存在以下局限性：

1）数据集包含瓷砖仅包含白色瓷砖，在未来工作中需要扩大数据集的瓷砖类别，并建立抹灰、刷涂等多类型施工工序数据集以提高框架的迁移性。

2）图像采集目前采用可穿戴设备巡检，未来可在综合考虑技术成熟度与成本问题的基础上，结合室内导航设备实现自动化更高的进度巡检。

参考文献

LI X, XU J, ZHANG Q. Research on construction schedule management based on BIM technology [J]. Procedia Engineering, 2017, 174: 657-667. [百度学术]

李勇. 施工进度BIM可靠性预测方法[J]. 土木建筑与环境工程, 2014, 36(4): 51-56. [百度学术]

LI Y. Analysis on predictive methods of BIM based on construction schedule reliability [J]. Journal of Civil, Architectural ＆ Environmental Engineering, 2014, 36(4): 51-56. (in Chinese) [百度学术]

KAYHANI N, ZHAO W D, MCCABE B, et al. Tag-based visual-inertial localization of unmanned aerial vehicles in indoor construction environments using an on-manifold extended Kalman filter [J]. Automation in Construction, 2022, 135: 104112. [百度学术]

SHAHI A, SAFA M, HAAS C T, et al. Data fusion process management for automated construction progress estimation [J]. Journal of Computing in Civil Engineering, 2015, 29(6): 04014098. [百度学术]

KIM C, KIM H, RYU J, et al. Ubiquitous sensor network for construction material monitoring [J]. Journal of Construction Engineering and Management, 2011, 137(2): 158-165. [百度学术]

GOLPARVAR-FARD M, PEÑA-MORA F, SAVARESE S. Automated progress monitoring using unordered daily construction photographs and IFC-based building information models [J]. Journal of Computing in Civil Engineering, 2015, 29(1): 04014025. [百度学术]

KIM S, KIM S, LEE D E. Sustainable application of hybrid point cloud and BIM method for tracking construction progress [J]. Sustainability, 2020, 12(10): 4106. [百度学术]

黄仁, 冯阿瑞. 基于Ncut的自适应图像分割方法[J]. 土木建筑与环境工程, 2013, 35(Sup2): 107-110. [百度学术]

HUANG R, FENG A R. Adaptive image segmentation method based on Ncut [J]. Journal of Civil, Architectural ＆ Environmental Engineering, 2013, 35(Sup2): 107-110. (in Chinese) [百度学术]

舒江鹏, 李俊, 马亥波, 等. 基于特征金字塔网络的超大尺寸图像裂缝识别检测方法[J]. 土木与环境工程学报(中英文), 2022, 44(3): 29-36. [百度学术]

SHU J P, LI J, MA H B, et al. Crack detection method based on feature pyramid network for super large-scale images [J]. Journal of Civil and Environmental Engineering, 2022, 44(3): 29-36. (in Chinese) [百度学术]

REJA V K, VARGHESE K, HA Q P. Computer vision-based construction progress monitoring [J]. Automation in Construction, 2022, 138: 104245. [百度学术]

MAHAMI H, GHASSEMI N, DARBANDY M T, et al. Material recognition for automated progress monitoring using deep learning methods [EB/OL]. 2020: arXiv: 2006.16344. https://arxiv.org/abs/2006.16344. [百度学术]

HUI L D, PARK M, BRILAKIS I. Automated brick counting for façade construction progress estimation [J]. Journal of Computing in Civil Engineering, 2015, 29(6): 04014091. [百度学术]

KROPP C, KOCH C, KÖNIG M. Drywall state detection in image data for automatic indoor progress monitoring [C]//2014 International Conference on Computing in Civil and Building Engineering. June 23-25, 2014, Orlando, Florida, USA. Reston, VA, USA: American Society of Civil Engineers, 2014: 347-354. [百度学术]

HAMLEDARI H, MCCABE B, DAVARI S. Automated computer vision-based detection of components of under-construction indoor partitions [J]. Automation in Construction, 2017, 74: 78-94. [百度学术]

ASADI K, HAN K. Real-time image-to-BIM registration using perspective alignment for automated construction monitoring [C]//Construction Research Congress 2018. April 2-4, 2018, New Orleans, Louisiana. Reston, VA, USA: American Society of Civil Engineers, 2018: 388-397. [百度学术]

DENG Y C, HAO H, HAN L, et al. Automatic indoor progress monitoring using BIM and computer vision[C]// 2017. [百度学术]

DENG H, HONG H, LUO D H, et al. Automatic indoor construction process monitoring for tiles based on BIM and computer vision [J]. Journal of Construction Engineering and Management, 2020, 146(1): 04019095. [百度学术]

PINHEIRO P O, COLLOBERT R, DOLLAR P. Learning to segment object candidates [EB/OL]. 2015: arXiv: 1506.06204. https://arxiv.org/abs/1506.06204. [百度学术]

BOLYA D, ZHOU C, XIAO F Y, et al. YOLACT: Real-time instance segmentation [C]//2019 IEEE/CVF International Conference on Computer Vision (ICCV). Seoul, Korea (South). IEEE, 2019: 9156-9165. [百度学术]

HE K M, GKIOXARI G, DOLLÁR P, et al. Mask R-CNN [C]//2017 IEEE International Conference on Computer Vision. Venice, Italy. IEEE, 2017: 2980-2988. [百度学术]

ZHANG Q H, CHANG X N, BIAN S B. Vehicle-damage-detection segmentation algorithm based on improved mask RCNN [J]. IEEE Access, 2020, 8: 6997-7004. [百度学术]

ALLEN-ZHU Z Y. Natasha 2: Faster non-convex optimization than SGD [C]// NIPS'18: Proceedings of the 32nd International Conference on Neural Information Processing Systems December 2018: 2680-2691 [百度学术]

LYDIA A, FRANCIS S. Adagrad-An optimizer for stochastic gradient descent [J]. International Journal of Information Security, 2019, 6(5): 566-568. [百度学术]

BOCK S, GOPPOLD J, WEIß M. An improvement of the convergence proof of the ADAM-Optimizer [EB/OL]. 2018: arXiv: 1804.10587. https://arxiv.org/abs/1804.10587. [百度学术]

POLAT G, ERGENC I, KANI H T, et al. Class distance weighted cross-entropy loss for ulcerative colitis severity estimation [EB/OL]. 2022: arXiv: 2202.05167. https://arxiv.org/abs/2202.05167. [百度学术]

ZHENG Z H, WANG P, LIU W, et al. Distance-IoU loss: Faster and better learning for bounding box regression [J]. Proceedings of the AAAI Conference on Artificial Intelligence, 2020, 34(7): 12993-13000. [百度学术]

MILLETARI F, NAVAB N, AHMADI S A. V-net: Fully convolutional neural networks for volumetric medical image segmentation [C]//2016 Fourth International Conference on 3D Vision (3DV). Stanford, CA, USA. IEEE, 2016: 565-571. [百度学术]