摘要
在生产过程中,预制构件尺寸不合格问题将导致其在施工现场无法顺利安装,从而影响工期。为推进预制构件智能化生产的进程,以预制叠合板为例,基于卷积神经网络研究生产过程中的智能检测方法,在生产流水线上设计并安装图像采集系统,建立预制叠合板尺寸检测数据集。通过YOLOv5算法实现对混凝土底板、预埋PVC线盒及外伸钢筋的识别,并以固定磁盒作为基准参照物进行尺寸检测误差分析,实现混凝土底板尺寸、预埋PVC线盒坐标的检测,在降低训练数据集参数规模的工况下保持较高的识别精度。结果表明:该方法可以有效检测预制叠合板的底板数量和尺寸、预埋PVC线盒数量和坐标,并实现弯折方向不合格的外伸钢筋检测,并能降低人工成本,提高检测精度,加快检测速度,提高预制叠合板的出厂质量。
近年来,装配式建筑发展迅速,2016年中国新开工装配式建筑面积1.1×1
装配式建筑施工过程中,尺寸不合格的预制叠合板需返厂,不仅造成材料浪费、成本增加,还直接影响现场安装进
基于计算机视觉,有学者通过Canny边缘检测算子开展成品预制构件的尺寸检测研
笔者基于卷积神经网络算法,研究生产流水线上预制构件的数量及尺寸检测。以预制叠合板为例,进行混凝土底板数量和尺寸、预埋件数量和坐标,以及弯折方向不合格的外伸钢筋检测研究,并以固定磁盒作为基准参照物进行尺寸检测误差分析,实现非接触式预制叠合板多目标智能化检测,降低预制构件厂的人工成本,提高检测精度,加快检测速度。
目标检测技术发展较迅速,其主要目的是在图像中精确标定被检测物体的类别及位
借助智能化检测的手段,通过图像实现对生产线上所有预制叠合板的多目标检测,提高构件生产合格率。多目标检测内容包括:预制叠合板底板、预埋线盒及不合格外伸钢筋3类。通过设计预制叠合板多目标检测系统,并引入基准参照物,进行预制叠合板尺寸检测误差分析,实现在生产过程中检测混凝土底板数量和尺寸,预埋线盒数量和坐标,以及外伸钢筋的弯折方向,实现多目标智能化检测。预制叠合板多目标检测系统原理如

图1 预制叠合板多目标检测系统原理
Fig. 1 Principle of multi-target detection system for prefabricated laminated board
基于卷积神经网络的目标检测算法相比人工构造特征的传统目标检测算法,可以自动提取特征,具有泛化能力强、鲁棒性强的优点。常见的基于卷积神经网络的目标检测算法有两类,基于候选区域与基于回归的目标检测算
其中,YOLO系列作为兼顾检测速度与精度的目标检测算法,可以实现轻量化、多尺度的目标检测。YOLOv5作为该系列最新的目标检测算法模型,与上一版本相比,大幅提高了检测速度,在基准数据集下图像推理速度最快达到140fps(每秒处理140帧图像

图2 YOLOv5网络模型结构
Fig. 2 YOLOv5 network model structure
神经网络的输入图像经过Input、Backbone、Neck、Prediction 4个模块后得到预测锚框,锚框标示出待检测目标(预制叠合板底板、预埋PVC线盒及外伸钢筋)的类别及位置。
Input模块主要对输入的图像进行预处理,本研究中原始图像像素为5 472×3 648,预处理阶段通过letterbox方法对输入图像自适应添加最少的黑边,并将尺寸缩放为640×640,大幅减少计算量,提高检测速度。
Backbone模块通过Focus结构进行切片操作,将640×640×3的输入图像转换为320×320×12的特征图,并经过卷积操作得到320×320×64的特征图。随后通过CSP结构对权重参数的梯度变化情况进行传递。Neck模块部分通过上采样的方式,融合传输不同层次特征图的信息,并通过构造特征金字塔自上而下地提取强语义特征,将其传送至Prediction模块。Prediction模块作为算法网络的输出端,采用LGIoU作为预测锚框的损失函数,其数学表达式为
(1) |
式中:AC为预测锚框与真实锚框的最小外包面积,I为预测锚框与真实锚框的交集,U为预测锚框与真实锚框的并集,如

图3 交并比
Fig. 3 Intersection of union
LGIoU损失函数通过增强神经网络对于不同锚框相交尺度的判断方式,解决预测锚框与真实锚框不重合的优化问题,提高损失函数的收敛性能,提升模型的检测速度。
神经网络的训练过程中,当预测锚框与真实锚框的交并比大于规定阈值(通常取0.5)时,认为该检测结果是正样本,反之为负样本。训练结束后,通过统计检测结果的正、负样本数量,通过混淆矩阵计算精度与召回率,并将其作为判断训练效果的主要依据,混淆矩阵如
真实结果 预测结果 | 正样本 Positive | 负样本 Negative |
---|---|---|
正样本 Positive |
TP (True Positive) |
FP (False Positive) |
负样本 Negative |
FN (False Negative) |
TN (True Negative) |
精度P为判断检测准确率的依据,其数学表达式为
(2) |
式中:TP检测结果为正样本,同时,其真实的标签也为正样本,检测正确;FP检测结果为正样本,但是真实的标签为负样本,出现检测错误。
召回率R为判断查全率的依据,其数学表达式为
(3) |
式中:FN真实标签为正样本,但是检测结果为负样本,表示出现漏检。
在实际检测过程中,往往同时包含多类检测目标,因此,常采用平均精度PA作为全部检测目标在数据集上检测精度的判断依据,其数学表达式为
(4) |
式中:C代表测试集中的样本类别数;Pj为第j类目标检测过程中平均精确度,使用精度-召回率曲线的面积进行计算,等式右侧为其积分表达形式。
预制叠合板的出厂尺寸检查形式为人工钢尺抽查,内容包括混凝土底板尺寸、预埋件位置及外伸钢筋弯折方向。经抽样检查不合格的预制叠合板需销毁,并重新下料生产,造成人力物力的浪费。
借助卷积神经网络算法,通过图像实现对预制叠合板的非接触式尺寸检测,避免传统的接触式钢尺检测对生产流水线的影响。研究过程中,针对预制构件厂生产流水线的实际条件,设计图像采集系统。图像采集系统如

图4 图像采集系统
Fig. 4 Image acquisition system
图像采集系统设计过程中,为保证获取所需图像的全部特征信息,需计算工业相机拍摄高度。工业相机焦距计算公式为
(5) |
式中:焦距f为16 mm;D为工业相机至预制叠合板的距离;L、W为预制叠合板实际长度和宽度,最大为3 500、2 800 mm;l、w为工业相机感光元件的长度和宽度,分别为12.8、9.6 mm。为保证叠合板全部处于拍摄范围内,考虑预制叠合板放置方向的最不利情况,即预制叠合板长度方向沿感光元件的宽度方向放置,并在两侧各预留500 mm余量,预制叠合板距地面高度h为500 mm。由此计算工业相机拍摄高度H
(6) |
经调焦及拍摄测试,确定工业相机拍摄高度H为8 000 mm。采集得到518张预制叠合板图像,单张图像分辨率5 472×3 648,采集图片时,尽量保证每块叠合板位于图片中央位置,使得成像清晰无暗角。部分图像如

(a) PIC-0001

(b) PIC-0012
图5 预制叠合板原始图像
Fig. 5 Original images of prefabricated laminate board
为了增强神经网络的泛化能力,防止出现训练过拟合的现象,考虑对原始图像进行样本扩充。研究过程中通过Opencv组件对图像进行旋转、水平翻转、噪声扰动和颜色转换,以提高神经网络对不同方向、不同光线下预制叠合板图像的适应性,如

(a) 旋转

(b) 水平翻转

(c) 噪声扰动

(d) 颜色转换
图6 图像数据集样本扩充
Fig. 6 Sample expansion of image date set
由于外伸钢筋在竖向平面内进行弯折,若产生过大平面外弯折,则视为不合格外伸钢筋。为统一外伸钢筋平面外弯折的评价标准,通过BIM系列软件Autodesk Revit对预制叠合板进行建模,并使用Revit软件的图像渲染引擎模拟拍摄时的几何投影关系,如

(a) Revit建模
(b) 模拟拍摄图像

(c) 平面外弯折姿态评价标准
图7 外伸钢筋BIM模拟
Fig. 7 BIM simulation of overhanging steel bars
使用标注软件labelme对待检测目标进行标注,包括预制叠合板底板、预埋PVC线盒及不合格外伸钢筋,如

图8 待检测目标标注
Fig. 8 The label of the target to be detected
为了保证训练过程中数据分布的一致性,避免因数据划分引入偏差而对最终结果产生影响,将2 072张原始图片按照70%与30%的比例随机划分为训练集与测试集。其中训练集用于训练神经网络各层的权重参数,测试集用于测试训练结果的准确性。采用Ubuntu操作系统,Intel(R) Xeon(R) Gold 6142 @ 2.60 GHz CPU,Tesla V100-FHHL-16 G显卡进行训练。通过预训练进行超参数调整,以加快模型训练速度,最终选择训练批次大小为32,学习率0.001,最大迭代次数7 000次。
使用TensorBoard获得迭代训练日志,绘制训练过程中损失函数曲线如

(a) 损失函数曲线

(b) 平均精度曲线
图9 训练损失函数及精度曲线
Fig. 9 Loss function and average precision curve
迭代到1 000次后,损失函数开始呈现收敛趋势,迭代至7 000次时,损失函数曲线已不再明显波动,损失函数值稳定在0.13左右。预制叠合板底板平均精度稳定在99.10%,预埋线盒平均精度稳定在98.00%,弯折方向不合格的外伸钢筋平均精度稳定在87.20%。随着权重参数的迭代,损失函数与平均精度不再变化,保存神经网络训练过程中实际最优的权重参数。
使用最优权重参数对测试集图像进行测试,单张图像检测时间少于40 ms,且可以实现30 fps的视频检测,满足预制构件厂生产流水线检测的速度需求。图像检测结果如

(a) 单块板检测结果

(b) 多块板检测结果

(c) 预埋线盒检测结果

(d) 外伸钢筋检测结果
图10 多目标检测结果
Fig. 10 Multi-target detection results
固定磁盒在预制构件的生产过程中被用于固定模具,其型号尺寸统一,通用性强,是预制构件生产过程中的必要组件,如

(a) 磁盒尺寸

(b) 工作位置
图11 SX-1000B固定磁盒
Fig. 11 SX-1000B fixed magnetic box
使用Camera Measure作为测量工具,从不同的图像中选取100个靠近画面中央且无遮挡的固定磁盒,测量其长边尺寸,如

(a) MB-01

(b) MB-25

(c) MB-30

(d) MB-40
图12 Camera Measure测量过程
Fig. 12 Camera Measure measurement process
对测量结果绘制箱型图,如

图13 固定磁盒测量结果
Fig. 13 Fixed magnetic box measurement results
(7) |
式中:lr为固定磁盒标准长边的实际长度;lm为固定磁盒在图像中的平均像素长度。根据固定磁盒型号,其实际长度lr为200 mm,像素长度lm为226.487px。则转换系数D为0.883。通过选取固定磁盒作为基准参照物,实现图片尺寸到实际尺寸的检测误差分析。
利用Opencv模块加载预制叠合板检测网络,对图像进一步处理得到各检测目标的锚框尺寸及中心点坐标,信息提取过程如

图14 检测锚框信息提取过程
Fig. 14 Anchor frame information extraction process
将检测数据通过转换系数进行尺寸检测数据分析,得到最终的混凝土底板尺寸和预埋PVC线盒的坐标信息,并计算误差。其中,预制叠合板底板尺寸检测误差考虑长宽方向相对误差
(8) |
式中:L、W为长度及宽度方向的尺寸,为长度及宽度方向的绝对误差值。设定预制叠合板底板最左上角顶点为坐标原点,图像水平为x轴,竖向为y轴,预埋PVC线盒坐标检测误差为实际坐标至检测坐标的距离
(9) |
式中:为预埋线盒坐标的绝对误差值。随机选取100块预制叠合板底板,测量其实际尺寸,并按照

(a) 底板尺寸检测百分误差

(b) PVC线盒坐标检测误差
图15 叠合板检测误差结果
Fig. 15 Inspection error result of laminated board
通过预制叠合板混凝土底板尺寸及预埋线盒坐标检测误差分析,混凝土底板尺寸检测平均误差0.53%,最大误差0.68%;预埋PVC线盒坐标检测平均误差11.90 mm,最大误差15.61 mm。
结合预制构件厂的实际生产需求,通过YOLOv5目标检测算法,实现了基于卷积神经网络的预制叠合板多目标智能化检测。
1)在预制叠合板生产线上建立了预制构件多目标检测系统,可以在混凝土初凝前发现不合格预制叠合板构件,并及时进行处理,提高构件的合格率,避免二次生产造成的材料、人力浪费。
2)通过拍摄图像实现了多目标同时检测,单张图像即可完成混凝土底板数量及尺寸检测,预埋线盒数量及坐标检测,弯折方向不合格的外伸钢筋检测。检测速度快,单张图像检测时间少于40 ms,可以满足生产流水线实时检测需求。
3)以固定磁盒作为基准参照物进行检测误差分析,可以在降低训练数据集参数规模的工况下保持较高的识别精度。
4)混凝土底板、预埋PVC线盒、外伸钢筋等3种目标的识别精度上,对混凝土底板识别最精准。其中底板数量检测平均精度99.60%,尺寸检测平均误差0.53%;预埋PVC线盒数量检测平均精度97.20%,坐标检测平均误差11.90 mm;弯折方向不合格的外伸钢筋检测平均精度83.20%。
参考文献
中华人民共和国住房和城乡建设部. 住房和城乡建设部标准定额司关于2020年度全国装配式建筑发展情况的通报[EB/OL]. (2021-03-11)[2022-04-18]. https://www.mohurd.gov.cn/gongkai/fdzdgknr/tzgg/202103/20210312_249438.html. [百度学术]
Ministry of Housing and Urban-Rural Development of the People's Republic of China. Circular of the Standard and Quota Division of the Ministry of Housing and Urban-Rural Development on the Development of National Prefabricated Buildings in 2020 [EB/OL]. (2021-03-11)[2022-04-18].https://www.mohurd.gov.cn/gongkai/fdzdgknr/tzgg/202103/20210312_249438.html.(in Chinese) [百度学术]
徐照, 占鑫奎, 张星. BIM技术在装配式建筑预制构件生产阶段的应用[J]. 图学学报, 2018, 39(6): 1148-1155. [百度学术]
XU Z, ZHAN X K, ZHANG X. Application of BIM technology in the manufacturing stage of precast elements of prefabricated construction [J]. Journal of Graphics, 2018, 39(6): 1148-1155. (in Chinese) [百度学术]
周垚, 李希胜. 基于BIM的预制构件生产质量控制[J]. 建设科技, 2019(21): 61-64, 75. [百度学术]
ZHOU Y, LI X S. Roduction quality control of prefabricated components based on BIM [J]. Construction Science and Technology, 2019(21): 61-64, 75. (in Chinese) [百度学术]
CHEN Y, ZHANG Q, FENG J, et al. Experimental study on shear resistance of precast RC shear walls with novel bundled connections [J]. Journal of Earthquake and Tsunami, 2019, 13(3): 1940002. [百度学术]
GONG Y, FANG J, CHEN X H. Implementation of lean construction under the new-type building industrialization background in China [C]//International Conference on Construction and Real Estate Management 2016. September 29-October 1, 2016, Edmonton, Canada. Reston, VA, USA: American Society of Civil Engineers, 2016: 169-178. [百度学术]
黄炜, 罗斌, 李斌, 等. 不同构造形式绿色混凝土叠合板受弯性能试验[J]. 湖南大学学报(自然科学版), 2019, 46(7): 35-44. [百度学术]
HUANG W, LUO B, LI B, et al. Experiment on flexural behavior of green concrete composite slab with different structural forms [J]. Journal of Hunan University (Natural Sciences), 2019, 46(7): 35-44. (in Chinese) [百度学术]
YAO G, WANG M P, YANG Y, et al. Development and analysis of prefabricated concrete buildings in Chengdu, China [J]. International Journal of Sustainable Development and Planning, 2020, 15(3): 403-411. [百度学术]
赵秋萍. 装配式结构施工深化设计要点[J]. 施工技术, 2017, 46(4): 21-24. [百度学术]
ZHAO Q P. Key points of precast structure construction deep design [J]. Construction Technology, 2017, 46(4): 21-24. (in Chinese) [百度学术]
LIU J D, ZHANG Q L, WU J, et al. Dimensional accuracy and structural performance assessment of spatial structure components using 3D laser scanning [J]. Automation in Construction, 2018, 96: 324-336. [百度学术]
KIM M K, SOHN H, CHANG C C. Localization and quantification of concrete spalling defects using terrestrial laser scanning [J]. Journal of Computing in Civil Engineering, 2015, 29(6): 04014086. [百度学术]
SUN M S, XU A Q, LIU J. Line shape monitoring of longspan concrete-filled steel tube arches based on three-dimensional laser scanning [J]. International Journal of Robotics and Automation, 2021, 36(10): 1-13. [百度学术]
BARAZZETTI L, PREVITALI M, RONCORONI F. The use of terrestrial laser scanning techniques to evaluate industrial masonry chimney verticality [J]. The International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences, 2019, 42(2): 173-178. [百度学术]
杨阳, 李青泽, 姚刚. 预制叠合板构件智能化识别与检测方法[J]. 土木与环境工程学报(中英文), 2022, 44(1): 87-93. [百度学术]
YANG Y, LI Q Z, YAO G. Intelligent identification and detection method of prefabricated laminated slab [J]. Journal of Civil and Environmental Engineering, 2022, 44(1): 87-93. (in Chinese) [百度学术]
鲍跃全, 李惠. 人工智能时代的土木工程[J]. 土木工程学报, 2019, 52(5): 1-11. [百度学术]
BAO Y Q, LI H. Artificial intelligence for civil engineering [J]. China Civil Engineering Journal, 2019, 52(5): 1-11. (in Chinese) [百度学术]
AMEZQUITA-SANCHEZ J, VALTIERRA-RODRI-GUEZ M, ADELI H. Machine learning in structural engineering [J]. Scientia Iranica, 2020, 27(6): 2645-2656. [百度学术]
魏伏佳. 基于卷积神经网络的清水混凝土表面气泡检测与评价[D]. 重庆: 重庆大学, 2020. [百度学术]
WEI F J. Bughole detection and evaluation of fairfaced concrete surface based on convolutional neural network [D]. Chongqing: Chongqing University, 2020. (in Chinese) [百度学术]
熊朝阳, 王婷. 基于卷积神经网络的建筑构件图像识别[J]. 计算机科学, 2021, 48(Sup 1): 51-56. [百度学术]
XIONG Z Y, WANG T. Image recognition for building components based on convolutional neural network [J]. Computer Science, 2021, 48(Sup 1): 51-56. (in Chinese) [百度学术]
李良福, 马卫飞, 李丽, 等. 基于深度学习的桥梁裂缝检测算法研究[J]. 自动化学报, 2019, 45(9): 1727-1742. [百度学术]
LI L F, MA W F, LI L, et al. Research on detection algorithm for bridge cracks based on deep learning [J]. Acta Automatica Sinica, 2019, 45(9): 1727-1742. (in Chinese) [百度学术]
赵珊珊, 何宁. 基于卷积神经网络的路面裂缝检测[J]. 传感器与微系统, 2017, 36(11): 135-138. [百度学术]
ZHAO S S, HE N. Road surface crack detection based on CNN [J]. Transducer and Microsystem Technologies, 2017, 36(11): 135-138. (in Chinese) [百度学术]
WANG J J, LIU Y F, NIE X, et al. Deep convolutional neural networks for semantic segmentation of cracks [J]. Structural Control and Health Monitoring, 2022, 29(1): 1-18. [百度学术]
SUN Y J, YANG Y, YAO G, et al. Autonomous crack and bughole detection for concrete surface image based on deep learning [J]. IEEE Access, 2021, 9: 85709-85720. [百度学术]
FAN W Y, CHEN Y, LI J Q, et al. Machine learning applied to the design and inspection of reinforced concrete bridges: Resilient methods and emerging applications [J]. Structures, 2021, 33: 3954-3963. [百度学术]
黄健, 张钢. 深度卷积神经网络的目标检测算法综述[J]. 计算机工程与应用, 2020, 56(17): 12-23. [百度学术]
HUANG J, ZHANG G. Survey of object detection algorithms for deep convolutional neural networks [J]. Computer Engineering and Applications, 2020, 56(17): 12-23. (in Chinese) [百度学术]
王旭辰, 韩煜祺, 唐林波, 等. 基于深度学习的无人机载平台多目标检测和跟踪算法研究[J]. 信号处理, 2022, 38(1): 157-163. [百度学术]
WANG X C, HAN Y Q, TANG L B, et al. Multi target detection and tracking algorithm for UAV platform based on deep learning [J]. Journal of Signal Processing, 2022, 38(1): 157-163. (in Chinese) [百度学术]
LIANG F T, ZHOU Y, CHEN X, et al. Review of target detection technology based on deep learning [C]//CCEAI 2021: Proceedings of the 5th International Conference on Control Engineering and Artificial Intelligence. 2021: 132-135. [百度学术]
GIRSHICK R, DONAHUE J, DARRELL T, et al. Rich feature hierarchies for accurate object detection and semantic segmentation [C]//2014 IEEE Conference on Computer Vision and Pattern Recognition. June 23-28, 2014, Columbus, OH, USA. IEEE, 2014: 580-587. [百度学术]
HE K M, ZHANG X Y, REN S Q, et al. Spatial pyramid pooling in deep convolutional networks for visual recognition [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2015, 37(9): 1904-1916. [百度学术]
REDMON J, DIVVALA S, GIRSHICK R, et al. You only look once: Unified, real-time object detection [C]//2016 IEEE Conference on Computer Vision and Pattern Recognition. June 27-30, 2016, Las Vegas, NV, USA. IEEE, 2016: 779-788. [百度学术]
LIU W, ANGUELOV D, ERHAN D, et al. SSD: single shot MultiBox detector [EB/OL]. 2015: arXiv: 1512.02325. https://arxiv.org/abs/1512.02325 [百度学术]