文章快速检索     高级检索
  重庆大学学报  2017, Vol. 40 Issue (9): 8-18  DOI: 10.11835/j.issn.1000-582X.2017.09.002 RIS(文献管理工具)
0

引用本文 

张睿, 童玉娟. 视频数据挖掘的非接触式桥梁振动监测[J]. 重庆大学学报, 2017, 40(9): 8-18. DOI: 10.11835/j.issn.1000-582X.2017.09.002.
ZHANG Rui, TONG Yujuan. Non-contact bridge vibration monitoring based on video data mining[J]. Journal of Chongqing University, 2017, 40(9): 8-18. DOI: 10.11835/j.issn.1000-582X.2017.09.002. .

基金项目

浙江省科技计划资助项目(2014C33011);浙江省自然科学基金资助(LY15F020042);国家自然科学基金资助(61502273);校级科研启动经费资助项目(BSYJ201415);校级科学研究基金项目(KY1303)

作者简介

张睿(1981-), 男, 浙江大学博士后, 主要从事计算机视觉与视频数据挖掘研究, (E-mail) ruiz@zju.edu.cn

文章历史

收稿日期: 2017-03-12
视频数据挖掘的非接触式桥梁振动监测
张睿1,2, 童玉娟2     
1. 浙江大学光电科学与工程学院, 现代光学仪器国家重点实验室, 杭州 310027;
2. 衢州学院机械工程学院, 浙江衢州 324000
摘要: 为克服传统桥梁监测技术施工难、成本高和观测点少等不足,利用视觉技术实现了非接触式桥梁振动状态监测。该方法包含视频数据采集、视频数据分析与结果可视化等3个环节。其中,视频数据分析环节又包含3个步骤:首先,对视频中的稳定像素点进行定位;然后,根据视频中稳定像素点的数值变化,由视频数据挖掘方法建立视频热噪声模型;最后,由视频热噪声模型计算出视频中桥梁各局部位置上的振动频率。实验结果表明,该方法可有效侦测到桥梁可见结构部件上出现的人眼不易察觉的微弱振动,并对桥梁不同局部位置上出现的振动频率进行同步定量测算,从而提供了一种便捷高效、成本合理、通用性好的桥梁结构健康监测新途径。
关键词: 桥梁健康监测    桥梁振动    视频数据挖掘    非接触式测量    
Non-contact bridge vibration monitoring based on video data mining
ZHANG Rui1,2 , TONG Yujuan2     
1. State Key Laboratory of Modern Optical Instrumentation, College of Optical Science and Engineering, Zhejiang University, Hangzhou 310027, P. R. China;
2. College of Mechanical Engineering, Quzhou University, Quzhou 324000, Zhejiang, P. R. China
Supported by Science and Technology Program of Zhejiang Province(2014C33011), Natural Science Foundation of Zhejinan Province(LY15F020042), National Natural Science of Foundation(61502273), and Research Foundation of Quzhou University(BSYJ201415, KY1303)
Abstract: To overcome the defects of traditional bridge health monitoring methods, visual technology is employed for non-contact bridge vibration monitoring. The method consists of video data acquisition, video data analysis and results visualization. And the viedo data analysis contains three steps. First, the stable pixels of a video are located. Then, a video thermal noise model is built via video data mining by tracking the variations of all stable pixels of the video. At last, the vibration frequency of each local position of the bridge in the video is calculated by the thermal noise model. The experimental results show that the method can effectively detect the imperceptible tiny vibrations in visible structure components of bridges, and it can measure the frequencies of vibrations in different local positions of bridges quantitatively and synchronously. Therefore, the method can provide a novel bridge structure health monitoring approach that is convenient, low-cost and universal.
Key Words: bridge health monitoring    bridge vibration    video data mining    non-contact measuring    

大型现代化桥梁在城市公路交通中发挥着不可替代的重要作用。由于桥梁通常建筑于远离地面的高空地理位置上,因此对其结构的可靠性与安全性要求远远高于普通的地面公路。长期的工程实践经验表明,各种类型的现代化桥梁在经受长时间的自然侵蚀与荷载效应后均会不可避免地出现不同程度的材料老化、结构疲劳和微破损,从而导致桥梁结构的系统性损伤累积和桥梁抗力衰减,从而加剧桥梁寿命衰减并产生多种安全隐患。此外,多种极端地质和气象灾害的出现还会大大增加桥梁发生结构突变的几率。因此,进行桥梁健康监测技术的研究对保障公路桥梁正常与安全运营具有重要意义[1-5]

现有桥梁结构健康监测技术按其工作方式可划分为接触式监测与非接触式监测2大类。接触式桥梁结构健康监测技术是指在桥体上直接安装各类接触式传感器,并将传感器的输出用有线或无线的传输方式传送给远端的中央监测系统,从而现实对桥梁结构数据的长时间记录,进而监测和分析桥梁结构在不同观测周期内的应变数据。通过对比分析特定时段的监测数据即可有效侦测到桥梁结构的异常应变情况,提前预测灾害性桥梁结构畸变,预防和减少重大交通事故的发生[6-11]。接触式桥梁结构健康监测技术的优点是测量准确、精度高,缺点是成本高、安装复杂、测量点少,且不宜布置于桥梁外观结构部件上。

相比而言,非接触式桥梁结构健康监测技术较为新颖,该技术的最大特点是无需在桥体上直接安装任何接触式传感器,而是通过远程观测的方式获取特定的桥梁结构应变参数,进而对桥梁结构的健康状况做出评测。非接触式桥梁结构健康监测技术的优点在于成本低、使用便捷和观测点选取灵活[12-16]。目前较为常用的激光式非接触式监测技术其精度高、实时性好,但是无法做到实时全局监测[17]

笔者提出了一种基于视频技术的新型非接触式桥梁结构健康监测技术。该方法通过数字相机拍摄一定距离范围处目标桥梁的影像视频,然后利用视频数据挖掘技术对桥梁结构状态进行侦测和分析,具有非接触、低成本、便捷高效,且可对桥梁整体进行实时全局监测等特点。

1 方法框架

提出的方法在具体实施上主要包含以下3个环节,其现实流程框图如图 1所示。

图 1 研究方法的现实流程 Figure 1 The process of the proposed method

第一个环节是生成待测桥梁结构的视频数据,本环节的主要工作是在远离桥梁的适当距离处架设固定视场的高分辨率监控摄像机。在布置摄像机时需要注意以下3方面问题。首先是必须为摄像机选择合适的观测角度,确保所要观测的桥体可视结构处于视场中的合理位置。其次是必须关闭摄像机的自动光圈、自动对焦以及自动增益等功能,所有感光参数由手动调整至合理值。最后,必须保证摄像机处于良好的静止状态,即不会发生抖动。在大多数情况下,由于桥梁区域周边通常存在较强的自然风,因此在架设上述摄像机时需要考虑使用硬件防抖装置。只有在满足上述各条件的前提下所拍摄的目标桥梁结构视频数据才能够用于下一环节。

第二个环节是对桥梁结构视频数据的分析处理,也是研究提出方法的核心算法部分。在本环节中,核心工作与主要技术手段是对第一个环节中所获取的视频数据进行数据挖掘。针对物体振动测量的具体应用,笔者设计了一套专用的视频数据挖掘算法,该算法可简单地概括为以下3个步骤:第一步是筛选出视频序列中的稳定像素点;第二步是基于上述视频稳定像素点计算出视频热噪声模型;第三步是基于上述视频热噪声模型估算出视频中桥梁各部位的振动状态。在最后一步中,计算出的桥梁各部位振动状态可进行定量分析,也可以根据可视化表达的需要进行定性化处理。

第三个环节是对桥梁结构监测结果的可视化表达。功能主要是将第二个环节中计算得到的桥梁结构健康监测数据,即桥梁各个结构位置上的振动状态数据进行有效的呈现。与传统接触式桥梁监测方法使用的有限点数局部定点监测技术不同,提出了一种无预设监测点的同步式桥梁结构全局监测法。本方法中,所有视场内可见的桥梁结构的振动数据都可同步计算获得。为高效且同步地显示所有数据,采用了全局可视化显示方案。

2 核心算法

对于固定视场的监控类视频而言,视频中的主要场景内容在较长的时间周期内是呈缓慢变化的。然而,视频中可能会出现若干个包含剧烈场景变化的窄时间窗口。更常见的情况是,剧烈场景变化的出现不仅具有时间域上的局部特征,而且也具有空间域上的局部性。在视场的某些局部空间位置上,剧烈场景变化的时间占空比可以达到较高的百分比,而在视场中的其他空间位置上仍然是缓变场景(通常称为“背景”)占据主导。在绝大多数的监控视频研究中,具有显著性时空局部特征的剧烈场景变化(通常称为“前景”)才是观测与分析的主要对象,而视频中的背景区域则被忽视,其隐含的时空特征没有得到充分地挖掘与利用。

笔者通过对监控类视频中背景区域像素值变化规律进行深入地数据分析发现,背景区域内的像素值变化除了受到缓慢自然光照变化的影响外,还受到了一种接近于高斯白噪声的随机信号的加性影响。在进一步对大量监控视频背景区域开展验证性分析后发现,上述加性高斯白噪声随机信号的存在具有普遍性与固有性。在结合数字相机硬件工作原理的综合分析下,笔者将上述随机信号定性为数字相机固有的系统热噪声。该类噪声是由数字相机电子元器件工作时产生的一种固有噪声,其频谱统计特性表现为加性零均值高斯白噪声,而功率谱统计特性表现为均匀分布。从信号的角度,可以将上述热噪声理解为视频信号中的直流分量。如果可以从视频中提取出视频中固有的热噪声,那么就可以将热噪声这个直流分量减除掉,从而得到视频中那些真正由场景内容变化所产生的像素值波动。

传统的视频变化检测研究中,常用的单个像素点统计法可获取任意特定像素点空间位置上的亮度值概率密度函数。如果将该方法应用于那些在整个时域内只包含纯粹背景的像素点上,理论上在统计样本足够大的提前下就可以得到一个加性零均值高斯白噪声,即视频的固有热噪声。然而在真实的监控视频中,在整个时域内只包含纯粹背景的像素点是无法预知的。此外,监控领域定义的背景实际上还分为静态背景与动态背景,只有绝对意义上的静态背景才能得到上述统计结果。实际观测表明,绝对的静态背景是罕见的,大多数情况下静态背景也会在某些时段内出现一定的动态性。显然,对于非绝对静态的背景,单个像素点统计法获得的亮度值概率密度函数应该为背景动态分布函数与热噪声的叠加。然而,要将热噪声进行分离是比较困难的。

综上所述,传统的视频像素值统计方法无法有效地挖掘出隐含的视频热噪声模型。要想获得视频热噪声模型,必须针对视频热噪声的特点与监控视频场景特性,设计一种全新的视频数据挖掘方法。

为此,笔者提出了一种挖掘视频热噪声的方法。其核心思想是利用大样本统计方法对预选出的大量优质静态背景像素点计算联合概率分布函数,然后以零均值高斯分布函数为模型求解出该联合概率分布函数中剩余的未知的参数,即均方差。在此基础上,以上述均方差为阈值即可计算出真实场景中任意像素点位置上的像素值波动频率。

2.1 筛选视频内稳定像素点

虽然绝对意义上的静态背景不易获得与定位,但是仍然可以根据整个视频场景中所有像素值的动态记录筛选出相对静态背景。如果视频热噪声较大,则视频的全局像素值波动都会较大,反之若视频热噪声较小则视频的全局像素值波动都会较小。因此,对相对静态背景进行筛选不应使用固定阈值,而应该考虑使用自适应阈值的方法。

笔者提出了一种基于自适应阈值的相对静态背景筛选方法,该方法将视频中的像素点定义为稳定与非稳定2大类。稳定像素点的定义是指亮度值无剧烈帧间变化的所有非边缘像素点。其中,“无剧烈帧间变化”的约束条件剔除了时间维度上的场景突变,而“非边缘像素点”的约束条件剔除了压缩视频中邻域噪声引发的边缘点像素值异常波动。在此基础上,视频中不符合稳定像素点定义的像素点均被归为非稳定像素点。稳定像素点定位方法如下

$ {L_t}\left( {i,j} \right) = {\rm{exp}}\left( {{{[{I_t}\left( {i,j} \right) - {I_{t - 1}}\left( {i,j} \right)]}^2}} \right), $ (1)
$ {V_t} = {\rm{ }}\frac{1}{{mn}}{\rm{ }}\sum\limits_{x = 1}^m {\sum\limits_{y = 1}^n {{L_t}\left( {i, j} \right)} }, $ (2)
$ {E_t} = \sqrt {\sum\limits_{i = 1}^4 {{{\left( {{d_i} \cdot {I_t}} \right)}^2}} }, $ (3)
$ {T_t} = {E_t} \cdot {W_g}, $ (4)
$ {\Theta _t} = \left\{ {\left( {i, j} \right):{L_t}\left( {i, j} \right) \le {V_t}\;{\rm{且}}\;{E_t}\left( {i, j} \right) \le {T_t}\left( {i, j} \right)} \right\}, $ (5)

式中:I表示一幅视频帧(I的下标为视频帧序号);It-1It分别代表视频序列中的第t-1帧和第t帧(即两幅连续帧);而It(i, j)则代表第t帧中的空间坐标为(i, j)的某个像素点。公式(1) 是对每个像素点的帧间变化幅值进行非线性放大映射。公式(2) 是对一帧中的所有像素点的公式(1) 计算结果求取平均值Vt,其中m×n代表视频帧的大小。公式(3) 是对一帧图像计算4个方向上的边缘信息,合成边缘图像Et,其中*表示卷积运算,d1=[000;01-1;000],d2=[000;010;0-10],d3=[000;010;-100],d4=[000;010;00-1]分别代表 0°,45°,90°和135°方向上的边缘检测算子。公式(4) 是计算边缘图像Et的自适应阈值,其中Wg为一个高斯函数窗。公式(5) 是寻找出帧间变化低于平均值且非边缘的所有像素点,并将其标记为稳定点,Θt就是记录了视频序列第t帧中所有稳定像素点坐标的集合。显然,上述公式组中各变量均会随视频帧的更新而变化,表明上述自适应算法的计算结果会随着视频场景的变化而实时更新。

通过上述方法,可以实时地筛选出视频序列中所有无显著像素值跳变的稳定像素点。从视频场景变化的角度看,稳定像素点的集合就是要寻找的视频中的相对静态背景。通常,每幅视频帧中可检测到成百上千的稳定像素点,因此累积一段视频序列中的所有稳定像素点将会产生一个相当大的数据样本集。当样本数量足够大时,样本统计结果的估计值将更加接近真实值。接下来,可以针对上述筛选出的优质静态背景像素点,利用大样本统计方法计算出热噪声的概率分布函数。

2.2 视频热噪声模型估计

理论上,所有稳定像素点都应隶属于静态背景,而静态背景区域内的像素值波动主要来源于视频热噪声。因此,对稳定像素点在时间域内的像素值波动进行统计,能够计算出视频热噪声的有关模型参数。然而,根据方法计算得到的稳定像素点实际上不可能隶属于绝对静态背景,某些稳定像素点在局部时空范围内可能出现超出热噪声值域范围的像素值波动。克服上述问题的简单途径是增大对稳定点的采样数量,通过对一个足够大的稳定点样本集进行统计,能够有效地平滑掉那部分小概率的超热噪声值域的像素值波动。因此,笔者采取了对整个稳定像素点集合在全时域内迭代式计算联合概率分布函数的方法来求取视频热噪声模型。

由前面分析可知,视频热噪声源于相机固有电子热噪声,其理想模型为零均值高斯白噪声。通过理论分析,随着样本数量的增大,热噪声的实际概率分布函数将不断逼近其理想模型。为了降低计算复杂度和提高算法实时性,直接使用热噪声的理想模型进行分析。由于视频热噪声模型服从零均值高斯分布,因此相机噪声大小仅取决于其分布的标准差。对视频热噪声模型的标准差有3种不同的假设:① 标准差为全局常数;② 标准差存在局部空间差异;③ 标准差与亮度等级相关。其中,第一种情况是一种过于简化的理想假设,与实际情况不符。第二种情况与成像芯片品质有关,但由于没有固定规律因此无法进行实际建模。第三种情况具有实际物理意义并可建立数学模型。通过综合比较不同假设的合理性与可操作性,选择根据假设③ 对视频中稳定像素点的像素值变化进行统计,从而估计出视频热噪声的标准差,计算公式如下

$ {\sigma _t}\left( p \right) = {\rm{ }}\sqrt {\frac{{{{[{\sigma _{t-1}}\left( p \right)]}^2} \times \sum\limits_{n = 1}^{t - 1} {\# (\Theta _n^p)} + {{\sum\limits_{\left( {x, y} \right) \in \Theta p} {\left[{{I_t}\left( {x, y} \right)-{I_{t-1}}\left( {x, y} \right)} \right]} }^2}}}{{\sum\limits_{n = 1}^t {\# (\Theta _n^p)} }}} {\rm{, }} $ (6)

其中,观测视频序列包含第1帧(起始帧)至第t帧(当前帧)的所有连续帧。Θn代表上述视频序列中第n帧中稳定像素点集合,而Θnp则代表Θn的子集,其中的像素点的亮度值均为p,即p=It-1(i, j)。#(·)代表取集合的基数,σt(p)则表示第t帧时刻在p亮度等级上的视频热噪声标准差的估计值。通过公式(6) 即可计算出视频中各个亮度等级上的热噪声模型,每个亮度等级上的热噪声模型将服从于均值为零,标准差为σt(p)的高斯分布。

可以看到,公式(6) 本身是一个快速迭代算法,即第t帧的值是基于第t-1帧的计算结果迭代生成,而第t-1帧的值又是基于第t-2帧的计算结果迭代生成,以此类推。该算法的优点是无需保存观测视频序列中从第1帧到第t帧的所有数据,更无需每次都从第1帧开始重新计算,因此计算效率大大提高。

上述基于亮度等级的热噪声模型具有以下特点:1) 它属于局部化模型,因此在精度上优于全局化热噪声模型;2) 它的空间分布性是自适应的,优于采用人工分块策略的方法;3) 它具有实时性,可以随着视频数据的变化自动更新模型参数。

2.3 视频中桥梁振动状态测算

上述构建出的视频热噪声模型,将被用于计算监控视频中目标桥梁可视外表面上不同局部结构的实时振动状态。根据前提假设,由视频热噪声所导致的视频像素值变化均处于正常波动范围,而超出热噪声阈值范围的均为异常波动,于是可将视频热噪声标准差作为衡量视频中任意像素值变化是否为异常波动的关键参数。笔者提出以下判据:若某像素点的亮度值变化符合视频热噪声模型,则该像素点的亮度值变化属于视频固有噪声;反之,则被判定为由物体振动导致的剧烈变化。于是,通过观测视频中桥梁不同部位上像素值变化的类型及其发生频率,即可测算出桥梁不同部位上的振动状态。

笔者将像素点振动频率定义为在一段观测时间内像素点的亮度值出现剧烈变化的平均频率。一个像素点上发生的亮度值剧烈变化频率越高,则表明该像素点位置上物体的振动频率越高。将视频中目标桥梁所覆盖范围内各个像素点的变化值与下述基于视频热噪声标准差的显著性阈值进行时间维度上的持续比较,便可计算出视频中桥梁在各个像素点位置上的振动频率

$ {\psi _t}\left( {i, j} \right) = \left\{ \begin{array}{l} 1, {\rm{if}}\;\left| {{I_t}\left( {i, j} \right)-{I_{t-1}}\left( {i, j} \right)} \right| > \beta \cdot {\sigma _t}\left( p \right), \\ 0, {\rm{otherwise}}, \end{array} \right.{\rm{ }} $ (7)
$ {F_t}\left( {x, y} \right) = {\rm{ }}\frac{\varphi }{t}{\rm{ }}\sum\limits_{n = 1}^t {{\psi _n}\left( {x, y} \right)}, $ (8)

其中,β·σt(p)为显著性阈值,根据高斯分布的3Sigma原理,β的取值可为3。φ代表视频帧率,单位为帧/秒。Ft(i, j)即在视频前t帧时间段内桥梁在像素点(i, j)处的振动频率。

公式(8) 中以视频的帧率作为参数来测算桥梁振动频率可以实现测算结果的归一化,即对具有不同帧率的视频计算出的桥梁振动都具有同一标准,单位为Hz。上述归一化处理方法具有重要意义,因为人类的视觉系统对客观世界中物体振动频率的感知是具有固定标准的,并不受视频帧率的影响。因此使用归一化的量化单位,可以便于后期对目标物体振动强度进行统一的定量或定性描述,保证目标物体振动频率的衡量标准具有不受视频帧率影响的统一性,同时与人类视觉感知结果基本保持一致。

3 实验与讨论 3.1 监测数据的可视化

本方法的最后环节是对目标桥梁可见外观结构的振动频率进行有效合理地呈现。由于本方法的观测区域是桥梁整体而非特定局部,因此传统接触式测量方法的观测点数据报表呈现方式并不适用。在兼顾显示效率与自动报警功能的基础上,笔者采用了全景化和交互式的数据呈现方式。具体地,全景化显示是指直接对包含有目标桥梁的监控视频全景进行输出显示。这是一种可视化的呈现方式,与传统方法中仅显示若干采样点数据曲线图的方式有本质区别。此外,交互式显示是指在全景化显示的基础上叠加显示出振动频率的定性结果。监控人员可用交互式输入设备选定桥梁上任意位置读取其振动频率的具体数值,或者预设局部或全局阈值由系统对超阈值的高频振动点进行自动监测、报警与定位。

研究方法在包含不同类型桥梁的视频片段上进行了测试,并将计算出的桥梁各个部分的振动状态与人类视觉感知结果进行一致性比较。由于目前国内外尚未有针对桥梁的专用视频数据集,因此测试数据均来自于自建的数据集。该桥梁监测视频数据集共有20个包含多种类型桥梁的视频片段,每段视频的时长大约在1~3 min。图 2所示为桥梁监测视频数据集中部分样本截图。

图 2 自建桥梁监测视频数据集的部分样本 Figure 2 Samples of bridge monitoring video dataset

图 3是测试结果的一个示例,其中图 3(a)为全景化的输出显示,图 3(b)为工人截取并放大后的感兴趣区域。为了更好地将测试结果与人类视觉感知结果进行直观对比,没有对图 3(a)中的非桥梁区域进行屏蔽。因此,在图 3(a)中也可以看到算法对多种非目标物体,如水波、漂浮物、船、树枝等的振动状态监测结果。

图 3 研究方法的桥梁振动状态监测结果示例 Figure 3 An example of the bridge vibration monitoring results

为了实现高效的交互式显示,全景化状态下自动显示的只是振动状态的定性化结果。将振动频率值域范围参照人类视觉感知规律划分为高频、中频和低频,并对不同频段振动点使用不同颜色进行标注,从而实现对定性计算结果的可视化显示。具体地,将振动频率Ft≥15 Hz的像素点归类为高频振动点,并标注为紫色;将5 Hz≤Ft < 15 Hz的像素点归类为中频振动点,并标注为青色;将振动频率Ft < 5 Hz的像素点归类为低频振动点,不进行标注。

通过分析图 3中所示的监测结果,可以获得如下信息。首先,在图 3(a)所示的全景视场中可以看到场景中的水波、漂浮物、船、树枝等非目标物体存在中、高频振动,这与拍摄现场的天气情况吻合,同时也与人类视觉观察的结果基本保持一致。可见,振动监测方法不仅具有一定的通用性,而且其结果符合人类视觉观察要求,无需额外转化。

其次,从图 3(b)所示的桥梁局部截图可见,桥面车辆行人活动区域能够被正确检测(蓝色箭头所指),而桥梁悬索上发现一处中频振动区域(红色箭头所指)。通过人工对比观看原始视频数据发现,该点处的桥梁悬索确实存在较高频率外观变化,但由于其变化非常微弱所以不易察觉。可见,方法能够准确检测并定位视频中的此类微弱振动变化。上述定性化自动监测结果可以为桥梁监护人员提供进一步确认桥梁异常振动点的线索和依据,操作人员也可以用交互式方式查看异常点的定量化数值。

根据研究提出的方法,笔者利用虚拟仪器软件LabView开发了一套相应的可视化桥梁振动状态监测软件,其主界面如图 4所示。该系统可自动对超阈值高频振动点进行定位与报警,监控人员也可通过简单高效的人机交互方式对含振动点区域进行局部放大观察,锁定振动点并获取振动频率数值。

图 4 基于LabView开发的桥梁振动状态监测软件主界面 Figure 4 The LabView-based bridge vibration monitoring software
3.2 预设参数的选择

研究方法是实时性自适应算法,桥梁振动状态监测值会随视频帧的更新而实时更新。公式中变量下标t代表了不断更新的当前视频帧序号,也表明了各变量的时变特性。实验中统一选取了数据集中每个视频片段的前1 000帧作为测试样本。由于所有视频的帧率均为25帧/s,因此截取部分时长为40 s。测试从视频t=1开始,当t=1 000时测试结束。

公式(4) 中的高斯函数窗Wg的窗口宽度和公式(7) 中的放大系数β是方法中仅有的2个需要人工预设的参数。β的设置可以根据高斯分布的3Sigma原理进行设置,但是高斯函数窗口宽度的选取并没有可以参考的理论模型。因此,通过实验方法对最佳高斯函数窗口宽度值进行筛选。

首先,从数据集中随机选取7个视频,对每个视频分别设定3个采样时刻点,即第10帧、第100帧和第1 000帧。同时,选取5组不同的高斯函数窗宽度值,分别为:w=3,w=5,w=7,w=9和w=11。然后,用不同宽度的高斯函数窗对每个视频中各采样时刻点上生成的边缘图像(由公式(3) 获得)进行自适应二值化处理。最后,对每个视频的每个采样时刻点上的5组二值化边缘图像进行对比分析。通过对比分析发现,窗口尺寸的变化在整体上对计算结果的影响并不显著。图 5为一组测试结果的示例。

图 5 选取不同高斯函数窗口宽度时获得的边缘图像对比 Figure 5 Comparisons of edge images as different window sizes

为了进一步验证高斯函数窗宽度值的影响,笔者在上述实验的基础上,增加了对不同窗口宽度值下获得的桥梁监测结果的定量数据对比分析。通过对比分析发现,高斯函数窗口尺寸的变化同样对桥梁监测结果没有显著性影响。表 1中数据与图 5示例相对应,均来自同一视频的相同采样时刻点。由表 1可见,不同窗口宽度下的独立高频和中频振动区域数量是相同的,而且从实际的可视化图像中可以看到,高频振动区域的空间位置也是几乎一致的。

表 1 选取不同高斯函数窗口宽度时的桥梁振动监测结果 Table 1 Vibration monitoring results of different window sizes

基于上述实验,虽然高斯函数窗宽度值对桥梁振动监测的计算结果无显著影响,但是显然窗口尺寸越小算法的整体计算效率会越高。综合考虑,研究方法最终将高斯函数窗宽度值预设为w=3。

3.3 与视频监控方法的比较

提出方法的并非视频监控方法,因此无法用于常规意义上的智能视频监控领域,而视频监控类方法在理论上也无法有效地处理提出的桥梁振动状态监测问题。为了对比说明研究方法与视频监控类方法的本质区别,下面以图 3所示的桥梁监测示例进行分析。在图 3示例中检测到桥梁悬索上有一个高频振动区域,现选取该区域的中心点进行数据分析,另外在同一悬索上选取一个稳定像素点作为对比参照点。图 6给出了上述悬索的放大图像,悬索上标记为红色的即为高频振动区域中心点,标记为蓝色的即为状态稳定的对比参照点。

图 6 桥梁悬索上的高频振动点(红色)和稳定点(蓝色) Figure 6 High-frequency pixel and stable pixel on the suspension

图 7展示了上述2个观测点在视频前100帧内的像素值变化情况。可以看到,稳定点的像素值变化曲线(蓝色)比较平稳,像素值波动幅度基本小于3个灰度等级,而高频振动点的像素值变化曲线(红色)则呈现较高频率和较大幅度的波动,最大的帧间像素值跳变幅度高达14个灰度等级。

图 7 稳定点和高频振动点的像素值波动情况对比 Figure 7 Comparison of intensity fluctuations of the stable and high-frequency pixels (蓝色曲线对应于稳定点,红色曲线对应于高频振动点)

此外,还可以用直方图的形式展示2个不同类型观测点上像素值变化的统计学特征。图 8展示了稳定点和高频振动点在全部1 000帧内的像素值统计分布情况。可以看到,稳定点的像素值分布只有一个波峰,而且呈现出接近高斯分布的形态,该分布的方差较小。高频振动点的像素值由于在较大幅度内高频率地来回跳变,因此总体上显现出多峰性分布,峰值较小但方差较大。

图 8 稳定点和高频振动点的像素值变化统计学特征对比 Figure 8 Comparison of intensity variation frequencies of the stable and high-frequency pixels

常见的视频监控方法其目标都是检测异常的场景变化,因此这些方法首先需要学习正常的场景变化,即建立背景模型。然而,在这些方法中正常场景变化通常被隐含地定义为:出现频率最高的像素值分布。结合图 8示例,如图 8(a)所示稳定点上出现频率最高的像素值分布在灰度值220~223,而其他灰度值区域的像素值分布为零。对此类情况,传统的监控方法很容易在稳定点上建立出一个单高斯分布的背景模型,在后期的监测过程中凡是检测到落在该背景模型之外的像素值都被归类为异常场景变化。通过统计某段时间内出现异常场景变化的频率可以获得特定目标物体的变化信息,如桥梁结构上发生的振动频率。然而对于图 8(b)的情况,由于高频振动点像素值在长时间内一直在较大值域范围内发生快速跳变,导致其像素值频率分布在整个非零的值域区间比较均匀。因此,背景建模算法会将该分布内的所有像素值都作为正常值进行学习,而在后期的监测过程中所有这些像素值的出现都会被当作正常的场景变化。换句话说,背景建模之后图 8(b)中的剧烈像素值跳变将不会被检测出来,桥梁上所有类似的中、高频振动点都不可能被监测到。

上述情况并不是现有视频监控算法的缺点。实际上,对大值域范围内像素值高频变化的学习能力正是当前许多主流背景建模方法的优势性能之一。因为在实际自然场景中存在大量具有振动特性的非目标物体,如波动的水面、晃动的树木等。这些非目标物体通常都要求不被检测为目标前景,因此一个鲁棒性较好的视频监控算法根据监控任务的需要都会将具有较高频率振动特性的物体屏蔽掉(学习为背景)。综上可知,正是由于监测任务和设计目标的不同,常规的视频监控类算法并不适用于所研究的桥梁振动状态监测任务。

提出的方法在数据的利用上也与传统背景建模方法有所不同。传统背景建模方法通常会先假设数据可能符合某个特定的数学分布,然后根据这个前提假设建立出一个对应的背景模型,在此基础上用样本数据去迭代地修正背景模型的各个参数。由于没有进行背景建模,因此对数据的采样和处理更为客观。所有的稳定像素点样本的选择只都是通过一套简单的规则实现的。

研究方法的优点在于算法中大多数的关键参数都是通过对数据本身的分析运算而自适应生成的,从而大大提高了算法本身的鲁棒性。具体而言,在筛选视频内稳定像素点的步骤中,几个自适应阈值的生成完全是基于视频数据内部之间的关系而依据简单的规则自动计算生成。因此,研究方法算是一种基于数据挖掘的方法。核心算法是一种基于亮度等级的大样本统计法,这是与基于单个像素点的传统场景建模方法的另一大区别。研究方法关注的是每一次像素值的变化幅度。对变化幅度进行检测的阈值是通过对分布在不同空间位置上的大量同类像素点的统计学习生成的,该方法能够最大程度地消除特定空间位置上的随机性噪声。

3.4 与传统桥梁振动监测方法比较

提出的方法既可用于远程在线或离线的桥梁监控录像分析,也可通过移动视频采集设备实现现场实时数据分析,其监测结果可作为桥梁结构健康监护人员进入实地观测与诊断的重要参考。

与传统接触式桥梁振动状态监测技术相比,方法具有以下优点。首先,传统的接触式传感器布置安装成本昂贵、实施复杂,所以仅用于少数重要大型桥梁,而方法仅需配置一套高清相机系统且不受地理条件限制,显著降低了技术复杂度和实施成本,可广泛应用于各种桥梁,具有很好的通用性与适应性。其次,出于技术和美观等因素,传统的接触式传感器通常不会布置于桥梁的外部可见结构上,如图 3中桥梁的悬索上,因此无法对悬索上出现的断裂和部件松脱等问题及时检测与报警。由于方法可有效监测大范围的桥梁外部可见结构,因而可有效弥补传统接触式监测方法的上述局限。此外,方法的实施可使用移动携带式高清相机系统和便携式计算机,特别适于实现对地质灾害地区的多个危险桥梁进行快速监测和流动巡检。

与非接触式桥梁监测中的激光技术相比,激光技术属于点扫描方式,而提出方法属于面扫描方式。显然,方法对目标桥梁多个观测点的监测具有更高的效率和更好的实时性。

综上所述,方法提供了一种便捷高效、成本合理、通用性好的桥梁结构健康监测新途径。该技术既可以与传统的接触式桥梁状态监测技术配合使用,从而进一步完善现有的桥梁结构健康监测技术,也可作为一种独立使用的便于快速布置运行的移动巡检技术服务于中国广大的中小型普通桥梁。

4 结论

研究提出了一种基于视频数据挖掘的非接触式桥梁振动监测方法。通过拍摄包含目标桥梁的视频并对其进行数据挖掘分析,可获取视频中目标桥梁在各个像素点位置上的振动状态,有助于发现目标桥梁运营时其不同局部结构位置上出现的人眼所无法观测到的异常动态变化。方法可用于对桥梁结构健康状况的快速定性分析,便于及时发现目标桥梁的潜在安全隐患。相比于传统的接触式监测手段,方法具有高效、廉价和布置便捷等优点。

参考文献
[1] 文策尔. 桥梁健康监测[M]. 北京: 中国建筑工业出版社, 2014.
WEN Ceer. Bridge health monitoring[M]. Beijing: China Architecture & Building Press, 2014. (in Chinese)
[2] 郭健. 大型桥梁健康监测系统及损伤识别理论[M]. 北京: 人民交通出版社, 2014.
Guo Jian. Large bridge health monitoring system and damage identification theory[M]. Beijing: China Communications Press, 2014. (in Chinese)
[3] 江胜华, 武立群, 侯建国, 等. 基于磁性标签石块的桥墩局部冲刷监测方法[J]. 重庆大学学报, 2016, 39(1): 88–97.
Jiang Shenghua, Wu liqun, Hou Jianguo, et al. Bridge local scour monitoring using magnetic label rock[J]. Journal of Chongqing University, 2016, 39(1): 88–97. DOI:10.11835/j.issn.1000-582X.2016.01.012 (in Chinese)
[4] 吴迪军. 桥梁工程测量技术现状及发展方向[J]. 测绘通报, 2016(01): 1–5.
Wu Dijun. Current status and development trend of bridge engineering surveying techniques[J]. Bulletin of Surveying and Mapping, 2016(01): 1–5. (in Chinese)
[5] Xia Zhe, Fu Hongqiao, Zhang Wen, et al. Modulation transfer function of image monitiring system for bridge's deformation[J]. Journal of Chongqing University, 2004, 6(27): 27–20.
[6] Amezquita J P, Adeli H. Signal processing techniques for vibration-based health monitoring of smart structures[J]. Archives of Computational Methods in Engineering, 2016, 23(1): 1–5. DOI:10.1007/s11831-014-9135-7
[7] Jain H, Rawat A, Sachan A K. A review on advancement in sensor technology in structural health monitoring system[J]. Journal of Structural Engineering and Management, 2015, 2(3): 1–7.
[8] Zhou G D, Yi T H. The node arrangement methodology of wireless sensor networks for long-span bridge health monitoring[J]. International Journal of Distributed Sensor Networks, 2013: 38–42.
[9] Koo K Y, Brownjohn J M, List D I. Structural health monitoring of the tamar suspension bridge[J]. Structural Control and Health Monitoring, 2013, 20(4): 609–625. DOI:10.1002/stc.v20.4
[10] Sung S H, Park J W, Nagayama T, et al. A multi-scale sensing and diagnosis system combining accelerometers and gyroscopes for bridge health monitoring[J]. Smart Materials and Structures, 2013, 23(1): 15–20.
[11] Zhou G D, Yi T H. Recent developments on wireless sensor networks technology for bridge health monitoring[J]. Mathematical Problems in Engineering, 2013(8): 1–33.
[12] Chen S, Cerda F, Rizzo P, et al. Semi-supervised multiresolution classification using adaptive graph filtering with application to indirect bridge structural health monitoring[J]. IEEE Transactions on Signal Processing, 2014, 62(11): 2879–2893. DOI:10.1109/TSP.2014.2313528
[13] 张国建, 于承新. 数字近景摄影测量在桥梁变形观测中的应用[J]. 全球定位系统, 2016(01): 91–95.
Zhang Guojian, Yu Chengxin. The application of digital close-rang Phtogrammetry in bridge deformation measurement[J]. GNSS World of China, 2016(01): 91–95. (in Chinese)
[14] Zhang R, et al. Scene dynamics estimation for parameter adjustment of gaussian mixture Models[J]. IEEE Signal Processing Letters, 2014, 21(9): 1130–1134. DOI:10.1109/LSP.2014.2326916
[15] Cui Y Z, et al. A mechanism for real-time decision making and system maintenance for resource constrained robotic systems through ReFrESH[J]. Autonomous Robots, 2015, 39(4): 487–502. DOI:10.1007/s10514-015-9472-x
[16] Zhang R, et al. An adaptive learning rate method for improving adaptability of background models[J]. IEEE Signal Processing Letters, 2013, 20(12): 1266–1269. DOI:10.1109/LSP.2013.2288579
[17] 陈红权, 郭威. 三维激光扫描技术在桥梁形变监测中的应用[J]. .现代测绘, 2016(01): 36–39.
Chen Hongquan, Guo Wei. Application of 3D laser scanning technology on the bridge monitoring[J]. Modern Surveying and Mapping, 2016(01): 36–39. (in Chinese)