面向路面附着估计的路面图像识别

黄开启，黄茂云，刘小荣; HUANG Kaiqi; HUANG Maoyun; LIU Xiaorong

网刊加载中。。。

使用Chrome浏览器效果最佳，继续浏览，你可能不会看到最佳的展示效果，

确定继续浏览么?

复制成功，请在其他浏览器进行阅读

摘要

为提升智能辅助驾驶系统对路面附着系数估计的准确性与实时性，研究了一种基于视觉信息的路面识别深度学习算法，实现路面附着系数的预估计。设计压缩卷积机制以降低网络运算参数，采用特征图全局平均替换全连接层以提升网络的拟合性能，并构建路面识别深度卷积神经网络DW-VGG。利用自建路面图像数据集对网络进行训练，测试结果表明，基于提出的多层知识蒸馏技术的DW-VGG网络识别精度较高，分类性能评估指标F₁得分为96.57%，并有效降低了网络的运算和内存成本，识别单张图像只需32.06 ms，预测模型只有5.63 M。

关键词

深度学习; 知识蒸馏; 路面识别; VGG

近年来，汽车智能辅助驾驶技术正在蓬勃发展，借助主动全控制技术，先进智能辅助驾驶系统（advanced intelligent driving assistance system，ADAS）不仅提高了驾驶员乘坐的舒适性，还大大提升了行车的安全性能。轮胎力调节是目前最直接和有效的车辆主动安全控制技术，受天气的影响，轮胎力受路面附着条件的影响较大，准确并实时获取路面附着系数是进行车辆稳定性控制系统设计的关键环节^[

1⁃2]，也是车辆动力学领域研究的焦点。

根据测量手段与原理，路面附着估计方法有Experiment-based和Model-based^[

3]两大类方法。第一类方法是利用特殊传感器的测量信息直接分析接触面的物理特性来获取路面附着状态，可通过车载传感器收集轮胎噪声、车身状态参数^{[参考文献 4⁃5}4⁃5]等信息进行聚类实现附着系数的估计，此类方法的估计结果依赖于传感器的精度及算法的性能，由于高性能的加速度计与激光雷达等传感器价格昂贵，难以广泛工程应用。第二类方法是通过研究轮胎与路面间的摩擦力引起的车辆及轮胎动力学和运动状态的变化，反推出路面附着系数的估计值^{[参考文献 6⁃8}6⁃8]。相比第一类算法，此类算法精度更高也具有较强的普适性，但估计的准确性依赖于轮胎力精度，由于本质是一种后验估计方法，难以满足极限工况下车辆动力学主动控制的实时性要求。

目前，车载视觉系统广泛用于车辆高级辅助驾驶系统进行环境感知，如车道保持、自动刹车辅助、目标检测等^[

9⁃10]。并且有学者开始研究利用视觉信息进行车辆状态观测，Wang等^{[参考文献 11

百度学术}11]研究了一种基于视觉图像的车身侧偏角估计方法，由于没有引入车辆模型的不确定参数，提高了估计精度，而且也增加了状态参数估计的自由度。基于上述思想，为满足车辆动力学控制对路面附着状态获取的实时性和准确性要求，文中提出了一种基于车载前摄像头图像的路面分类识别方法，构建深度学习算法的DW-VGG网络，在分类结果的基础上，利用路面类型和附着信息的映射关系，实现不受车辆模型精度和参数误差影响的路面峰值附着系数准确预估计。不同路面峰值附着系数表如表1所示。

表1 不同路面峰值附着系数表

Table 1 Peak adhesion coefficient of different pavements

道路类型	路面峰值附着系数μ
干沥青	μ≥0.8
湿沥青	0.6≤μ＜0.8
鹅卵石路面	0.4≤μ＜0.8
泥泞湿滑路面	0.2≤ μ＜0.8
冰雪路面	μ≤0.2

借助路面附着的先验估计信息，车辆主动安全控制系统能预调整系统阈值，并对驾驶员的操纵进行提醒，在不增加硬件成本的基础上能有效改善车辆行驶的安全性、平顺性和舒适性。

1 路面图像识别算法设计

车辆主动安全控制技术依赖于准确实时的路面附着信息，因此需要轻量化的路面图像分类模型。为减少卷积神经网络的参数量和运算量，文中对卷积层和全连接层进行优化，设计轻量化卷积网络DW-VGG。提出了基于学生网络自学习与教师网络知识蒸馏的多层级知识蒸馏算法以提升轻量化网络分类性能。

1.1 轻量化全连接层

表2为VGG13网络参数。从表2中可知，全连接层占用了网络93%的参数量，因此对全连接层参数进行优化是非常有必要的。全连接层将卷积层提取的特征图展开，并映射成高维度语义信息，每个输入特征向量 $X \in R^{H \times W \times C}$ 都给定一个权重参数w，以及偏置参数b

表2 VGG-13参数

Table 2 VGG-13 parameters

网络层	尺寸	参数量	参数量占比/%
卷积块1	224×224×64	38 592	0.029
卷积块2	112×112×128	88 484	0.067
卷积块3	56×56×256	884 736	0.666
卷积块4	28×28×512	3 538 944	2.663
卷积块5	14×14×512	4 718 592	3.550
全连接层1	4 096	102 760 448	77.319
全连接层2	4 096	16 777 216	12.623
全连接层3	1 000	4 096 000	3.082

O_{f} = f (w^{T} X + b)

。

参数众多的全连接层在一定程度上能够增加模型复杂度进而增强分类网络的表达能力，但模型引入过多的参数容易使分类网络过拟合，降低模型的分类精度。由于权重参数过多，使得全连接层内存成本高，并且全连接层直接将特征图展开，这使得卷积层获取的空间信息完全丢失。为解决上述问题，使全连接层更加轻量化，文中引入一种全局平均思想，将卷积操作输出的特征图在每个通道上求均值

O_{g} = \frac{1}{m n} \underset{m \in H}{\sum_{}^{}} \underset{n \in W}{\sum_{}^{}} X_{c}

。

对输出特征图进行全局平均操作能够融合图像空间信息，建立特征图与类别之间的联系。全局平均只是对特征图通道求均值，没有学习参数，这也是在网络结构上进行正则化操作进而能够有效防止过拟合现象，提升网络的分类精度。输出特征图完成全局均值操作后，将输出特征映射到K维特征向量，并连接Softmax分类层，以对路面图像进行分类，Softmax分类器将输入矢量从K维空间映射到类别，结果以概率的形式给出，定义为

p_{j} = \frac{e^{θ_{j}^{T} X}}{\underset{k = 1}{\sum_{}^{K}} e^{θ_{k}^{T} X}} (j = 1,2, \dots, K)

，

式中， $θ_{k}$ = $[θ_{k 1}, θ_{k 2} \cdot \cdot \cdot θ_{k K}]^{T}$ 为权值，是类别所对应的路面分类器参数。

1.2 轻量化卷积模块

与全连接层相比，卷积层占用的参数量较少，但卷积运算步骤多，这极大地增加了运算成本。实时性在车辆控制领域是至关重要的，只有提升算法的快速性能，主动安全控制技术才能得到保证。为实现卷积操作的轻量化，根据VGG网络架构设计了一种卷积压缩机制。卷积压缩模块如图1所示。

图1 卷积压缩模块

Fig. 1 Convolution compression module

对于输入特征图 $R^{H \times W \times C_{i n}}$ 与卷积后输出特征图 ${R^{'}}^{H^{'} \times W^{'} \times C_{o u t}}$ ，使用 $1 \times 1$ 大小的卷积核对输入特征图进行通道扩张，扩张后的通道数为 $γ \times C_{o u t}$ ， $γ$ 为扩充系数，文中取值为1.5。

输入特征图完成扩充后，使用2组深度卷积对图像进行特征提取（见图2）。标准卷积在进行卷积操作时将同时对图像空间和通道层进行特征提取，这将增加更多的内存和运算成本。深度卷积只对图像通道层进行特征提取，因此能够降低卷积操作运算量，提升网络运行速度。设输入的特征图尺寸大小为224×224，通道数为128，输出通道数为128。在经过卷积操作后，标准卷积参数量为147 584，FLOPs为7.40 G，深度卷积参数量为1 280，FLOPs为0.06 G。但是深度卷积也损失了网络模型的分类精度，为保证分类模型精度，因此在深度卷积操作前进行通道扩充操作。最后，对深度卷积特征图使用 $1 \times 1$ 大小卷积核进行降维输出，通道数量为 $C_{o u t}$ 。

图2 标准卷积与深度卷积

Fig. 2 Standard convolution and depth convolution

1.3 路面识别卷积神经网络设计

VGG-Net^[

12]是在2015年由Oxford的视觉几何组提出的，其根据网络层数的不同分为VGG-13、VGG-16、VGG-19 三种网络。VGG-Net没有直接使用大卷积核（11×11，7×7，5×5），而是使用连续堆叠的3×3小卷积核达到大卷积核相同的感受野的目的，该网络在结构上采用5组3×3卷积块与最大池化交替连接的方式，并使用3层全连接层进行特征输出，最后连接softmax层进行分类。VGG-Net虽然能够提取到较深层次的图像特征信息，但由于其使用了较多的参数，加大了的计算资源的消耗，难以满足路面分类识别的实时性要求。为此，本文在VGG-13网络结构的基础上进行改进，网络卷积层使用上述压缩模块，并将全连接层替换为特征图全局平均操作，设计了一种轻量级的VGG网络模型，命名为DW-VGG，网络结构如图3所示。

图3 DW-VGG网络结构

Fig. 3 Network structure of DW-VGG

1.4 多层级知识蒸馏

轻量化网络需要的内存和运算成本都更小，但减少网络参数的同时也降低了网络提取图像特征的能力。为提升轻量化网络模型路面分类的性能，提出了一种多层级知识蒸馏算法，该算法包括学生网络自学习和教师网络监督学习2个部分，图4为多层级知识蒸馏框架。

图4 多层级知识蒸馏框架

Fig. 4 Multi level knowledge distillation framework

在学生网络自学习过程中，对原始交叉熵损失和软化标签交叉熵损失进行优化，输入的one-hot硬标签使用均匀分布进行软化，软化标签定义为

l_{s} = ε \times δ + (1 - ε) l_{h}

，

式中： $l_{s}$ 为软标签； $l_{h}$ 为one-hot硬标签； $ε$ 为调节软硬标签的调节因子通常取0.1； $δ$ 为服从数值总和为 $ε$ 的均匀分布。由于类别之间具有相关性，软化标签相比硬标签具有更高的信息熵，使学生网络提取到更多的特征数据，进而提升分类性能。

学生网络自学习总损失为：

L_{s} = α \times L_{c} (l_{g}, l_{s}) + L_{c} (l_{g}, l_{h})

，

式中： $L_{c}$ 为交叉熵损失； $α \in [0,1]$ 为超参数；用以调节硬标签与软化标签的学习程度； $l_{g}$ 为网络分类层logits输出。在硬标签的交叉熵损失中，输出只有正确标签的损失值，卷积神经网络也只会拟合正确标签的信息，这将导致过拟合，并且类别标签标记错误时，也会增加分类的错误率。软化标签的交叉熵损失对各个标签类别的输出都计算损失值，卷积神经网络在学习正确类别的同时也能够对其他类别进行特征提取，进而提升分类模型的泛化能力。但软化标签在训练时模型收敛性能下降，因此使用硬标签进行监督训练。

教师网络参数量更多，图像特征提取能力更强，可以通过教师网络中间层的数据输出监督学生网络进行特征提取。在卷积网络中，网络层次越深特征提取能力也越强，因此同一网络的不同层输出具有多样性，为提升教师网络与学生网络知识蒸馏的性能，将教师网络多层特征图输出与学生网络特征图输出进行优化。具体流程为取出网络卷积块中中间层卷积特征图，将教师网络与学生网络相同层级特征图设置到相同尺寸，使用L2损失函数求出教师与学生网络特征图输出差值，使用优化器进行最小优化，让学生网络拟合教师网络输出

L (t, s) = \sum_{i = 1}^{n} {(t - s)}^{2}

。

多层级知识蒸馏算法将融合学生网络自学习和教师网络知识转移2个过程，并使用超参数 $β$ 进行调节，总损失为

L = L_{s} + β \times L (t, s)

。

2 实验与分析

2.1 路面图像数据集采集

路面图像分类并没有公开的数据集，为获得各类型路面图像数据，本文从KITTI、BDD100K、Oxford RobotCar^[

13⁃15]自动驾驶数据集中采集各类型路面清晰图像，共采集五种路面图像：干沥青路面、湿沥青路面、冰雪路面、泥泞湿滑路面、鹅卵石路面。由于上述数据集中的图像大都在天气条件较好条件下采集，而部分路面类型符合清晰度要求的数量较少，为平衡各类型路面图像数量，提升分类效果，参考上述数据集的图像采集方式，在光线充足条件下采集清晰的路面图像对数据集进行补充，补充的数量为湿沥青1 300张、冰雪路面1 915张、泥泞路面2 000张、鹅卵石路面1 917张。

最终生成的路面图像数据集类型为5类，共10 000张，如图5所示。其中每类路面图像数量为2 000张，并在每种路面图像中随机选取1 600张为训练集，400张为验证集，400张为测试集。

图5 路面图像数据集样本

Fig. 5 Road image dataset sample

2.2 实验设置

路面分类实验所用硬件配置为Intel Xeon Gold 6148@2.40GHz CPU，NVIDIA Tesla V100 32G显存GPU，32G运行内存，使用百度公司开发的paddlepaddle1.8.0深度学习框架搭建神经网络。本实验对输入路面图像像素值归一化到[-1,1]，以加速网络收敛。实验使用Adagrad优化算法，初始学习率设置为0.001。由于batch_size的大小对分类精度有一定的影响，因此设置了16、32、64、128、256大小的batch_size进行比较分析，综合训练时间和分类精度，最终选取的batch_size为64、epoch为100。

2. 3 实验分析

图6是DW-VGG与卷积网络VGG13、GoogleNet、ResNet50、MobileNet-V2、SqueezeNet、ShuffleNetV2(2x)、EfficientNetB0^[

16⁃21]在路面图像数据集中测试的混淆矩阵，混淆矩阵能够清晰地表达出网络对各类型路面的分类性能，并使用F₁得分对各网络的分类性能进行评估，得分越高分类性能越好。

F_{1} = \frac{2 \times p_{r} \times r_{c}}{p_{r} + r_{c}}

，

式中： $p_{r}$ 为分类精准度； $r_{c}$ 为分类召回率。

图6 DW_VGG与经典网络在路面图像数据集测试混淆矩阵

Fig. 6 DW_VGG and classic network test confusion matrix in road image dataset

从图6可知，参数量更少的DW-VGG得分为94.1%，与轻量级网络MobileNet-V2、SqueezeNet、ShuffleNetV2(2x)、EfficientNetB0相比精度都更高。与分类性能较强的VGG13、GoogleNet、ResNet50网络分类性能较为相近，只比VGG13少0.9%。

表3为DW-VGG与经典网络应用性能对比，DW-VGG运算时间与内存都是较优的，识别单张图像只需32.06 ms，预测模型只有5.63 M。而EfficientNetB0、ShuffleNetV2(2x)轻量化网络数据读取与写入量较大，受制于GPU访存带宽，在单张图像的预测中速度较低。

表3 DW-VGG与经典网络应用性能对比

Table 3 Performance comparison between DW_VGG and classic network applications

网络名称	网络参数量/M	识别时间/ms	预测模型大小/MB
VGG-13	133.04	384.40	492.36
GoogLeNet	6.99	73.44	23.33
ResNet50	25.61	226.06	89.92
MobileNet-V2	3.54	67.21	8.07
ShuffleNetV2(2x)	7.42	186.75	18.94
EfficientNetB0	5.36	222.50	13.75
SqueezeNet	1.25	53.90	3.62
DW-VGG	1.61	32.06	5.63

为验证特征图全局平均对网络的有效性，图7为VGG13与VGG13使用全局平均(GA)操作的训练损失曲线，表4为训练结果。从训练Loss曲线可知特征图全局平均能够加速网络收敛，使分类网络更快找到最优解。由于全局平均参数少并且起到正则化的作用，因此训练后路面网络模型参数只有33.51 M，而F₁得分则提升了1.96%，上述数据表明全局平均能够提升分类网络性能。

图7 Loss曲线

Fig. 7 Loss curve

表4 VGG13训练结果

Table 4 VGG13 training results

网络名称	参数量/M	F₁/%	训练时间/min
VGG13+FC	492.03	95.00	98.1
VGG13+GA	33.51	96.96	90.8

图8为DW-VGG学生网络自学习过程与多层级知识蒸馏实验超参数测试结果，从图中可以看出算法对超参数的设置不太敏感，在参数α=2，β=2能达到较好的分类性能。

图8 DW-VGG不同超参数结果

Fig. 8 Results of different super parameters of DW-VGG

在知识蒸馏实验中，教师网络为VGG13+GA，并进行预训练，学生网络为DW-VGG。图9为多层级知识蒸馏算法结果，学生网络自学习（students network self learning，SSL）与教师网络指导知识蒸馏（teachers network guidance knowledge kdistillation，TKD）算法都能够提升分类性能。多层级知识蒸馏算法（multilevel knowledge distillation algorithm，MKD）提升结果最好F₁得分为96.57%，与教师网络F₁得分相差仅为0.39%，图像分类性能提升较为明显。

图9 多层级知识蒸馏算法结果

Fig. 9 Results of multi-level knowledge distillation algorithm

3 结束语

文中提出了一种基于车载视觉图像的深度学习路面分类方法，基于多层级知识蒸馏算法的DW-VGG深度学习网络具有较高的识别精度，且有效降低了网络的时间和空间成本，满足了车辆动力学控制的实时性要求。

参考文献

Rajendran S, Spurgeon S K, Tsampardoukas G, et al. Estimation of road frictional force and wheel slip for effective antilock braking system (ABS) control[J]. International Journal of Robust and Nonlinear Control, 2019, 29(3): 736-765. [百度学术]

Han K, Lee B, Choi S B. Development of an antilock brake system for electric vehicles without wheel slip and road friction information[J]. IEEE Transactions on Vehicular Technology, 2019, 68(6): 5506-5517. [百度学术]

Khaleghian S, Emami A, Taheri S. A technical survey on tire-road friction estimation[J]. Friction, 2017, 5(2): 123-146. [百度学术]

余卓平, 曾德全, 熊璐, 等. 基于激光雷达的无人车路面附着系数估计[J]. 华中科技大学学报(自然科学版), 2019, 47(7): 124-127. [百度学术]

Yu Z P, Zeng D Q, Xiong L, et al. Road adhesion coefficient estimation for unmanned vehicle based on lidar[J]. Journal of Huazhong University of Science and Technology (Natural Science Edition), 2019, 47(7): 124-127.(in Chinese) [百度学术]

Fényes D, Németh B, Gáspár P, et al. Road surface estimation based LPV control design for autonomous vehicles[J]. IFAC-PapersOnLine, 2019, 52(28): 120-125. [百度学术]

Paul D, Velenis E, Cao D, et al. Optimal μ-estimation-based regenerative braking strategy for an AWD HEV[J]. IEEE Transactions on Transportation Electrification, 2017,3(1): 249-258. [百度学术]

Ping X Y, Cheng S, Yue W, et al. Adaptive estimations of tyre-road friction coefficient and body’s sideslip angle based on strong tracking and interactive multiple model theories[J]. Proceedings of the Institution of Mechanical Engineers, Part D: Journal of Automobile Engineering, 2020, 234(14): 3224-3238. [百度学术]

Senatore A, Sharifzadeh M. Estimation of tyre-road friction during ABS braking for snow and ice conditions [C]//6° Workshop dell’Associazione Italiana. di Tribologia AIT Torino, Italy, 2018. [百度学术]

Sentouh C, Nguyen A T, Benloucif M A, et al. Driver-automation cooperation oriented approach for shared control of lane keeping assist systems[J]. IEEE Transactions on Control Systems Technology, 2019, 27(5): 1962-1978. [百度学术]

冯加明, 储茂祥, 杨永辉, 等. 改进YOLOv3算法的车辆信息检测[J]. 重庆大学学报, 2021, 44(12): 71-79. [百度学术]

Feng J M, Chu M X, Yang Y H, et al. Vehicle information detection based on improved YOLOv3 algorithm[J]. Journal of Chongqing University, 2021, 44(12): 71-79.(in Chinese) [百度学术]

Wang Y F, Nguyen B M, Fujimoto H, et al. Multirate estimation and control of body slip angle for electric vehicles based on onboard vision system[J]. IEEE Transactions on Industrial Electronics, 2014, 61(2): 1133-1143. [百度学术]

Simonyan K, Zisserman A. Very deep convolutional networks for large-scale image recognition[EB/OL]. 2014: arXiv: 1409.1556. https://arxiv.org/abs/1409.1556. [百度学术]

Geiger A, Lenz P, Stiller C, et al. Vision meets robotics: the KITTI dataset[J]. The International Journal of Robotics Research, 2013, 32(11): 1231-1237. [百度学术]

Yu F, Chen H F, Wang X, et al. BDD100K: a diverse driving dataset for heterogeneous multitask learning[EB/OL]. 2018: arXiv: 1805.04687. https://arxiv.org/abs/1805.04687. [百度学术]

Maddern W, Pascoe G, Linegar C, et al. 1 year, 1000 km: the Oxford RobotCar dataset[J]. The International Journal of Robotics Research, 2017, 36(1): 3-15. [百度学术]

Szegedy C, Vanhoucke V, Ioffe S, et al. Rethinking the inception architecture for computer vision[C]//2016 IEEE Conference on Computer Vision and Pattern Recognition(CVPR). IEEE, 2016: 2818-2826. [百度学术]

He K M, Zhang X Y, Ren S Q, et al. Deep residual learning for image recognition[C]//2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). IEEE, 2016: 770-778. [百度学术]

Sandler M, Howard A, Zhu M L, et al. MobileNetV2: inverted residuals and linear bottlenecks[C]//2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. IEEE, 2018: 4510-4520. [百度学术]

Iandola F N, Han S, Moskewicz M W, et al. SqueezeNet: AlexNet-level accuracy with 50x fewer parameters and <0.5MB model size[EB/OL]. 2016: arXiv: 1602.07360. https://arxiv.org/abs/1602.07360. [百度学术]

Ma N N, Zhang X Y, Zheng H T, et al. ShuffleNet V2: practical guidelines for efficient CNN architecture design[C]//European Conference on Computer Vision. Cham: Springer, 2018: 122-138. [百度学术]

Tan M, Le Q V. EfficientNet: Rethinking model scaling for convolutional neural networks[C]//2019 International Conference on Machine Learning (ICML). IEEE, 2019. [百度学术]

期刊社主页

编辑部首页

期刊介绍

编委会

数据库收录

过刊浏览

联系我们

面向路面附着估计的路面图像识别 PDF

摘要

关键词