人机交互式驾驶模拟仿真系统的开发为基于人车路协同的智能汽车与智能交通系统的研究提供了关键技术手段。利用视景仿真技术模拟三维世界,构造逼真的仿真模型,模拟逼真的仿真环境,达到近乎真实的仿真效果,可实现视觉、听觉、触觉等感官的良好体验,已成为驾驶模拟仿真的重要手段。将视景仿真技术应用到智能交通系统,能够为智能交通系统仿真提供真实、生动的交通仿真环境,构建新颖的交通仿真模式[1]。针对三维图形渲染引擎的开发,国外游戏软件公司以及几所顶尖学府均投入了大量人力物力。在这些商业引擎的推动下,三维图形渲染技术得到了迅猛发展。杨亚联等基于Unity3D软件开发了人在环路的人机交互式视景仿真系统[2]。S. de Groot等利用驾驶模拟器,研究了驾驶员驾驶能力和驾驶风格[3]。Kazumu等利用可穿戴设备基于加速度数据研究了驾驶员行为特征[4]。Seyyed Meisam等设计了驾驶模拟器分析驾驶员特性和驾驶员能力变化[5]。Epic Game公司3A级三维图形渲染引擎虚幻4(UE4, unreal engine)具有用户友好的图形界面,完善的功能模块[6]。
研究基于UE4搭建了驾驶模拟器,开发人机交互式模拟仿真系统,通过逼真的负责交通场景,设计长时间跟车等实验工况,采集驾驶数据并提取驾驶特性指标,运用模糊C均值聚类方法(FCM)研究驾驶员特性,建立驾驶员特性与驾驶能力的关联,为驾驶能力评估和基于实时驾驶能力的驾驶权分配机制研究提供科学依据。
1 驾驶模拟器仿真环境和硬件架构驾驶模拟视景仿真环境包含人、车、路等多个交通元素,是一个十分复杂的、包含各种典型交通场景的庞大系统。为了获得优异的交互性,逼真的汽车动力学特性,惊艳的场景画面以达到沉浸式效果,研究基于专业的游戏引擎UE4,结合CarSim汽车动力学仿真模型和罗技G29力反馈方向盘踏板套装,设计开发驾驶模拟器的视景仿真环境和硬件架构,实现优异的用户体验。
1.1 仿真环境模型构建仿真环境构建需要大量的反映交通元素的三维模型。首先,要建立视景仿真模型库,为视景仿真平台提供模型的储备。交互式视景驾驶仿真环境构建流程如图 1所示,基于三维制作软件Maya和3Dmax,建立车辆、道路、建筑、交通灯、行人、路牌等交通元素的三维模型,并用Photoshop制作贴图,再利用V-ray渲染,以增强其视觉体验感。此外,还需要对模型进行充分优化,以缩减最终执行文件的大小、提高虚拟驾驶视景系统的流畅度,有利于改善用户体验。
![]() |
图 1 驾驶仿真环境构建流程图 Figure 1 Flow Chart of Developing Driving Simulation Environment |
从三维软件导出FBX文件到UE4软件中,定义三维模型的空间位置,使用引擎的地形工具(例如雕刻、平滑、平整、腐蚀、噪点等)创建地貌(高山,河谷,平原),使用引擎的描画工具修饰地形地貌的细节,利用种植功能添加植被,使其与地形地貌相吻合,利用Spline Generator样条曲线工具构建道路,再利用Decal增加场景的细节效果。图 2是构建的车辆模型,建筑模型,道路、建筑、交通灯、行人、路牌等交通元素模型,以及地形和植被模型,基于这些模型,可设计无缝连接的城市、山间、小镇和高速公路场景,实现丰富的智能驾驶仿真场景。进一步利用天空球配置环境光源、大气层、雾气等,加载DynamicSky动态天空,可以模拟朝阳黄昏,昼夜交替,结合UE4实时GI动态全局光照,进行实时光照动态渲染。图 3是构建的真实光影效果和多变的昼夜天气情况。
![]() |
图 2 仿真环境模型 Figure 2 Static Mesh Modal |
![]() |
图 3 昼夜变化的光影效果 Figure 3 Natural Day/Night Cycle |
针对驾驶模拟器,设计驾驶员视角,以模拟实时驾驶景象,反馈后视镜、车速、档位、导航地图等信息,并采用高速运动动态模糊和转弯视觉模拟方法,增强驾驶临场感和速度感。图 4是设计的驾驶员视角。
![]() |
图 4 驾驶员视角 Figure 4 Driver View |
车辆动力学模型部分采用CarSim软件进行参数化建模,由于CarSim以车辆总的实际数据为基础,建立的整车模型与实际车辆动力学模型高度一致,确保了驾驶模拟器中驾驶员操作的真实性与驾驶数据的可靠性。
利用CarSim汽车动力学模型和UE4的Vehicle Component,结合C++语言编程联合仿真,设置车辆惯性系数、车轮参数附着系数,设置驱动方式、悬挂参数,设置发动机性能、制动阻尼及制动时前后轮受力比,设置档位、设置转向系统等,即可实现对车辆参数的设定及运动控制。利用Mechanical Simulation发布的CarSim Vehicle Dynamics虚幻4插件,可以在UE4环境中运行CarSim汽车动力学模型。图 5是CarSim联合仿真的样车及参数设置。
![]() |
图 5 CarSim联合仿真的样车及参数设置 Figure 5 UE Plugin Sedan and CarSim Data |
真实的交通环境复杂且具有很高的随机性,利用UE4的蓝图编辑器、人工智能AI、行为树和导航Navigation等功能模块完成交通参与的布置以及参数设定,基于现实交通场景搭建典型驾驶环境,设置典型道路场景。而后在场景中添加交通信号灯的实时切换、添加行人和来往车辆的交通参与等,模拟来往车辆的启停、驾驶、跟车、变道等驾驶行为以及行人的站立、走动、过斑马线甚至是骑自行车、闯红灯等行为。最后利用UE4的蓝图通信和TriggerBox触发模块模拟车联网环境实现交通信息和驾驶信息准确、及时的获取,构建了模拟车联网环境的交通环境,如图 6所示。
![]() |
图 6 复杂交通虚拟环境 Figure 6 Effect of Traffic Virtual Environment |
驾驶模拟器的硬件架构包括:罗技G29力反馈方向盘踏板套装、DXRACER汽车座椅、2台大屏2 k显示器以及一套立体声音响。罗技G29力反馈方向盘踏板套装包括一个方向盘,一个手动排挡,一个带离合器的赛车踏板。罗技G29的方向盘具有900度转向范围,可以最大程度模拟真实驾驶行为,还提供可编程键及方向控制键。2台大屏2 k显示器作为视觉反馈设备显示虚拟驾驶场景,立体声音响作为听觉反馈器并考虑多普勒效应模拟真实驾驶音效以及环境音效,驾驶模拟器硬件架构如图 7所示。
![]() |
图 7 驾驶模拟器 Figure 7 Driving Simulator |
驾驶模拟器中设计了多种工况的模拟驾驶实验,召集受试驾驶员进行模拟驾驶实验,采集驾驶员基本信息、驾驶技能等离线数据,为了保证试验数据的普遍性和可靠性,实验召集了受试驾驶员34位,其中男性驾驶员24名,女性驾驶员10名,年龄18-32岁,具有中华人民共和国C1驾驶执照,实际驾龄0~6年,身体健康,无严重精神疾病史和精神类药物服用史,属于正常人群个体。34位受试驾驶员模拟驾驶实验前一天要求被试者保证充足的睡眠,并在前一天避免饮用或服用酒、茶、咖啡和药物等对中枢神经系统有兴奋和抑制作用的食品、药物,试验前避免剧烈运动,并告诉受试驾驶员实验注意事项,并让其熟悉试验环境和仪器设备。
驾驶模拟器设计了复杂交通环境下5个数据采集模块通过G29输入信息模块、驾驶信息采集模块、车道信息采集模块、队列信息采集模块和环境感知模块5个数据采集模块,模拟车联网环境的数据采集。如表 1所示,通过G29输入信息模块、驾驶信息采集模块、车道信息采集模块等5个数据采集模块,可采集G29力反馈方向盘踏板套装的启动、转向、加速踏板、制动踏板、排挡、驻车制动、转向灯、前大灯信号,实时获得本车驾驶速度、加速度、方向盘转角、加速/制动踏板位置、前车驾驶速度、跟车车距、碰撞时间TTC、车道线偏离标准差SDLP、反应时间RT、车道状况、环境感知等信息,获取各工况驾驶数据。各采集模块模拟的车联网环境下能够采集路段中全部来往车辆数据,实时性高(<24 ms),采集频率快(1 ms~50 ms),数据量庞大,采集规模以及多样性,数据采集的实时性均能够满足研究需求。
![]() |
表 1 数据采集模块信息统计表 Table 1 Data Collection Module Information |
利用驾驶模拟器再现交通环境并采集驾驶数据,与实测方法相比有费用低、安全性高、快速真实、扩展性好等几个方面的优点。为保证驾驶数据采集的精确度、采集频率及数据量,避免数据误差对研究结果造成干扰,研究采用卡尔曼滤波法,对随机误差进行预处理。
3 基于驾驶数据驾驶特性分析驾驶人-车辆单元作为交通流的主体具有整体特征,车辆行驶状态和驾驶数据可以反应驾驶员操纵特性[12]。采用驾驶模拟器,设计长时跟车工况实验采集驾驶数据,研究驾驶员的纵向驾驶行为。34位受试驾驶员进行多次连续的跟车实验,并采集驾驶数据,对原始驾驶数据进行完整性分析、滤波处理、正态检验,最终获得154份可用样本数据,利用SPSS数据分析软件分析各组数据的显著性差异,确定显著性差异较大的反应时间RT、速度波动标准差SDS、平均速度差Δv、最小碰撞时间TTC、跟车时距TH等驾驶特性指标,利用多指标对驾驶员特性进行分析。
3.1 模糊C均值聚类分析模糊集合以及模糊推理理论自诞生至今都被认为是处理不确定规则等复杂问题的有效方法,并迅速在自动控制、模式识别等各大领域得到推广和应用[13]。模糊C聚类方法(FCM,fuzzy C-means)是一种无监督的模糊聚类方法,在算法实现过程中不需要人为干预,是基于对目标函数优化基础上的一种数据聚类方法。聚类结果为每一个数据点对聚类中心的隶属程度,该隶属程度用一个数值来表示。
一般性模糊聚类分析的目标函数为
$ {J_m}\left( {\mathit{\boldsymbol{U}}, P} \right) = \sum\limits_{k = 1}^n {\sum\limits_{i = 1}^c {{{\left( {{u_{ik}}} \right)}^m}{{\left( {{d_{ik}}} \right)}^2}, } } $ | (1) |
其中:U为原矩阵;c为聚类数;P为聚类中心;uik表示xk与第Ⅰ聚类的隶属度;m为模糊系数,通常模糊系数m取值2时受噪点的影响较小,对偏离点的控制力较强,m>1时,dik为一种距离范数,一般表示为样本点xk与第i聚类中心pi的欧式距离,即
$ d_{ik}^2 = {\left\| {{x_k} - {p_i}} \right\|_A}。$ | (2) |
目标函数最优解聚类准则:在隶属度
$ \min \left\{ {{J_m}\left( {\mathit{\boldsymbol{U}}, P} \right)} \right\} = \min \left\{ {\sum\limits_{k = 1}^n {\sum\limits_{i = 1}^c {{{\left( {{u_{ik}}} \right)}^m}{{\left( {{d_{ik}}} \right)}^2}} } } \right\} = \sum\limits_{k = 1}^n {\left\{ {\min \left[ {\sum\limits_{i = 1}^c {{{\left( {{u_{ik}}} \right)}^m}{{\left( {{d_{ik}}} \right)}^2}} } \right]} \right\}, } $ | (3) |
即求
$ \min \left[ {\sum\limits_{i = 1}^c {{{\left( {{u_{ik}}} \right)}^m}{{\left( {{d_{ik}}} \right)}^2}} } \right], $ | (4) |
求解最优解得
$ {u_{ik}} = \frac{1}{{\sum\limits_{j = 1}^c {{{\left( {\frac{{\left\| {{x_k} - {p_i}} \right\|}}{{\left\| {{x_k} - {p_j}} \right\|}}} \right)}^{\frac{2}{{m - 1}}}}} }}, $ | (5) |
聚类中心为
$ {p_j} = \frac{{\sum\limits_{i = 1}^n {{{\left( {{u_{ik}}} \right)}^m}{x_k}} }}{{\sum\limits_{i = 1}^n {{{\left( {{u_{ik}}} \right)}^m}} }}。$ | (6) |
影响驾驶员感知、判断及操作特性的因素很多,采用多指标组合,将驾驶特性指标分为稳态和瞬态特性,分别进行提取和计算,并作归一化处理,统一指标权重,以减少原始数据量纲差异对聚类结果的影响,通过综合评价来提高聚类精度。选取反应时间RT和跟驰时距TH作为稳态特性指标,速度波动标准差SDS作为瞬态特性指标进行聚类分析。采用FCM聚类算法,根据绝对误差和聚类数尽可能小的原则进行聚类,聚类结果为每一个数据点对聚类中心的隶属程度最大化,初始稳态指标聚类数目为3,引入瞬态指标利用初步聚类的聚类中心进行再聚类,最终得到驾驶员特性的6种聚类为:熟练、稳健、保守、迟钝、激进、风险类型。聚类结果如图 8所示,基本特性统计如表 2所示。
![]() |
图 8 FCM模糊聚类结果 Figure 8 FCM Clustering Results |
![]() |
表 2 FCM模糊聚类结果统计表 Table 2 FCM Clustering Statistics Results |
根据表 2的聚类结果发现:基于驾驶稳态特性来看具有较长反应时间和较小跟车时距的驾驶行为存在较大的碰撞风险,并且对交通运行状况影响很大。相反,具有较小反应时间和较大跟车时距的驾驶行为,对危险状态比较敏感,始终保持在安全驾驶的环境下,基于瞬态指标来看较小速度波动标准差表示驾驶员驾驶技能熟练且驾驶操作沉着冷静,较大的速度波动标准差,表示驾驶员急加/减速行为较多,对前车速度变化敏感,易出现激进驾驶行为。可以看到熟练驾驶员反应能力强,车速控制稳定,倾向于紧密跟车,结合驾驶员信息采集表发现此类驾驶员平均驾龄最长,有较高的驾驶技能水平,属于“老司机”;稳健驾驶员跟车时距适中,保持稳态跟驰,反应时间适中,车速保持稳定,驾驶技能扎实,倾向安全驾驶;保守驾驶员反应时间较长,保持远距离的弱跟驰状态,对前车速度变化敏感,车速波动较大,调查发现其平均驾龄短,驾驶技能水平偏低,属于“新手司机”;激进驾驶员相较于稳健驾驶员,跟车更近,对车头距离变化敏感,反应很快,车速波动较大,有鲁莽驾驶的倾向;迟钝驾驶员相较于稳健驾驶员,反应时间更长,对驾驶风险知觉能力较差;风险驾驶员跟车近,反应能力较差且车速波动大,具有较高的驾驶风险。
3.2 长时跟驰过程中驾驶员特性转变驾驶人驾驶技能和驾驶特性存在差异,驾驶过程中驾驶员实时驾驶能力存在较大波动,导致不同程度的安全风险。其中,驾驶员特性中表征驾驶员开车的方式或习惯性的驾驶方式即是传统理解的驾驶风格(driving style)。驾驶风格是驾驶员在驾驶活动中形成的习惯,总体上相对稳定,包括驾驶员注意力、行为习惯、对驾驶速度、车距的选择等。驾驶风格与驾驶行为,尤其是与驾驶风险度密切相关。
对驾驶员一段20 min长时跟驰驾驶实验数据进行驾驶特性分析,如图 9所示受试驾驶员在连续跟驰实验中的驾驶员特性转变情况,以1号驾驶员为例:行驶过程中,1号驾驶员驾驶特性表现为81%稳健、11%激进、8%迟钝,可以判断1号驾驶员的驾驶风格为稳健型,长时跟驰中发生了3次驾驶特性的转变,表现为稳健-激进-迟钝的变化过程,发现在实验过程中1号驾驶员精神状态良好,情绪兴奋,行驶中逐渐迫近跟驰车辆,当处于紧密跟驰状态时,1号驾驶员跟车时距减小,注意力集中,反应良好,对跟驰车辆速度变化敏感,车速度波动变大,此时驾驶特性转变为激进类型,随着实验推进,1号驾驶员出现倦怠感,跟车时距逐渐变大,从紧密跟驰状态变为舒适跟驰状态,反应力下降,车速波动也趋于稳定,此时驾驶特性转变迟钝类型。
![]() |
图 9 受试驾驶员在连续跟驰驾驶员特性转变 Figure 9 Driver Characteristics Change in Long-term Experiments |
实验过程中驾驶员特性占比最大的类型可以判断为驾驶员的基准驾驶特性,即驾驶风格。与传统驾驶风格不同的是,驾驶员特性能反应驾驶员的危险知觉,已知驾驶员特性与交通事故发生率之间存在很大的相关性,不同风格驾驶人之间在超车换道频率、急加速、急减速、近距离跟驰等行为方面存在明显差异,会随着驾驶员意识,情绪等心理或生理的变化发生改变,从而对驾驶员实时驾驶能力产生影响,可以发现驾驶过程中驾驶员特性发生了多次转变。因此,有必要进一步研究驾驶员特性转变机理,以及对驾驶人实时驾驶能力的影响,进而修正和精确评估实时驾驶能力。
4 结语研究基于虚幻四引擎UE4交互式视景仿真技术,通过车辆、道路、建筑、交通灯、行人、路牌等交通元素的驾驶视景仿真环境搭建,开发了基于CarSim汽车动力学模型和罗技G29力反馈方向盘踏板的具有高拟真度和人机交互的驾驶模拟系统。该系统能实时采集驾驶数据,获取详尽的交通信息,能自定义复杂的交通状况,实现了优秀的画面表现,良好的人机交互体验。
研究采用FCM模糊C聚类算法对驾驶模拟器采集的驾驶员驾驶数据进行聚类分析,采用多指标组合,将驾驶特性指标分为稳态和瞬态特性,将驾驶员特性划分为了熟练、稳健、保守、迟钝、激进、风险6个类型,聚类结果很好的反映了驾驶风格和驾驶倾向,符合人们对驾驶员特性的理解。
此外驾驶特性会因为驾驶环境、情绪波动、疲劳分心等驾驶状态改变而发生转变,且已知驾驶员特性与风险驾驶相关,驾驶员特性的转变将会影响驾驶员的驾驶行为和实时驾驶能力。研究为驾驶员的驾驶能力实时评价和基于实时驾驶能力的驾驶权分配机制研究奠定了基础。
[1] |
郭弘倩.车路协同环境下交互式视景仿真技术研究[D].北京: 北京交通大学, 2016. GUO Hongqian. Research of interactive visual simulation technology based on CVIS environment[D]. Beijing: Beijing Jiaotong University, 2016. http://cdmd.cnki.com.cn/Article/CDMD-10004-1016058657.htm |
[2] |
杨果.基于虚拟现实的驾驶模拟仿真系统开发[D].重庆: 重庆大学, 2016. YANG Guo. Development of driving simulation system based on virtual reality[D]. Chongqing: Chongqing University, 2016. http://www.wanfangdata.com.cn/details/detail.do?_type=degree&id=D01015035 |
[3] |
Groot S de, Centeno Ricote F, de Winter J C F, et al. The effect of tire grip on learning driving skill and driving style:A driving simulator study[J]. Transportation Research Part F:Psychology and Behaviour, 2012, 15(4): 413-426. DOI:10.1016/j.trf.2012.02.005 |
[4] |
Kobayashi K, Akiduki T, Zhang. A study of feature extraction of individual characteristics in driving behavior from accelerometer data[J]. The Proceedings of JSME annual Conference on Robotics and Mechatronics (Robomec), 2017(1): 38-42. |
[5] |
Seyyed M T, Kojiro M, Minoru S, et al. Development of a driving simulator with analyzing driver's characteristics based on a virtual reality head mounted display[J]. Journal of Transportation Technologies, 2017, 07(03): 78-81. |
[6] |
Andrew S. An introduction to unreal engine 4[M]. London: Taylor and Francis, 2016.
|
[7] |
Diana R, Christian B, Rainer S. Methods to validate automotive user interfaces within immersive driving environments[M]. Germany: Springer International Publishing, 2017.
|
[8] |
龚文敏, 林承德, 牛思先, 张玲. 汽车模拟驾驶及突发险情仿真系统[J]. 电子技术与软件工程, 2017(08): 198. GONG Wenmin, LIN Chengde, NIU Si Xian, ZHANG Ling. Vehicle driving simulator and sudden danger simulation system[J]. Electronic Technology & Software Engineering, 2017(08): 198. |
[9] |
李志魁.基于CarSim的整车动力学建模与操纵稳定性仿真分析[D].吉林: 吉林大学, 2007. LI Zhikui. Modeling, Simulation and analysis of automotive handling and stability based on carSim[D]. Jilin: Jilin University, 2007. http://cdmd.cnki.com.cn/Article/CDMD-10183-2007093304.htm |
[10] |
姜峰. 基于Unity3D的虚拟驾驶系统的开发与应用[J]. 智能计算机与应用, 2017, 7(04): 39-41. JIANG Feng. Development and implementation of virtual driving system based on unity 3D[J]. Intelligent Computer and Applications, 2017, 7(04): 39-41. DOI:10.3969/j.issn.2095-2163.2017.04.013 |
[11] |
柴锐.车联网环境下的驾驶行为特性研究[D].北京: 北京理工大学, 2016. CAI Rui. Research on driving behavior characteristics based on internet of vehicles[D]. Beijing: Beijing Institute of Technology, 2016. http://cdmd.cnki.com.cn/Article/CDMD-10007-1016710595.htm |
[12] |
邱小平, 孙若晓, 于丹, 杨达. 基于模糊聚类的车辆跟驰隶属度函数确定方法[J]. 计算机应用研究, 2016, 33(07): 1952-1956. QIU Xiaoping, SUN Ruoxiao, YU Dan, YANG Da. Method of establishing membership functions of Car-following behavior based on fuzzy clustering[J]. Application Research of Computers, 2016, 33(07): 1952-1956. DOI:10.3969/j.issn.1001-3695.2016.07.006 |
[13] |
李克强. 智能电动汽车的感知、决策与控制关键基础问题及对策研究[J]. 科技导报, 2017, 35(14): 85-88. LI Keqiang. Key topics and measures for perception, decision-making and control of intelligent electric vehicles[J]. Science & Technology Review, 2017, 35(14): 85-88. |
[14] |
李国法.基于模式转移和操控特性的驾驶风格评测研究[D].北京: 清华大学, 2016. LI Guofa. Driving style assessment using maneuver transition probabilities and driver operation aggressiveness[D]. Beijing: Tsinghua University, 2016. http://cdmd.cnki.com.cn/Article/CDMD-10003-1017710357.htm |
[15] |
Sagberg F. A review of research on driving styles and road safety[J]. Human Factors, 2015, 57(7): 1248-1275. DOI:10.1177/0018720815591313 |