摘要
为对交通流进行多步预测，支持智能交通系统的长期决策任务，一种基于编码器 -解码器（encoder-decoder, ED）的卷积神经网络(convolutional neural networks, CNN)-门循环 单元(gate recurrent unit, GRU)模型，简称 ED CNN-GRU。首先使用 CNN 作为编码器，对交 通流序列进行信息捕捉，再将上述信息通过 GRU 解码器进行解释并输出。实验证明，对比 CNN、GRU 单个模型，ED 框架有效解决了误差的迅速累积问题。对比其他基准模型，CNN、 GRU 模型对于交通流序列的特征提取及解释能力较为优秀。对于未来 12 个步长的交通流量 预测任务，对比其他基准模型，单因素输入情况的 ED CNN-GRU 模型的均方根误差下降约 0.344~6.464，平均绝对误差下降约 0.192~0.425。对比单因素输入，多因素输入下 ED CNN-GRU 模型拥有更好的预测能力。证明了 ED CNN-GRU 模型在不同输入维度的多步交通流预测中任务中均具有良好的预测能力，为数据获取条件不同的城市提供了一个支持单因素及多因素输入情况的多步交通流预测模型。
交通拥堵、尾气排放等问题致使城市交通管理任务日益艰巨。智能交通系统（intelligent traffic system, ITS）作为一种关键技术，可有效解决现有交通问题。准确预测交通流变化趋势是使用ITS对城市交通进行控制、诱导的前提和基础。
为提高ITS的决策能力，研究者提出大量基于统计学模型和机器学习模型的交通流预测模
交通流包含交通流量、密度、交通速度等多个因素，在进行交通流预测任务时，应该将交通流序列多因素之间的相互影响纳入考虑范围。卷积神经网络（convolutional neural network, CNN）能够对多个时间序列特征进行有效提取。在对较长时间序列进行拟合时，相较于其他基准深度学习模型，GRU表现出更为优秀的预测效果。因此考虑使用CNN对交通流序列进行特征提取，并将提取到的特征输入GRU进行解释。
因此，笔者提出一种新的预测模型，将其命名为“encoder-decoder structure CNN-GRU combined model”，简称ED CNN-GRU，以此实现对交通流序列的多步预测。主要创新：
1）使用ED框架，以CNN为编码器将输入序列转换为固定长的向量，通过一个GRU解码器将生成的向量转化为输出序列，以此解决多步预测中误差迅速累积问题。
2）使用CNN对交通流序列进行特征提取，将提取结果输入GRU进行解释并输出，提高模型的拟合能力。
3）基于真实交通数据集，将传统统计模型：自回归滑动平均(auto-regressive and moving average, ARMA)、浅层机器学习模型：SVR、极端梯度提升(extreme gradient boosting, XGBOOST)、基准深度学习模型：RNN、CNN、GRU模型作为对照组进行实验验证。实验结果表明ED CNN-GRU模型在单个、多个因素的输入情况下对交通流序列均具备较好解释效果。
卷积神经网络(convolutional neural networks, CNN)是人工神经网络的一种。一维CNN能够对时间序列进行特征提取。已知序列A={a0,a1,a2,…,am}，L(A)=m+1，B={b0,b1,b2,…,bk}，L(B)=k+1。用C表示A、B 2个序列进行卷积操作后得到的新序列，计算公式为
| (1) |
| ， | (2) |
式中：*为卷积操作；L(C)、L(A)、L(B)分别为序列C、A、B的长度。
CNN提取时间序列特征，就是找到一个长度为m的序列作为滤波器，与原时间序列做卷积、池化操作，得到深层的序列表达。CNN模型的框架如
图1 CNN模型框架
Fig. 1 CNN model framework
门控循环网络(gate recurrent unit, GRU)与长短期记忆网络(long short-term memory，LSTM)的结构相似，GRU将LSTM的输入门与遗忘门进行整合，形成更新门配合重置门对网络进行优化。相较于LSTM，GRU的网络结构较为简单，计算速度快。
GRU提取数据特征的过程如下：
通过重置门对隐藏状态的部分信息进行计算
| ， | (3) |
式中：t为t时刻重置门的输出；σ为sigmoid激活函数；Wr为重置门学习到的权重矩阵；时刻记忆单元的状态；xt为t时刻记忆单元的输入。
使用更新门对t-1时刻的隐藏状态进行映射，使用sigmoid函数将数据约束在[0,1]，在t时刻更新门的输出为
| ， , | (4) |
式中：t为t时刻更新门的输出；WZ为更新门学习到的权重矩阵。
将重置门的输出与t-1时刻的隐藏状态相乘再与xt进行映射，使用tanh函数将数据约束在[-1,1]输出候选隐藏状态的记忆内容
| , | (5) |
式中：tanh为激活函数；Wh为候选隐藏状态学习到的权重矩阵；⊗为向量间的乘法。
将上述记忆内容与当前时刻记忆内容进行叠加得到该时刻的单元状态
| 。 | (6) |
GRU的内部结构如
图2 GRU的内部结构
Fig. 2 The internal structure of the GRU
CNN-GRU模型的预测方法
研究模型结构如
图3 研究模型的结构
Fig. 3 The structure of model in this paper
输入数据先经过由2个卷积层和一个池化层的CNN组成的编码器，使用全连接层将输出结果平坦化，将输出数据通过RepeatVector层进行重复后输入由单层GRU构成的解码器，最后将数据通过2个TimeDistributed包装器进行输出。CNN及GRU的隐藏层均为64个神经元，第一个TimeDistributed包装器为8个神经元，第二个TimeDistributed包装器的神经元个数与预测步长相等。
ED CNN-GRU模型的建模步骤如下：
1）使用Min-Max归一化对交通流序列进行数据规约；
2）以8：2的比例划分训练集和测试集；
3）以8个时间步长作为滑动窗口进行训练数据读取，输入ED CNN-GRU模型进行训练；
4）保存并使用训练好的ED CNN-GRU模型以8个时间步长作为滑动窗口进行测试数据读取，模型测试；
5）将输出的原始预测数据进行反归一化后进行误差计算。
基于PEMS-04进行实例验证，该数据集为美国加利福尼亚州第4区高速公路的某路段2018年1月1日~2018年6月13日的交通流量、平均速度数据，样本的时间间隔为5 min，处理为每日早高峰至晚高峰时段的数据，即7:00-19:00。
深度学习模型均使用TensorFlow深度学习框架构建。基准深度学习模型的隐藏层个数均为1，神经元个数为64，损失函数选择MSE，优化器选择Adam，激活函数选择Relu，batch_size=64，其余参数均为默认
分别构建单变量输入的ARMA、SVR、XGBOOST、RNN、CNN、GRU、ED CNN-GRU模型，及多变量输入的ED CNN-GRU模型，使用PEMS-04数据集进行实验验证，单变量模型输入特征为交通流量，多变量模型输入特征为交通流量、平均速度。使用前8个历史数据对未来12个时间步长的交通流量进行拟合。模型在未来12个时间步长的平均RMSE和MAE值详见
| 模型 | PEMS-04 | |
|---|---|---|
| RMSE | MAE | |
| ARMA | 53.123 | 5.992 |
| SVR | 52.445 | 5.965 |
| XGBOOST | 51.799 | 5.977 |
| RNN | 51.158 | 5.982 |
| CNN | 50.359 | 5.919 |
| GRU | 48.331 | 5.859 |
| ED CNN-GRU（Univariate） | 47.003 | 5.759 |
| ED CNN-GRU（Multivariate） | 46.659 | 5.567 |
由
为进一步分析模型在每一个时间步长上的拟合效果，使用前8个历史数据对未来12个时间步长之间特定步长的交通流量进行拟合。模型在多个特定时间步长下的平均RMSE和MAE值详见
| 模型 | PEMS-04 | |||||||
|---|---|---|---|---|---|---|---|---|
| RMSE | MAE | |||||||
| t+1 | t+3 | t+6 | t+12 | t+1 | t+3 | t+6 | t+12 | |
| ARMA | 38.243 | 43.418 | 53.122 | 64.985 | 5.051 | 5.431 | 5.917 | 6.697 |
| SVR | 37.753 | 42.509 | 52.311 | 64.162 | 5.043 | 5.405 | 5.891 | 6.681 |
| XGBOOST | 37.664 | 42.013 | 51.507 | 63.442 | 5.084 | 5.402 | 5.994 | 6.721 |
| RNN | 34.815 | 41.773 | 50.724 | 63.403 | 5.038 | 5.397 | 5.981 | 6.672 |
| CNN | 34.839 | 41.682 | 49.143 | 62.043 | 5.032 | 5.341 | 5.903 | 6.632 |
| GRU | 34.831 | 40.839 | 48.933 | 59.482 | 5.043 | 5.337 | 5.895 | 6.581 |
| ED CNN-GRU（Univariate） | 33.636 | 40.408 | 48.417 | 56.508 | 4.923 | 5.269 | 5.808 | 6.397 |
| ED CNN-GRU（Multivariate） | 33.608 | 40.227 | 46.479 | 56.338 | 4.158 | 4.787 | 5.737 | 6.360 |
由
分别绘制预测时间步长为t+1和t+6时，单变量输入下的RNN、CNN、GRU、ED CNN-GRU模型及多变量输入下的ED CNN-GRU模型在训练集上的拟合曲线如
图4 模型在t+1、t+6时间步长下在训练集上的损失曲线
Fig. 4 The loss curve of the model on the training set at t+1 and t+6 time steps
图5 模型在t+1、t+6时间步长下在测试集上的拟合曲线
Fig. 5 The fitting curve of the model on the test set at t+1 and t+6 time steps
图6 不同输入状态的ED CNN-GRU模型在t+1、t+6时间步长下在测试集上的拟合曲线
Fig. 6 The fitting curves of ED CNN-GRU models with different input states on the test set at t+1 and t+6 time steps
由
笔者使用ED框架将CNN、GRU进行有效连接，通过进行多组实验证明了该建模方式的有效性：
1）相较于CNN、GRU单个模型，ED框架有效解决了误差的迅速累积；
2）相较于其他基准模型，CNN、GRU模型对于交通流序列的特征提取及解释能力较为优秀；
3）证明了ED CNN-GRU模型在单变量、多变量交通流序列的输入下均有较好预测效果，且在多个交通流时间序列输入的情况下预测效果最佳。为数据获取条件不同的城市提供了一个支持单变量及多变量输入的多步交通流预测模型。
参考文献
姚博凡,邓如丰,熊宸,等.基于时空特征向量的城市快速路交通状态长时段预测[J].中山大学学报(自然科学版),2021,60(3):115-123. [百度学术]
Yao B F, Deng R F, Xiong C, et al. Long-term traffic status prediction of urban expressway based on spatio-temporal eigenvector[J]. Acta Scientiarum Naturalium Universitatis Sunyatseni,2021,60(3):115-123.(in Chinese) [百度学术]
黄敏,毛锋,钱宇翔,等.基于Dropconnect的CorrelationNet预测乘客出租车需求[J].中山大学学报(自然科学版),2020,59(2):86-94. [百度学术]
Huang M, Mao F, Qian Y X, et al. Passenger taxi boarding demand prediction via CorrelationNet with Dropconnect[J]. Acta Scientiarum Naturalium Universitatis Sunyatseni,2020,59(2):86-94.(in Chinese) [百度学术]
李欣.基于Spark的多阶空间权重矩阵STARIMA交通流预测分析方法[J].中山大学学报(自然科学版),2018,57(6):41-49. [百度学术]
Li X. Spark-based traffic flow prediction analysis using multi-order spatial weighting matrix STARIMA[J]. Acta Scientiarum Naturalium Universitatis Sunyatseni,2018,57(6):41-49.(in Chinese) [百度学术]
梁艳平,毛政元,邹为彬,等.基于相似数据聚合与变K值KNN的短时交通流量预测[J].地球信息科学学报,2018,20(10):1403-1411. [百度学术]
Liang Y P, Mao Z Y, Zou W B, et al. Short-term traffic flow prediction based on similar data aggregation and KNN with varying K-value[J]. Journal of Geo-information Science,2018,20(10):1403-1411.(in Chinese) [百度学术]
Williams B M, Hoel L A. Modeling and forecasting vehicular traffic flow as a seasonal ARIMA process: theoretical basis and empirical results[J]. Journal of Transportation Engineering, 2003, 129(6): 664-672. [百度学术]
刘钊,杜威,闫冬梅,等.基于K近邻算法和支持向量回归组合的短时交通流预测[J].公路交通科技,2017,34(5):122-128， 158. [百度学术]
Liu Z, Du W, Yan D M, et al. Short-term traffic flow forecast based on combination of K nearest neighbor algorithm and support vector regression[J]. Journal of Highway and Transportation Research and Development,2017,34(5):122-128-158.(in Chinese). [百度学术]
Wang B, Wang J, Zhang Z, et al. Traffic flow prediction model based on deep learning[C]//International Conference on Man-Machine-Environment System Engineering. Singapore: Springe, 2021: 739-745. [百度学术]
王博文,王景升,朱茵,等.基于ARMA-SVR的短时交通流量预测模型研究[J].公路交通科技,2021,38(11):126-133. [百度学术]
Wang B W, Wang J S, Zhu Y, et al. Study on short-term traffic volume prediction model based on AＲMA-SVR[J]. Journal of Highway and Transportation Research and Development,2021,38(11):126-133.(in Chinese) [百度学术]
戢晓峰,戈艺澄.基于深度学习的节假日高速公路交通流预测方法[J].系统仿真学报,2020,32(6):1164-1171. [百度学术]
Ji X F, Yi Y C. Holiday highway traffic flow prediction method based on deep learning[J]. Journal of System Simulation,2020,32(6):1164-1171.(in Chinese) [百度学术]
刘明宇,吴建平,王钰博,等.基于深度学习的交通流量预测[J].系统仿真学报,2018,30(11):4100-4105， 4114. [百度学术]
Liu M Y, Wu J P, Wang Y B, et al. Traffic flow prediction based on deep learning[J]. Journal of System Simulation,2018,30(11):4100-4105， 4114.(in Chinese) [百度学术]
孔繁辉,李健.深度信念网络优化BP神经网络的交通流预测模型[J].管理评论,2020,32(3):300-306. [百度学术]
Kong F H, Li J. Traffic flow prediction model based on deep belief network optimized BP neural network[J]. Management Review,2020,32(3):300-306. ,2020,32(3):300-306.(in Chinese) [百度学术]
温惠英,张东冉,陆思园.GA-LSTM模型在高速公路交通流预测中的应用[J].哈尔滨工业大学学报,2019,51(9):81-87. [百度学术]
Wen H Y, Zhang D G, Lu S Y. Application of GA-LSTM model in highway traffic flow prediction[J]. Journal of Harbin Institute of Technology,2019,51(9):81-87.(in Chinese) [百度学术]
Li P, Zhang Z, Grosu R, et al. An end-to-end neural network framework for state-of-health estimation and remaining useful life prediction of electric vehicle lithium batteries[J]. Renewable and Sustainable Energy Reviews, 2022, 156: 111843. [百度学术]
Fu R, Zhang Z, Li L. Using LSTM and GRU neural network methods for traffic flow prediction[C]//2016 31st Youth Academic Annual Conference of Chinese Association of Automation (YAC). IEEE, 2016: 324-328. [百度学术]
Li P, Zhang Z, Xiong Q, et al. State-of-health estimation and remaining useful life prediction for the lithium-ion battery based on a variant long short term memory neural network[J]. Journal of Power Sources, 2020, 459: 228069. [百度学术]
Lu Z, Lv W, Xie Z, et al. Highway traffic volume prediction via stacking KNN, SVR, MLP, RNN[C]//2018 IEEE SmartWorld, Ubiquitous Intelligence & Computing, Advanced & Trusted Computing, Scalable Computing & Communications, Cloud & Big Data Computing, Internet of People and Smart City Innovation. IEEE, 2018: 1408-1413. [百度学术]
Li N, Hu L, Deng Z L, et al. Research on GRU neural network satellite traffic prediction based on transfer learning[J]. Wireless Personal Communications, 2021, 118(1): 815-827. [百度学术]
Zhang Y, Zhang Y, Haghani A. A hybrid short-term traffic flow forecasting method based on spectral analysis and statistical volatility model[J]. Transportation Research Part C: Emerging Technologies, 2014, 43: 65-78. [百度学术]
Deshpande M, Bajaj P R. Performance analysis of support vector machine for traffic flow prediction[C]//2016 International Conference on Global Trends in Signal Processing, Information Computing and Communication (ICGTSPICC). IEEE, 2016: 126-129. [百度学术]
Dong X, Lei T, Jin S, et al. Short-term traffic flow prediction based on XGBoost[C]//2018 IEEE 7th Data Driven Control and Learning Systems Conference (DDCLS). IEEE, 2018: 854-859. [百度学术]