近日,智能车辆团队论文《Spatio-temporal Interactive Pedestrian Intention Prediction with Illumination Transformation》在IEEE Sensors Journal发表。

文章研究了基于时空交互对行人意图信息的预测。基于深度学习的方法在提高预测精度方面取得了决定性的进展，这些方法大多集中在单调的照明环境中，而忽视了丰富的行人互动的重要性。为了解决上述问题，本文提出了一个行人意图预测框架，该框架可以模拟多光照环境下复杂的时空相互作用。首先，构造了一种基于生成对抗网络的多照度图像生成方法，以减小复杂光照对图像生成的影响；其次，建立了基于三维卷积和密集神经网络结构的交互模型，捕捉行人的时空交互；此外，量化了融合前和融合后不同融合方法在行人意图预测方面的性能。在JAAD数据集上的实验结果表明，该预测框架能够有效地预测行人意图。

图1行人意图预测前融合框架

图2行人意图预测后融合框架

图3多照度图像示例

图4多照度图像生成

图5生成式网络结构

图6 JAAD数据集行人意图预测实验结果

主要贡献如下：

1）本文提出了一种基于生成对抗性网络的多照度图像生成方法，以减少复杂照明条件对预测系统的影响。

2）行人交互模型采用三维卷积密集神经网络构建，捕捉行人历史状态的交互特征。

3）我们基于JAAD数据集和实车采集数据验证了网络的性能。实验结果表明，该整体预测框架能够有效地预测行人的意图。

论文作者：谢国涛、梁豪、严康健、汪童、高铭、胡满江、秦晓辉、高洪波

论文链接：https://ieeexplore.ieee.org/document/10558772