近日，智能车辆团队论文《DRL-based Computation Offloading With Queue Stability for Vehicular-Cloud-assisted Mobile Edge Computing Systems》在IEEE Transactions on Intelligent Vehicles上发表。

本文主要研究了基于深度强化学习的车边云协同任务卸载与任务队列稳定性的问题。首先，基于深度神经网络预测车辆轨迹并构建车辆云，整合车辆空闲资源为任务请求车辆提供计算服务。其次，设计了一个车边云协同卸载方案，在任务队列长度与能耗等约束下最大化长期任务吞吐量。最后，为了求解所提出的优化问题，采用李雅普诺夫优化方法将连续时间优化问题解耦为每个时间步的子问题，并采用深度强化学习等方法进行求解。

本文主要贡献如下：

1）提出了基于LSTM的车辆云构建方法，充分整合多车空闲计算资源，为任务请求车辆提供稳定的计算服务。

2）相较于现有通过任务截止时延优化卸载决策的工作，本文通过控制长短期任务队列稳定性满足任务计算时延要求。

3）针对每个时间步的子问题设计了一个低复杂度的三阶段求解算法，采用深度Q学习与最优化方法得到最优卸载决策与计算资源分配策略。

论文作者：马贵福、王晓伟、胡满江、欧阳文杰、陈晓龙、李洋

论文链接：https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=9964433