近日,智能车辆团队论文《HRL-Based Proactive Caching Scheme for Vehicle-Edge-Cloud Collaborative System Applications》在IEEE Internet of Things Journal发表。

车路云协同系统能有效缓解云中心的访问压力，提升用户体验，但如何为RSU分配合适的缓存内容的同时控制缓存成本对优化系统整体性能具有重要意义。本研究提出了一种基于分层强化学习的主动缓存方案，结合内容推荐情况、内容流行度作为观测状态，以缓存命中率和缓存成本作为优化目标进行主动缓存决策。首先，将主动缓存场景建立为一个带约束的多目标优化问题，并基于分层强化学习进行问题拆解。其次，提出从简单任务到复杂任务的两阶段课程学习训练范式进行策略求解，并设计带有后验知识的决策树算法辅助训练。

主要贡献如下：

1）提出了一种基于分层强化学习的主动缓存方案，基于分层思想对内容缓存优化问题进行拆解，降低求解复杂度，解决维度爆炸。

2）提出了一种两阶段课程学习范式来增强智能体训练过程，并设计了一种贪心决策树算法用于辅助训练，通过从简单任务到复杂任务的处理思路，优化经验累积顺序。

3）所提方法能以较低的内容缓存成本实现较高的内容缓存命中率，优于所有基线方法，同时在实车试验中验证了其在真实场景的可行性。

论文作者：王晓伟、欧阳文杰、李洋、殷陈龙、陈明阳、马贵福、胡英柏

论文链接：https://ieeexplore.ieee.org/document/10767712