近日，智能车辆团队论文《ADP-Based Optimal Control for Discrete-Time Systems With Safe Constraints and Disturbances》在IEEE Transactions on Automation Science and Engineering上发表。

针对考虑安全约束与含扰动的离散系统最优控制问题，本文提出了抗扰安全型自适应动态规划方法。该方法基于广义障碍函数设计了一个考虑长期代价的安全约束，聚合表示了多个状态约束，并给出了嵌入安全约束的策略优化过程。进一步，在评价-执行-扰动框架中考虑了含约束的策略提升，实现了安全控制策略与随机干扰之间的博弈过程，降低了控制对象在不确定性环境下脱离安全区域的可能性。此外，从理论方面证明了扰动策略的更新整合到策略评估过程中，有利于实现更平稳的收敛。

本文提出一种异步抗扰安全型ADP (SADP)算法。本研究的主要贡献可归纳如下：

1）在搜索最优控制策略的过程中，策略提升阶段同时考虑了状态约束和动作约束。在处理状态约束时，将原本仅适用于求解无约束优化问题的策略梯度方法转化为了考虑约束的策略优化过程。在此过程中，所提方法仅引入了单一安全函数不等式来聚合表示多个状态约束，确保了多状态约束满足的同时还显著降低了计算负担。

2）本文基于评价-执行-扰动框架，进一步在博弈过程中考虑了状态和输入约束，确保了致使控制对象脱离安全区域的扰动因素始终受到了约束。此外，为了获得良好的收敛条件，扰动策略的更新整合到了策略评估过程中。基于此交替迭代方式，对算法收敛性和最优性进行了深入的理论分析。

3）该算法具有广泛的灵活性和对各种变量的适用性，其可适用于有无准确模型信息的情况，突出了处理现实场景的鲁棒性。该算法通过利用模型信息来推导控制对象未来状态，提高了控制性能和安全性。此外，当面对不可用或不准确的模型信息时，该算法可采用数据驱动技术，从对模型的依赖中解放出来，进而无缝地适应现实。

论文作者：叶俊、董宏洋、边有钢，秦洪懋、赵晓伟

论文链接：https://ieeexplore.ieee.org/document/10384361