PyTorch-MADRL

本项目提供了基于PyTorch实现的深度强化学习算法集合，涵盖了单智能体和多智能体场景。

• A2C（Advantage Actor Critic）
• ACKTR（Actor-Critic using Kronecker-factored Trust Region）
• DQN（Deep Q-Network）
• DDPG（Deep Deterministic Policy Gradient）
• PPO（Proximal Policy Optimization）

项目采用了模块化设计，便于不同算法间的代码共享。每个算法均作为一个学习代理实现，并通过统一接口提供以下核心组件：

• interact: 与环境交互以收集经验，支持一步前进及n步连续前进操作（分别由_take_one_step_和_take_n_steps实现）。
• train: 在样本批次上进行训练。
• exploration_action: 基于状态选择行动，加入随机噪声以促进训练中的探索。
• action: 根据状态直接选择行动用于执行。
• value: 评估状态-动作对的价值。
• evaluation: 评估训练好的代理性能。

系统需求

• gym环境库
• Python 3.6
• PyTorch框架

使用方法

训练模型示例：

$ python run_a2c.py

结果展示

由于强化学习结果极易受随机种子、超参数等因素影响，实际得到的结果可能与下述展示有所差异。

A2C在CartPole-v0上的表现

ACKTR在CartPole-v0上的表现

DDPG在Pendulum-v0上的表现

DQN在CartPole-v0上的表现

PPO在CartPole-v0上的表现

待办事项

• TRPO（Trust Region Policy Optimization）
• LOLA（Learning with Opponent-Learning Awareness）
• 参数噪音

致谢

本项目的灵感来源于以下项目：

• Ilya Kostrikov的pytorch-a2c-ppo-acktr，其中的Kronecker分解优化器来源于此。
• OpenAI的baselines

许可证

MIT License