Star72
135
代码
代码
Issues2
Pull Requests22
流水线
项目讨论
Wiki
分析
Star72
135
ascend-robotascend-robotTransferQueue 兼容TensorDock 方案
ee000605创建于 2月12日历史提交
文件最后提交记录最后更新时间
math_eval_toolkit
!91 日志整改 Merge pull request !91 from liyongwen/master
1 年前
transfer_queue
TransferQueue 兼容TensorDock 方案 Co-authored-by: zhiqiang024<zhiqiang5@h-partners.com> Co-authored-by: jianingdong<jianingstat@outlook.com> # message auto-generated for no-merge-commit merge: !902 merge tq-merge into master TransferQueue 兼容TensorDock 方案 Created-by: zhiqiang024 Commit-by: zhiqiang024;jianingdong Merged-by: ascend-robot Description: 精度验证结果（GRPO、DAPO、PPO、GRPO多模、partial rollout(同步异步)）： https://clouddocs.huawei.com/wapp/share/ac9ab6f8-3c47-4f46-b7c9-a44557fb6b29 特性： 1.支持现有transferdock的全部功能，可以通过配置的方式实现tq和td 切换，并实现对主流程的低侵入式修改。 2.新增可配置的分布式存储，使用Ray控制面+ZMQ数据面，兼容现有基于Ray的代码的同时，提供了ZMQ的快速数据传输能力。 TransferQueueClient: 线程安全的客户端，提供访问TransferQueue的全部接口。 TransferQueueManger: 提供控制面的分片、索引分配、状态位维护等功能，全局唯一，支持并发访问。 TransferQueueShard：数据存储后端，与Client通过ZMQ直连传输数据；统一存取接口，后续可提供外接Redis等存储后端的功能。 3.新增多topic数据存储，单一TransferQueue实例支持多套 schema 并存，服务多模态、动态采样、agent等场景。 transferdock、sampling_transferdock、mm_transferdock可以被一个TransferQueue替换。 基于topic的存储，支持多agent训练场景下的经验数据隔离 4.完成为partial rollout提供的not-exactly-once消费、data staleness（age）的通用支持。 5.支持init时配置所有RL阶段所需的column，TQ自动通过RL阶段名来取出对应column。 Contributor: 韦亦迅、党政、植强、董佳宁 See merge request: Ascend/MindSpeed-RL!902
5 个月前
__init__.py
【FEAT】MindSpeed-RL 增加 swanlab logger Co-authored-by: wangqilin-0603<wangqilin16@huawei.com> # message auto-generated for no-merge-commit merge: !821 merge master into master 【FEAT】MindSpeed-RL 增加 swanlab logger Created-by: wangqilin-0603 Commit-by: wangqilin-0603 Merged-by: ascend-robot Description: SWANLAB 是机器学习领域广泛使用的实验跟踪与可视化工具。功能全面，可以展示丰富的数据类型，包括训练曲线，图片，视频，表格，html，matplotlib图像等，SwanLab对比WandB部署更容易，更安全，更易用，并且可以离线。 See merge request: Ascend/MindSpeed-RL!821
6 个月前
compute.py
fix entropy bug in master Co-authored-by: Hcm03<chengminhua1@huawei.com> # message auto-generated for no-merge-commit merge: !756 merge master into master fix entropy bug in master Created-by: Hcm03 Commit-by: Hcm03 Merged-by: ascend-robot Description: 修复了在master分支设置entropy_coeff就会导致报错的问题 See merge request: Ascend/MindSpeed-RL!756
7 个月前
context_parallel.py
update core0.12.1 Co-authored-by: daikang_123<daikang6@huawei.com> # message auto-generated for no-merge-commit merge: !671 merge master into master update core0.12.1 Created-by: daikang123 Commit-by: daikang123;daikang_123 Merged-by: ascend-robot Description: 长跑其他模型的验证结果：https://wiki.huawei.com/domains/6995/wiki/8/WIKI202510148565350 See merge request: Ascend/MindSpeed-RL!671
9 个月前
loggers.py
【FEAT】MindSpeed-RL 增加 swanlab logger Co-authored-by: wangqilin-0603<wangqilin16@huawei.com> # message auto-generated for no-merge-commit merge: !821 merge master into master 【FEAT】MindSpeed-RL 增加 swanlab logger Created-by: wangqilin-0603 Commit-by: wangqilin-0603 Merged-by: ascend-robot Description: SWANLAB 是机器学习领域广泛使用的实验跟踪与可视化工具。功能全面，可以展示丰富的数据类型，包括训练曲线，图片，视频，表格，html，matplotlib图像等，SwanLab对比WandB部署更容易，更安全，更易用，并且可以离线。 See merge request: Ascend/MindSpeed-RL!821
6 个月前
metrics.py
!484 【DAPO】filter_groups_metric参数优化 Merge pull request !484 from pengnuoheng/master
1 年前
optimizer_module.py
!93 Deepseekv3 grpo Merge pull request !93 from Liuchang/master
1 年前
pad_process.py
!507 partial rollout Merge pull request !507 from panchenyi/master
11 个月前
remove_padding.py
!488 【optimize CP】 Merge pull request !488 from zhoubeirong/cp_optimize
11 个月前
seqlen_balancing.py
fix dynamic_batch_size and eplb for ds671B Co-authored-by: McFlurry<zhangjianxiang3@huawei.com> # message auto-generated for no-merge-commit merge: merge master into master fix dynamic_batch_size and eplb for ds671B Created-by: McFlurry100 Commit-by: McFlurry Merged-by: ascend-robot Description: fix dynamic_batch_size and eplb for ds671B See merge request: Ascend/MindSpeed-RL!611
9 个月前
tokenizer.py
!383 [pytorch][feature]Add DPO Algorithm to MindSpeed-RL Merge pull request !383 from shenjiarun/master
1 年前
torch_functional.py
支持retool Co-authored-by: pengnuoheng<pengnuoheng@huawei.com> # message auto-generated for no-merge-commit merge: !737 merge master into master 支持retool Created-by: pengnuoheng Commit-by: pengnuoheng Merged-by: ascend-robot Description: 支持retool 精度验证报告：https://wiki.huawei.com/domains/127887/wiki/246533/WIKI202511129009745 See merge request: Ascend/MindSpeed-RL!737
8 个月前
utils.py
fix cp bug Co-authored-by: fh_188<fenghui32@huawei.com> # message auto-generated for no-merge-commit merge: !780 merge master_cp into master fix cp bug Created-by: weixin_44917616 Commit-by: fh_188 Merged-by: ascend-robot Description: 对应ms-llm修改，fix cp bug reset_position_ids替换成reset_attention_mask variable_seq_lengths替换成 no_pad_to_seq_lengths 结果对比 https://wiki.huawei.com/domains/142209/wiki/306738/WIKI202512029261035 See merge request: Ascend/MindSpeed-RL!780
7 个月前
zmq_communication.py
!422 feat: dispatch性能优化，将hccl同步修改为zmq同步 Merge pull request !422 from sunjianping/master
11 个月前