master

cann-robotfeat(quant): add per_token_cast torch.compile support

2ded9ae0Add on 8 days agoHistory

Files	Last commit	Last update
cast_ref.py	feat(quant): migrate quant operators Co-authored-by: wangliwei12<wangliwei12@huawei.com> # message auto-generated for no-merge-commit merge: !16 merge feat/quant-operators into master feat(quant): migrate quant operators Created-by: wangliwei12 Commit-by: wangliwei12 Merged-by: cann-robot Description: 当前PR是否有AI参与: [x] 否 [ ] 是 __1. AI Agent 平台: __2. AI 模型: __3. Prompt上下文 : PR功能描述 / 为什么需要这个合入**: 该PR关联的issue (格式为fixes #<issue号>, 或者resolves #<issue号>): fixes # 希望检视人员了解: 改动类型 / Change Type Bug 修复 / Bug Fix [ ✅] 新功能 / New Feature 性能优化 / Performance 代码重构 / Refactoring 文档更新 / Documentation 测试相关 / Test 其它 / Other 测试信息 / Testing [ ✅] 单元测试通过 / UT passed [ ✅] 集成测试通过 / ST passed [ ]✅ 人工验证通过 / Manual verified 检查清单 / Checklist [ ✅] 代码符合规范 / Code follows style guide [ ✅] 测试添加并通过 / Tests added and passed [ ✅] 文档已更新 / Docs updated if needed [ ✅] 无硬编码敏感信息 / No secrets hardcoded [ ✅] 提交信息符合规范 / Commit message follows convention See merge request: cann/ops-tilelang!16	1 month ago
swiglu_ref.py	feat(quant): migrate quant operators Co-authored-by: wangliwei12<wangliwei12@huawei.com> # message auto-generated for no-merge-commit merge: !16 merge feat/quant-operators into master feat(quant): migrate quant operators Created-by: wangliwei12 Commit-by: wangliwei12 Merged-by: cann-robot Description: 当前PR是否有AI参与: [x] 否 [ ] 是 __1. AI Agent 平台: __2. AI 模型: __3. Prompt上下文 : PR功能描述 / 为什么需要这个合入**: 该PR关联的issue (格式为fixes #<issue号>, 或者resolves #<issue号>): fixes # 希望检视人员了解: 改动类型 / Change Type Bug 修复 / Bug Fix [ ✅] 新功能 / New Feature 性能优化 / Performance 代码重构 / Refactoring 文档更新 / Documentation 测试相关 / Test 其它 / Other 测试信息 / Testing [ ✅] 单元测试通过 / UT passed [ ✅] 集成测试通过 / ST passed [ ]✅ 人工验证通过 / Manual verified 检查清单 / Checklist [ ✅] 代码符合规范 / Code follows style guide [ ✅] 测试添加并通过 / Tests added and passed [ ✅] 文档已更新 / Docs updated if needed [ ✅] 无硬编码敏感信息 / No secrets hardcoded [ ✅] 提交信息符合规范 / Commit message follows convention See merge request: cann/ops-tilelang!16	1 month ago
test_cast_back.py	feat(quant): add per_token_cast torch.compile support Co-authored-by: daisysj<songjing17@huawei.com> # message auto-generated for no-merge-commit merge: !53 merge graph_adapt into master feat(quant): add per_token_cast torch.compile support Created-by: daisysj Commit-by: daisysj Merged-by: cann-robot Description: <!-- 感谢您的合入申请! --> ### 当前PR是否有AI参与: [x] 否 [ ] 是 __1. AI Agent 平台: __2. AI 模型: __3. Prompt上下文 : ### PR功能描述 / 为什么需要这个合入**: <!-- 本 PR 做了什么，为什么需要 / What does this PR do and why --> 为 per_token_cast、per_token_cast_with_sf_only 和 per_token_cast_with_precomputed_sf 添加 torch.compile 入图支持，使它们能够参与 npugraph_ex 固定 shape 推理图的捕获与重放。 适配同时覆盖自动分配输出和调用方提供 out 的路径，保持原有 eager 调用方式，确保输入及只读 scale 不被修改、输出正确复用指定内存，并能感知 clamp 配置变化。 ### 该PR关联的issue *(格式为fixes #<issue号>, 或者resolves #<issue号>)*: fixes # ### 希望检视人员了解: ## 改动类型 / Change Type - [ ] Bug 修复 / Bug Fix - [x] 新功能 / New Feature - [ ] 性能优化 / Performance - [ ] 代码重构 / Refactoring - [ ] 文档更新 / Documentation - [ ] 测试相关 / Test - [ ] 其它 / Other ## 测试信息 / Testing <!-- 简要测试说明或关键结果 / Brief test description or key results --> - [ ] 单元测试通过 / UT passed - [ ] 集成测试通过 / ST passed - [ ] 人工验证通过 / Manual verified ## 检查清单 / Checklist - [ ] 代码符合规范 / Code follows style guide - [ ] 测试添加并通过 / Tests added and passed - [ ] 文档已更新 / Docs updated if needed - [ ] 无硬编码敏感信息 / No secrets hardcoded - [ ] 提交信息符合规范 / Commit message follows convention See merge request: cann/ops-tilelang!53	8 days ago
test_per_block_cast.py	feat(quant): migrate quant operators Co-authored-by: wangliwei12<wangliwei12@huawei.com> # message auto-generated for no-merge-commit merge: !16 merge feat/quant-operators into master feat(quant): migrate quant operators Created-by: wangliwei12 Commit-by: wangliwei12 Merged-by: cann-robot Description: 当前PR是否有AI参与: [x] 否 [ ] 是 __1. AI Agent 平台: __2. AI 模型: __3. Prompt上下文 : PR功能描述 / 为什么需要这个合入**: 该PR关联的issue (格式为fixes #<issue号>, 或者resolves #<issue号>): fixes # 希望检视人员了解: 改动类型 / Change Type Bug 修复 / Bug Fix [ ✅] 新功能 / New Feature 性能优化 / Performance 代码重构 / Refactoring 文档更新 / Documentation 测试相关 / Test 其它 / Other 测试信息 / Testing [ ✅] 单元测试通过 / UT passed [ ✅] 集成测试通过 / ST passed [ ]✅ 人工验证通过 / Manual verified 检查清单 / Checklist [ ✅] 代码符合规范 / Code follows style guide [ ✅] 测试添加并通过 / Tests added and passed [ ✅] 文档已更新 / Docs updated if needed [ ✅] 无硬编码敏感信息 / No secrets hardcoded [ ✅] 提交信息符合规范 / Commit message follows convention See merge request: cann/ops-tilelang!16	1 month ago
test_per_block_cast_lossless.py	feat(quant): support packed row-major sf stores Co-authored-by: wangliwei12<wangliwei12@huawei.com> # message auto-generated for no-merge-commit merge: !18 merge feat/quant-operators-update into master feat(quant): support packed row-major sf stores Created-by: wangliwei12 Commit-by: wangliwei12 Merged-by: cann-robot Description: 当前PR是否有AI参与: [x] 否 [ ] 是 __1. AI Agent 平台: __2. AI 模型: __3. Prompt上下文 : PR功能描述 / 为什么需要这个合入**: 该PR关联的issue (格式为fixes #<issue号>, 或者resolves #<issue号>): fixes # 希望检视人员了解: 改动类型 / Change Type Bug 修复 / Bug Fix [ ✅] 新功能 / New Feature 性能优化 / Performance 代码重构 / Refactoring 文档更新 / Documentation 测试相关 / Test 其它 / Other 测试信息 / Testing [ ✅] 单元测试通过 / UT passed [ ✅] 集成测试通过 / ST passed [ ]✅ 人工验证通过 / Manual verified 检查清单 / Checklist [ ✅] 代码符合规范 / Code follows style guide [ ✅] 测试添加并通过 / Tests added and passed [ ✅] 文档已更新 / Docs updated if needed [ ✅] 无硬编码敏感信息 / No secrets hardcoded [ ✅] 提交信息符合规范 / Commit message follows convention See merge request: cann/ops-tilelang!18	1 month ago
test_per_channel_cast.py	feat(quant): migrate quant operators Co-authored-by: wangliwei12<wangliwei12@huawei.com> # message auto-generated for no-merge-commit merge: !16 merge feat/quant-operators into master feat(quant): migrate quant operators Created-by: wangliwei12 Commit-by: wangliwei12 Merged-by: cann-robot Description: 当前PR是否有AI参与: [x] 否 [ ] 是 __1. AI Agent 平台: __2. AI 模型: __3. Prompt上下文 : PR功能描述 / 为什么需要这个合入**: 该PR关联的issue (格式为fixes #<issue号>, 或者resolves #<issue号>): fixes # 希望检视人员了解: 改动类型 / Change Type Bug 修复 / Bug Fix [ ✅] 新功能 / New Feature 性能优化 / Performance 代码重构 / Refactoring 文档更新 / Documentation 测试相关 / Test 其它 / Other 测试信息 / Testing [ ✅] 单元测试通过 / UT passed [ ✅] 集成测试通过 / ST passed [ ]✅ 人工验证通过 / Manual verified 检查清单 / Checklist [ ✅] 代码符合规范 / Code follows style guide [ ✅] 测试添加并通过 / Tests added and passed [ ✅] 文档已更新 / Docs updated if needed [ ✅] 无硬编码敏感信息 / No secrets hardcoded [ ✅] 提交信息符合规范 / Commit message follows convention See merge request: cann/ops-tilelang!16	1 month ago
test_per_token_cast.py	feat(quant): add per_token_cast torch.compile support Co-authored-by: daisysj<songjing17@huawei.com> # message auto-generated for no-merge-commit merge: !53 merge graph_adapt into master feat(quant): add per_token_cast torch.compile support Created-by: daisysj Commit-by: daisysj Merged-by: cann-robot Description: <!-- 感谢您的合入申请! --> ### 当前PR是否有AI参与: [x] 否 [ ] 是 __1. AI Agent 平台: __2. AI 模型: __3. Prompt上下文 : ### PR功能描述 / 为什么需要这个合入**: <!-- 本 PR 做了什么，为什么需要 / What does this PR do and why --> 为 per_token_cast、per_token_cast_with_sf_only 和 per_token_cast_with_precomputed_sf 添加 torch.compile 入图支持，使它们能够参与 npugraph_ex 固定 shape 推理图的捕获与重放。 适配同时覆盖自动分配输出和调用方提供 out 的路径，保持原有 eager 调用方式，确保输入及只读 scale 不被修改、输出正确复用指定内存，并能感知 clamp 配置变化。 ### 该PR关联的issue *(格式为fixes #<issue号>, 或者resolves #<issue号>)*: fixes # ### 希望检视人员了解: ## 改动类型 / Change Type - [ ] Bug 修复 / Bug Fix - [x] 新功能 / New Feature - [ ] 性能优化 / Performance - [ ] 代码重构 / Refactoring - [ ] 文档更新 / Documentation - [ ] 测试相关 / Test - [ ] 其它 / Other ## 测试信息 / Testing <!-- 简要测试说明或关键结果 / Brief test description or key results --> - [ ] 单元测试通过 / UT passed - [ ] 集成测试通过 / ST passed - [ ] 人工验证通过 / Manual verified ## 检查清单 / Checklist - [ ] 代码符合规范 / Code follows style guide - [ ] 测试添加并通过 / Tests added and passed - [ ] 文档已更新 / Docs updated if needed - [ ] 无硬编码敏感信息 / No secrets hardcoded - [ ] 提交信息符合规范 / Commit message follows convention See merge request: cann/ops-tilelang!53	8 days ago
test_per_token_cast_and_cast_back.py	feat(quant): migrate quant operators Co-authored-by: wangliwei12<wangliwei12@huawei.com> # message auto-generated for no-merge-commit merge: !16 merge feat/quant-operators into master feat(quant): migrate quant operators Created-by: wangliwei12 Commit-by: wangliwei12 Merged-by: cann-robot Description: 当前PR是否有AI参与: [x] 否 [ ] 是 __1. AI Agent 平台: __2. AI 模型: __3. Prompt上下文 : PR功能描述 / 为什么需要这个合入**: 该PR关联的issue (格式为fixes #<issue号>, 或者resolves #<issue号>): fixes # 希望检视人员了解: 改动类型 / Change Type Bug 修复 / Bug Fix [ ✅] 新功能 / New Feature 性能优化 / Performance 代码重构 / Refactoring 文档更新 / Documentation 测试相关 / Test 其它 / Other 测试信息 / Testing [ ✅] 单元测试通过 / UT passed [ ✅] 集成测试通过 / ST passed [ ]✅ 人工验证通过 / Manual verified 检查清单 / Checklist [ ✅] 代码符合规范 / Code follows style guide [ ✅] 测试添加并通过 / Tests added and passed [ ✅] 文档已更新 / Docs updated if needed [ ✅] 无硬编码敏感信息 / No secrets hardcoded [ ✅] 提交信息符合规范 / Commit message follows convention See merge request: cann/ops-tilelang!16	1 month ago
test_swiglu_backward.py	feat(quant): migrate quant operators Co-authored-by: wangliwei12<wangliwei12@huawei.com> # message auto-generated for no-merge-commit merge: !16 merge feat/quant-operators into master feat(quant): migrate quant operators Created-by: wangliwei12 Commit-by: wangliwei12 Merged-by: cann-robot Description: 当前PR是否有AI参与: [x] 否 [ ] 是 __1. AI Agent 平台: __2. AI 模型: __3. Prompt上下文 : PR功能描述 / 为什么需要这个合入**: 该PR关联的issue (格式为fixes #<issue号>, 或者resolves #<issue号>): fixes # 希望检视人员了解: 改动类型 / Change Type Bug 修复 / Bug Fix [ ✅] 新功能 / New Feature 性能优化 / Performance 代码重构 / Refactoring 文档更新 / Documentation 测试相关 / Test 其它 / Other 测试信息 / Testing [ ✅] 单元测试通过 / UT passed [ ✅] 集成测试通过 / ST passed [ ]✅ 人工验证通过 / Manual verified 检查清单 / Checklist [ ✅] 代码符合规范 / Code follows style guide [ ✅] 测试添加并通过 / Tests added and passed [ ✅] 文档已更新 / Docs updated if needed [ ✅] 无硬编码敏感信息 / No secrets hardcoded [ ✅] 提交信息符合规范 / Commit message follows convention See merge request: cann/ops-tilelang!16	1 month ago
test_swiglu_forward.py	feat(quant): migrate quant operators Co-authored-by: wangliwei12<wangliwei12@huawei.com> # message auto-generated for no-merge-commit merge: !16 merge feat/quant-operators into master feat(quant): migrate quant operators Created-by: wangliwei12 Commit-by: wangliwei12 Merged-by: cann-robot Description: 当前PR是否有AI参与: [x] 否 [ ] 是 __1. AI Agent 平台: __2. AI 模型: __3. Prompt上下文 : PR功能描述 / 为什么需要这个合入**: 该PR关联的issue (格式为fixes #<issue号>, 或者resolves #<issue号>): fixes # 希望检视人员了解: 改动类型 / Change Type Bug 修复 / Bug Fix [ ✅] 新功能 / New Feature 性能优化 / Performance 代码重构 / Refactoring 文档更新 / Documentation 测试相关 / Test 其它 / Other 测试信息 / Testing [ ✅] 单元测试通过 / UT passed [ ✅] 集成测试通过 / ST passed [ ]✅ 人工验证通过 / Manual verified 检查清单 / Checklist [ ✅] 代码符合规范 / Code follows style guide [ ✅] 测试添加并通过 / Tests added and passed [ ✅] 文档已更新 / Docs updated if needed [ ✅] 无硬编码敏感信息 / No secrets hardcoded [ ✅] 提交信息符合规范 / Commit message follows convention See merge request: cann/ops-tilelang!16	1 month ago