Ascend C KernelGen 数据集

概述

本数据集用于 Ascend C 领域算子知识注入大模型，达成算子生成的目标，包含两种数据集：

1. AscendC数据集，位于dataset目录下👉dataset，该数据集基于昇腾开源社区API文档、算子 Ascend C 源码实现所构建的SFT训练数据（对齐Alpaca数据集格式）。

2. AscendC Agent 数据集，位于agent_datasets目录下👉agent_datasets，该数据集是使用claude code加先进模型收集到的高质量轨迹数据集（标准OpenAI格式），包含多轮工具调用。

AscendC 数据集

数据按用途分为以下几个子目录：

目录	说明	总条数
doc_data/	api/文档问答数据	27,133
vector_data/	vector算子数据，按日期分文件	5,468
cube_data/	cube 算子数据）	50
cv_fusion_data/	cv 融合算子数据	200
flywheel/	飞轮训练/优化数据（api使用错误修正、拒绝采样修复等）	9,042
总计	44	41,893

---

数据版本与SFT模型效果跟踪

模型	训练数据集版本	成功生成算子数	编译通过率	精度通过率
Qwen3.6-35B	基线（无SFT）	9	47.73%	6.82%
Qwen3.6-35B	Asc-SFT-data-V0 质量加固前	24	96.84%	15.19%
Qwen3.6-35B	Asc-SFT-data-V0 质量加固后	37	94.87	23.72%

Asc-SFT-data-V0 ：详细数据构成见下表

---

doc_data/ 文档数据

文件路径	说明	是否通过5维质量评估	Asc-SFT-data-V0
doc_data/ApiCall.json	基于基础API构建的问答数据，偏向实操编码场景	-	✓
doc_data/High-level_API.json	基于高阶API构建的问答数据，偏向实操编码场景	-	✓
doc_data/V1_Document_QA_data.json	基于昇腾开源社区文档中基础知识问答数据，为概念性问题（如InitBuffer, SetGlobalBuffer, EnQue等属于框架辅助函数或代码示例中的写法）	-	✓
doc_data/V2_Document_QA_data.json	基于昇腾开源社区文档中基础知识问答数据，为概念性问题（如InitBuffer, SetGlobalBuffer, EnQue等属于框架辅助函数或代码示例中的写法）	-	✓

vector_data/ & cube_data/ & cv_fusion_data/ 算子数据

文件路径	说明	是否通过5维质量评估	Asc-SFT-data-V0
vector_data/202602_*.json	vector算子数据（1655条）	✓	✓
vector_data/202604_*.json	vector算子数据（798条）	✓	✗
vector_data/202605_*.json	vector算子数据（1151条）	✓	✗
vector_data/202606_*.json	vector算子数据（225条）	✓	✗
cube_data/*	cube算子数据	✓	✗
cv_fusion_data/*	cv融合算子数据	✓	✗
vector_data/cann-ops_single_file-1639.json	基于复杂算子的单文件代码构建的思维链数据	-	✓

flywheel/ 数据飞轮阶段产出数据

文件路径	说明	是否通过5维质量评估	Asc-SFT-data-V0
flywheel/R1_modify_operators-V1.json	基于错误算子样本进行修正后的数据	-	✓
flywheel/R1_modify_operators-V2.json	基于错误算子样本进行修正后的数据	-	✓
flywheel/V1_kernel.json	Kernel直调数据	-	✓
flywheel/R1_provides_correct_and_incorrect_examples_and_analyzes_the_errors.json	基于正确&错误样本构建的error分析数据	-	✓
flywheel/Rejection_sampling_R1_error_correction_R1_diversity.json	拒绝采样样本经过纠错以及多样化处理的数据	-	✓
flywheel/apiDebugErrorData_2725.json	针对api使用错误的样本构建的纠错数据	-	✓

5 维质量评估体系

5 维质量评估体系是指在算子数据生成流水线中，从代码忠诚度(code_faithfulness)、逻辑正确性(reasoning_completeness)、硬件感知度(expression_compliance)、推理完整性(logical_correctness)、表达规范性(hardware_awareness) 5个维度对思维链数据进行审核，当数据评分 $\ge 4$时，视为质量达标。

• 代码忠诚度: ouput中代码是否忠于input中算子功能描述
• 逻辑正确性：推理逻辑是否自洽，Tiling计算是否正确
• 硬件感知度：推理过程中是否显式感知昇腾硬件信息
• 推理完整性：推理过程是否完整，涵盖从问题分析到代码生成的完整链条
• 表达规范性：代码是否符合Ascend C的语法规范

---

Ascend Agent 数据集

共计 7,502 条高质量AscendC算子生成轨迹数据，该数据集使用 cannbot 框架收集，每一个算子会启动一个主Agent和一个Subagent完成任务，因此一个算子会生成两条轨迹数据

数据按算子来源分为以下几个子目录：

数据来源	描述	状态
CANN	CANN仓 Agent 生成算子轨迹数据	✅ 可用
level_0	level 0 Agent 生成算子轨迹	✅ 可用
level_1	level 1 Agent 生成算子轨迹	✅ 可用
level_2	level 2 Agent 生成算子轨迹	✅ 可用

数据版本与SFT模型效果跟踪

• benchmark为 level1，使用claude code + cannbot 进行测评

模型	训练数据集版本	成功生成算子数	编译通过率	精度通过率
Qwen3.6-35B	基线（无SFT）	4	77%	13%
Qwen3.6-35B	Asc-agent-SFT-data-V0 (164条数据)	13	71%	42%

---