| Files | Last commit | Last update |
|---|---|---|
| 5 months ago | ||
| 5 months ago | ||
| 5 months ago | ||
| 5 months ago | ||
| 5 months ago | ||
| 5 months ago | ||
| 5 months ago |
OP_LOGE接口替换分析工具
概述
本工具用于分析和验证C++算子tiling文件中OP_LOGE接口的替换质量,自动识别reason参数的语言质量问题。
文件说明
主要脚本
-
analyze_op_loge.py - 主分析脚本
- 扫描所有arch35 tiling文件
- 提取OP_LOGE调用和reason参数
- 生成详细的测试报告
-
professional_reason_checker.py - 专业语言质量检查模块
- 三级检查方案:
- 专业级:LanguageTool(需要Java环境)
- 标准级:SpellChecker + 自定义规则(当前使用)
- 基本级:仅自定义规则
- 三级检查方案:
报告文档
- op_loge_testing_report.md - 35个算子的详细分析报告
- Java安装指南.md - Java环境安装说明(启用LanguageTool)
测试脚本(tests/目录)
- test_reason_extract.py - reason提取逻辑测试
- test_line187.py - 第187行多行reason测试
- test_line156.py - 第156行cannot关键词测试
- test_line93.py - 第93行技术术语测试
- test_priority0.py - 优先级提取测试
- test_condition_check.py - 条件检查测试
- test_improved_rules.py - 改进规则测试
- test_language_check.py - 语言检查测试
- test_professional_checker.py - 专业检查器测试
使用方法
基本使用
cd C:\Users\zl\Desktop\gitee\myOpen\op_loge_analysis
python analyze_op_loge.py
启用专业语法检查(可选)
- 安装Java 17(参考Java安装指南.md)
- 安装language-tool-python:
pip install language-tool-python - 脚本将自动检测并使用LanguageTool
功能特性
1. 准确的reason提取
- 优先级匹配策略,避免提取参数名
- 保留完整的字符串(无截断)
- 支持多行reason提取
2. 专业语言检查
- 拼写检查:基于SpellChecker,支持AI/CV/C++领域术语
- 语法检查:可选LanguageTool专业工具
- 自定义规则:常见错误模式识别
3. 智能分析
- 自动识别变量形式reason(跳过检查)
- 过滤experimental目录,仅分析生产代码
- 准确的质量评估(包括未修改算子)
4. 详细报告
- 算子级别的OP_LOGE统计
- 场景级别的reason质量分析
- 问题分类和修改建议
分析结果统计
- 总算子数:35个
- 总OP_LOGE调用:442个
- 已替换场景:245个
- 未替换场景:197个(均为合理情况)
- 质量评估:所有算子均达到优秀级别
技术亮点
-
消除误报:
- 添加领域特定术语词典
- 移除不准确的简单语法规则
- 正确处理变量形式reason
-
提高准确性:
- 优先级提取算法
- 引号边界匹配
- 实验目录过滤
-
专业检查:
- 集成SpellChecker拼写检查
- 支持LanguageTool语法检查
- 三级降级策略
版本历史
- v1.0 (2025-04-29) - 初始版本
- 实现基础分析功能
- 集成专业语言检查
- 生成详细报告
依赖项
pyspellchecker>=0.7.0
language-tool-python>=2.0 (可选,需Java环境)
作者
OP_LOGE接口标准化工作组
最后更新: 2025年4月29日