FilesLast commitLast update
5 months ago
5 months ago
5 months ago
5 months ago
5 months ago
5 months ago
5 months ago
README

OP_LOGE接口替换分析工具

概述

本工具用于分析和验证C++算子tiling文件中OP_LOGE接口的替换质量,自动识别reason参数的语言质量问题。

文件说明

主要脚本

  • analyze_op_loge.py - 主分析脚本

    • 扫描所有arch35 tiling文件
    • 提取OP_LOGE调用和reason参数
    • 生成详细的测试报告
  • professional_reason_checker.py - 专业语言质量检查模块

    • 三级检查方案:
      • 专业级:LanguageTool(需要Java环境)
      • 标准级:SpellChecker + 自定义规则(当前使用)
      • 基本级:仅自定义规则

报告文档

  • op_loge_testing_report.md - 35个算子的详细分析报告
  • Java安装指南.md - Java环境安装说明(启用LanguageTool)

测试脚本(tests/目录)

  • test_reason_extract.py - reason提取逻辑测试
  • test_line187.py - 第187行多行reason测试
  • test_line156.py - 第156行cannot关键词测试
  • test_line93.py - 第93行技术术语测试
  • test_priority0.py - 优先级提取测试
  • test_condition_check.py - 条件检查测试
  • test_improved_rules.py - 改进规则测试
  • test_language_check.py - 语言检查测试
  • test_professional_checker.py - 专业检查器测试

使用方法

基本使用

cd C:\Users\zl\Desktop\gitee\myOpen\op_loge_analysis
python analyze_op_loge.py

启用专业语法检查(可选)

  1. 安装Java 17(参考Java安装指南.md)
  2. 安装language-tool-python:
    pip install language-tool-python
    
  3. 脚本将自动检测并使用LanguageTool

功能特性

1. 准确的reason提取

  • 优先级匹配策略,避免提取参数名
  • 保留完整的字符串(无截断)
  • 支持多行reason提取

2. 专业语言检查

  • 拼写检查:基于SpellChecker,支持AI/CV/C++领域术语
  • 语法检查:可选LanguageTool专业工具
  • 自定义规则:常见错误模式识别

3. 智能分析

  • 自动识别变量形式reason(跳过检查)
  • 过滤experimental目录,仅分析生产代码
  • 准确的质量评估(包括未修改算子)

4. 详细报告

  • 算子级别的OP_LOGE统计
  • 场景级别的reason质量分析
  • 问题分类和修改建议

分析结果统计

  • 总算子数:35个
  • 总OP_LOGE调用:442个
  • 已替换场景:245个
  • 未替换场景:197个(均为合理情况)
  • 质量评估:所有算子均达到优秀级别

技术亮点

  1. 消除误报:

    • 添加领域特定术语词典
    • 移除不准确的简单语法规则
    • 正确处理变量形式reason
  2. 提高准确性:

    • 优先级提取算法
    • 引号边界匹配
    • 实验目录过滤
  3. 专业检查:

    • 集成SpellChecker拼写检查
    • 支持LanguageTool语法检查
    • 三级降级策略

版本历史

  • v1.0 (2025-04-29) - 初始版本
    • 实现基础分析功能
    • 集成专业语言检查
    • 生成详细报告

依赖项

pyspellchecker>=0.7.0
language-tool-python>=2.0 (可选,需Java环境)

作者

OP_LOGE接口标准化工作组


最后更新: 2025年4月29日