段言(Duan)编译器验证通过率提升 — 交接文档

📅 2026/7/29 22:22:50 👁️ 阅读次数 📝 编程学习
段言(Duan)编译器验证通过率提升 — 交接文档

Dumate算力有点紧张,任务还需要继续做,于是就让Dumate把任务分配给Trae!

下面是给 Trae 的完整交接说明。


段言(Duan)编译器验证通过率提升 — 交接文档

项目概述

段言是一门中文编程语言,将 Python 代码翻译为段言中文语法。项目目标是提升数据集验证通过率,当前从 42.5% 起步,已修复到 43.6%。

关键路径:

  • 项目根目录:C:\dumatework\duan\
  • 源码目录:C:\dumatework\duan\src\
  • 验证脚本:C:\dumatework\duan\tools\ai_copilot\verify_dataset_strict.py
  • 数据集:C:\dumatework\duan\tools\ai_copilot\sft_dataset.jsonl(1386 条)
  • 验证报告:C:\dumatework\duan\tools\ai_copilot\strict_verification_report.json
  • 修复清单:C:\dumatework\duan\tools\ai_copilot\fix_list.csv

当前验证结果

Total: 1386, PASS: 604, FAIL: 782, Rate: 43.6%

失败分类(782 条):

错误类型数量说明
both_exec_fail513Python 和段言都执行失败,主要是数据集代码片段缺少上下文变量定义(如name 'x' is not defined),非编译器 bug
syntax_error89语法错误,分 34 条段言语法 + 59 条 Python 语法
duan_exec_fail85段言解析通过但执行报错
output_mismatch42Python 和段言输出不一致
name_preservation_fail36变量名/函数名未保留英文
python_exec_fail17仅 Python 执行失败

已完成的 7 项修复(602→604)

  1. 空变量名遍历src/parser_stmt.py:1507附近:if not name_parts: self._error(...)→ 默认使用variable = '_'(+6 条)

  2. 列表推导空变量名src/parser_expr.py:1548-1571:列表推导变量收集中增加_lc_stop_keywords检查,空变量默认_(+5 条)

  3. 赋值回退不完整src/parser_stmt.py_parse_assignment_stmt方法:开头保存saved_pos = self.pos,两处self.pos -= 1改为self.pos = saved_pos(+7 条)

  4. 方法调用关键字参数src/parser_expr.py:1738-1757+ 新增KeywordArg节点到src/ast_nodes_v3.py+ 修改src/code_generator.pyParagraphCallMemberAccess参数生成(+3 条)

  5. 装饰器带参数src/parser_stmt.py_parse_decorator方法:装饰器名后增加可选(args)解析 +DecoratorDefinition节点增加args字段 + code_generator 生成@decorator(args)(+5 条)

  6. IndexAccess 表达式语句src/code_generator.py:646-651_generate_statement中增加isinstance(stmt, (IndexAccess, MemberAccess, ParagraphCall))分支(+3 条)

  7. 捕获关键字误识别src/lexer.py:45:从COMMON_COMPOUND_WORDS中移除'捕获',它本是 KEYWORD 却被复合词表拦截为 IDENTIFIER

  8. RangeExpr 标识符支持(刚完成,未验证效果)—src/parser_expr.py:902附近:在_collect_single_arg方法中,标识符名称合并完成后、运算符动词检查前,加入/关键字的 RangeExpr 检测,使left至right这类以标识符为起始值的范围表达式能正确解析(+2 条已验证,可能还有更多)

刚发现的关键问题(下一步优先处理)

数据集中\n是字面反斜杠+n 字符,而非实际换行符!

  • 数据集中863/1386 条的 input901/1386 条的 output包含字面的\n(ASCII 92 + 110),不是真正的换行
  • 验证脚本直接用json.loads()读取后compile()执行,导致 Python 把\n当成行续符报SyntaxError: unexpected character after line continuation character
  • 这影响了 59 条 Python 语法错误,其中暗坑 16 条、类型注解 10 条、负数 8 条、args 6 条等
  • 修复方法:已在verify_dataset_strict.py第 254 行附近加入修复代码,将\n转为实际换行:
# 修复:数据集中的 \n 是字面的反斜杠+n字符,需转为实际换行if'\\n'inpython_code:python_code=python_code.encode('utf-8').decode('unicode_escape')if'\\n'induan_code:duan_code=duan_code.encode('utf-8').decode('unicode_escape')

这个修复尚未验证!需要重新运行python verify_dataset_strict.py确认效果。预计可大幅提升通过率,因为 59 条 Python 语法错误中大部分会直接修复,对应的 both_exec_fail 也会减少。

运行验证的方法

cdC:\dumatework\duan\tools\ai_copilot python verify_dataset_strict.py

查看结果:

python-c" import json with open('strict_verification_report.json','r',encoding='utf-8') as f: data = json.load(f) print(f'Total: {data[\"total\"]}, PASS: {data[\"pass\"]}, FAIL: {data[\"fail\"]}, Rate: {data[\"pass_rate\"]}') "

下一步建议的修复方向

优先级 1:运行修复后的验证脚本,确认\n修复的效果。

优先级 2:分析剩余的 34 条段言语法错误。按类别:

  • 复合 8 条、列表 5 条、异常 4 条、海象运算符 4 条
  • 典型错误:期望 TokenType.RBRACKET,但得到 TokenType.IDENTIFIER期望'为'或'等于',但得到 TokenType.IDENTIFIER = '集'

优先级 3:分析 85 条duan_exec_fail(段言解析通过但执行报错)。

优先级 4:分析 42 条output_mismatch(输出不一致),部分是 range 步长语义问题(如100至1步1生成range(100,2,1)为空),属于数据集语义问题非编译器 bug。

优先级 5:36 条name_preservation_fail(变量名未保留英文),检查 code_generator 是否将某些变量名误翻译成中文。

已排除的不可修复项

  • both_exec_fail 513 条:代码片段缺少上下文变量定义(如name 'x' is not defined),Python 和段言都执行失败,非编译器 bug
  • output_mismatch 中 range 步长问题100至1步1生成range(100,2,1)为空,是数据集语义问题

关键架构说明

  • src/lexer.py— 词法分析器,COMMON_COMPOUND_WORDS控制哪些词被合并为复合词
  • src/keywords.py— 关键字定义,KEYWORDS_DOUBLE(双字保留字)、KEYWORDS_RESERVED(单字保留字含//
  • src/parser_expr.py— 表达式解析(Mixin 类,1884 行),_collect_single_arg处理标识符及其参数收集
  • src/parser_stmt.py— 语句解析(Mixin 类),_parse_assignment_stmt处理赋值
  • src/ast_nodes_v3.py— AST 节点定义
  • src/code_generator.py— Python 代码生成器
  • src/duan_parser_v3.py— 统一解析器入口,组合 Mixin
  • LSP 对 Mixin 类报_current/_consume等方法找不到是正常的,运行时通过类继承可用

注意事项

  • LSP 对ParserExprMixin类的方法引用报错是正常的(Mixin 模式,方法在运行时通过组合类可用),不影响运行
  • 验证脚本中SyntaxWarning: 'str' object is not callable是数据集代码片段的副作用,不影响验证逻辑
  • Shell 环境是 Git Bash(MSYS POSIX),路径用/c/Users/...格式