25.77万CAD 实体(每页中位数 523)
1,800单页理解题
383多页父题 · 1,953 道子题
232L1 待重建页面
28L2 整套图纸(共 230 页)
19L3 参数化设计任务
结果
模型画得出打印图,却还原不了文件。
我们在高推理档位下评测了七个前沿多模态大模型。最强的模型能准确读出并描出图面上印着的内容,但对打印时丢掉的文件结构,恢复得要差得多。
91.2L1 页面得分
单页重建的最高得分(GPT-6 Astra;几何 F1 达到 95.5)
59.9图层感知 F1
同一模型在这些页面上的图层感知 F1:图层在像素里不留痕迹
47.9L3 设计召回
在新设计中,随参数变化的数值只有不到一半算对
† 页面按 2×2 切块发送
发现 01描出一页图,不等于还原出图层图层感知 F1 最高的是 GLM-5.3-Flash(70.8),而不是描图最准的模型。要求图层也对时,它保住了几何 F1 的 86%,GPT-6 Astra 只保住 63%。
发现 02整套重建让几乎所有模型退步同一页放在整套里重建,GPT-6 系列比单独重建低 3.4–4.5 分;GPT-5.6 Sol 和较大的开源模型精力被摊薄,低 22–29 分。
发现 03做设计时,改图得不偿失最好的两个模型,该变的数值只写对不到一半(47.9% 和 49.1%)。把参考页原样照抄,页面得分反而比它们高 6.0 和 8.9 分。
完整评测结果每列最优值以蓝色标出
相对单独 同一批页面的 L2 页面得分减去 L1 得分
相对照抄 L3 页面得分减去原样照抄参考页的得分
† 页面按 2×2 切块发送
定性分析
前沿模型究竟错在哪里
把模型生成的 DXF 文件与设计人员的源文件并排对照,可以看到三种像素指标看不出来的失败方式。
L1 单页重建:几何 F1 为 100,图层 F1 只有 12
钢筋表(上)中,GPT-6 Astra 把每个单元格都准确重建了出来,GPT-5.6 Sol 则把表格比例弄错,并丢了大部分文字。桥墩大样(下)中,两个 GPT-6 模型把每条线都画了出来(几何 F1 100),却把钢筋放错了图层(图层感知 F1 为 12 和 11)。
100几何 F1
12图层 F1
任务
三类任务,难度逐级上升
每一类任务都从打印出来的图纸出发,并比上一类多要求恢复一层出图时丢掉的工程结构。
01 · 理解
把图上的每个数值对应到它所描述的对象
六选项的多选题(正确选项 1–4 个,随机猜对的概率为 1/56),由三位土木工程专家审核。每个错误选项都对应一种有名称的错误绑定,并且能被图纸本身否定。
- 单页1,800 道题,每题只涉及一页,覆盖六种绑定类型:实例、跨视图、表格、基准、范围和视图。
- 少页383 道多页父题,给出证据页,另加两张相似的干扰页。
- 整套330 道父题在约 30 页的整个图纸单元上提问,模型用可缩放的看图工具自己找页。
- 子题简答形式的读值子题和绑定子题(1,953 / 1,989 道),用来区分“读出单个事实”和“把事实组合起来”。
单页题按绑定类型的分布(共 1,800 道)
实例 879跨视图 362表格 187基准 185范围 94视图 91
一页图上的六种绑定类型2,183 道经专家审核的题目
02 · 重建
重建像素背后可编辑的 CAD 文件
智能体只拿到一张 200 dpi 的黑白栅格图,没有矢量层和文字层,需要在沙箱中编写 Python / ezdxf 代码,输出带图层和尺寸标注实体的 DXF 文件。
- L1 · 单页232 页桥梁和隧道图纸,按实体数量分为小(108 页)、中(96 页)、大(28 页)三档。
- L2 · 整套28 套完整图纸(每套 5–14 页,共 230 页),要求各页之间保持一致。
九个标准化的功能图层
轮廓
钢筋
隐藏线
中心线
填充
尺寸标注
文字
符号
表格
L1 输入 · 黑白栅格图→
目标 · 九图层 DXF 文件
L2 输入 · 一套图纸的全部 7 页 → 每页一个相互一致的 DXF
232 个 L1 页面28 套 L2 图纸(共 230 页)
03 · 设计
按新参数推导出一页新图
和设计院的实际做法一样:同一构件派生出的另一页图留作真值,智能体拿到参考页的 DXF、其余页的栅格图和构件的新参数。
- L3 · 设计19 个参数化设计任务,钢筋根数、长度、几何、尺寸标注和数量表合计都必须协调一致地更新。
已给 · 参考页 DXF→
留作真值 · 设计人员画的目标页同一构件,新的参数19 个 L3 任务
流程与评分
沙箱中的智能体循环,文件对文件的确定性评分
智能体在隔离的容器里编写并运行代码,把自己的 DXF 渲染出来与输入对照,然后一次性提交。评分完全不用 LLM 或 VLM 作裁判。
接收200 dpi 的栅格页面、规定了图纸毫米坐标和 9 个图层的任务卡,以及 Python/
ezdxf 工具。绘制智能体在沙箱里自己编写并运行脚本,生成可编辑的 DXF 文件。
自检按输入的黑白样式把 DXF 画出来,提交前与输入图对照。
文件对文件评分外部评分器把实体与设计人员的源文件对齐,计算 5 个加权分项。
页面得分公式权重之和为 1.00
- 几何 F1曲线按 0.25 mm 间距采样,图纸上相距 1 mm 以内算匹配0.25
- 图层感知 F1匹配上的几何点还必须位于同一个目标图层0.30
- 图层占比落在九个规定图层上的实体所占比例0.10
- 文字 F1字符串相距 6 mm 以内、相似度 ≥ 0.8、数字完全相同0.20
- 尺寸标注 F1尺寸标注按数值和位置匹配0.15
L2 整套 · 共享值召回源文件中在一套图纸的多页上重复出现的数值里,输出也同样一致地写出的比例。
L3 设计 · 设计召回随新参数变化的数值(比较留作真值的那页与参考页得到)中,输出算对的比例。
理解 · 完全匹配与子题多选题要求选项集合完全一致才算对(随机猜对的概率为 1/56)。子题按答案类型分别评分,由此计算局部覆盖率(LC)和组合准确率(CA)。
严格的沙箱隔离DWG 源文件、真值 DXF 和确定性评分器始终放在智能体的容器之外。
交互式浏览
亲自看看基准里的数据
这是一份固定随机种子、分层抽取的样例,抽样时没有参考任何模型结果,包含中文原题、英文翻译、错误选项的解释、分图层的图和故障注入表。
60 道单页题
10 道多页父题
62 道子题
6 个 L1 页面
1 套 L2 图纸
1 个 L3 设计任务
打开样例浏览器