CivilCADBench 样例浏览器
理解 · 重建 · 设计

CivilCADBench

面向土木工程图纸集的多模态大模型评测基准

真实基础设施工程的图纸集及其 CAD 源文件,共含 25 万多个实体。CivilCADBench 考察前沿模型能否读懂一套图纸、从黑白打印图重建出背后可编辑的 CAD 文件,并按新的参数设计出一页新图。

浏览样例 查看排行榜 论文 即将发布 代码与数据 即将发布
一套图纸 · 共五页

L1 · 重建单页。输入一页黑白打印图,输出一个可编辑的 DXF 文件,要恢复全部九个命名图层、尺寸标注实体和文字。

L2 · 重建整套。智能体在一次运行中重建全部五页,每页输出一个 DXF。各页共有的构件,尺寸和钢筋编号必须前后一致。

L3 · 设计新页。第 1 页以 CAD 文件给出,要求为更宽且斜交的桥台背墙画出第 2 页:钢筋根数、钢筋长度和工程数量表都要随之更新。

设计人员的第 2 页 CAD 文件,按图层着色。 第 2 页的黑白打印图,即模型收到的输入。 输入 · 黑白打印图 目标 · 分图层的 CAD 文件
五页中的每一页都是一个任务点击缩略图切换页面
主筋 3,430 → 5,042 mm · 平面变为斜交 钢筋 尺寸标注 轮廓 隐藏线 符号 文字 拖动滑块对比
25.77万CAD 实体(每页中位数 523)
1,800单页理解题
383多页父题 · 1,953 道子题
232L1 待重建页面
28L2 整套图纸(共 230 页)
19L3 参数化设计任务
结果

模型画得出打印图,却还原不了文件。

我们在高推理档位下评测了七个前沿多模态大模型。最强的模型能准确读出并描出图面上印着的内容,但对打印时丢掉的文件结构,恢复得要差得多。

91.2L1 页面得分
单页重建的最高得分(GPT-6 Astra;几何 F1 达到 95.5)
59.9图层感知 F1
同一模型在这些页面上的图层感知 F1:图层在像素里不留痕迹
47.9L3 设计召回
在新设计中,随参数变化的数值只有不到一半算对

    † 页面按 2×2 切块发送
    发现 01描出一页图,不等于还原出图层图层感知 F1 最高的是 GLM-5.3-Flash(70.8),而不是描图最准的模型。要求图层也对时,它保住了几何 F1 的 86%,GPT-6 Astra 只保住 63%。
    发现 02整套重建让几乎所有模型退步同一页放在整套里重建,GPT-6 系列比单独重建低 3.4–4.5 分;GPT-5.6 Sol 和较大的开源模型精力被摊薄,低 22–29 分。
    发现 03做设计时,改图得不偿失最好的两个模型,该变的数值只写对不到一半(47.9% 和 49.1%)。把参考页原样照抄,页面得分反而比它们高 6.0 和 8.9 分。
    完整评测结果每列最优值以蓝色标出
    相对单独 同一批页面的 L2 页面得分减去 L1 得分 相对照抄 L3 页面得分减去原样照抄参考页的得分 † 页面按 2×2 切块发送
    定性分析

    前沿模型究竟错在哪里

    把模型生成的 DXF 文件与设计人员的源文件并排对照,可以看到三种像素指标看不出来的失败方式。

    L1 单页重建的定性对比。

    L1 单页重建:几何 F1 为 100,图层 F1 只有 12

    钢筋表(上)中,GPT-6 Astra 把每个单元格都准确重建了出来,GPT-5.6 Sol 则把表格比例弄错,并丢了大部分文字。桥墩大样(下)中,两个 GPT-6 模型把每条线都画了出来(几何 F1 100),却把钢筋放错了图层(图层感知 F1 为 12 和 11)。

    100几何 F1
    12图层 F1
    任务

    三类任务,难度逐级上升

    每一类任务都从打印出来的图纸出发,并比上一类多要求恢复一层出图时丢掉的工程结构。

    01 · 理解

    把图上的每个数值对应到它所描述的对象

    六选项的多选题(正确选项 1–4 个,随机猜对的概率为 1/56),由三位土木工程专家审核。每个错误选项都对应一种有名称的错误绑定,并且能被图纸本身否定。

    • 单页1,800 道题,每题只涉及一页,覆盖六种绑定类型:实例、跨视图、表格、基准、范围和视图。
    • 少页383 道多页父题,给出证据页,另加两张相似的干扰页。
    • 整套330 道父题在约 30 页的整个图纸单元上提问,模型用可缩放的看图工具自己找页。
    • 子题简答形式的读值子题和绑定子题(1,953 / 1,989 道),用来区分“读出单个事实”和“把事实组合起来”。
    单页题按绑定类型的分布(共 1,800 道)
    实例 879跨视图 362表格 187基准 185范围 94视图 91
    一页标出了六种绑定点的图纸:基准、视图、跨视图、实例、范围和表格。
    一页图上的六种绑定类型2,183 道经专家审核的题目
    02 · 重建

    重建像素背后可编辑的 CAD 文件

    智能体只拿到一张 200 dpi 的黑白栅格图,没有矢量层和文字层,需要在沙箱中编写 Python / ezdxf 代码,输出带图层和尺寸标注实体的 DXF 文件。

    • L1 · 单页232 页桥梁和隧道图纸,按实体数量分为小(108 页)、中(96 页)、大(28 页)三档。
    • L2 · 整套28 套完整图纸(每套 5–14 页,共 230 页),要求各页之间保持一致。
    九个标准化的功能图层
    轮廓 钢筋 隐藏线 中心线 填充 尺寸标注 文字 符号 表格
    一页桩基钢筋图的黑白栅格图。L1 输入 · 黑白栅格图
    →
    同一页的 CAD 文件,按图层着色。目标 · 九图层 DXF 文件
    一套七页图纸的第 1 页。 这套图纸的第 2 页。 这套图纸的第 3 页。 这套图纸的第 4 页。 这套图纸的第 5 页。 这套图纸的第 6 页。 这套图纸的第 7 页。
    L2 输入 · 一套图纸的全部 7 页 → 每页一个相互一致的 DXF
    232 个 L1 页面28 套 L2 图纸(共 230 页)
    03 · 设计

    按新参数推导出一页新图

    和设计院的实际做法一样:同一构件派生出的另一页图留作真值,智能体拿到参考页的 DXF、其余页的栅格图和构件的新参数。

    • L3 · 设计19 个参数化设计任务,钢筋根数、长度、几何、尺寸标注和数量表合计都必须协调一致地更新。
    提供给模型的参考页。已给 · 参考页 DXF
    →
    留作真值的一页:设计人员按新参数画的图。留作真值 · 设计人员画的目标页
    同一构件,新的参数19 个 L3 任务
    流程与评分

    沙箱中的智能体循环,文件对文件的确定性评分

    智能体在隔离的容器里编写并运行代码,把自己的 DXF 渲染出来与输入对照,然后一次性提交。评分完全不用 LLM 或 VLM 作裁判。

    接收200 dpi 的栅格页面、规定了图纸毫米坐标和 9 个图层的任务卡,以及 Python/ezdxf 工具。
    绘制智能体在沙箱里自己编写并运行脚本,生成可编辑的 DXF 文件。
    自检按输入的黑白样式把 DXF 画出来,提交前与输入图对照。
    文件对文件评分外部评分器把实体与设计人员的源文件对齐,计算 5 个加权分项。
    页面得分公式权重之和为 1.00
    • 几何 F1曲线按 0.25 mm 间距采样,图纸上相距 1 mm 以内算匹配0.25
    • 图层感知 F1匹配上的几何点还必须位于同一个目标图层0.30
    • 图层占比落在九个规定图层上的实体所占比例0.10
    • 文字 F1字符串相距 6 mm 以内、相似度 ≥ 0.8、数字完全相同0.20
    • 尺寸标注 F1尺寸标注按数值和位置匹配0.15
    L2 整套 · 共享值召回源文件中在一套图纸的多页上重复出现的数值里,输出也同样一致地写出的比例。
    L3 设计 · 设计召回随新参数变化的数值(比较留作真值的那页与参考页得到)中,输出算对的比例。
    理解 · 完全匹配与子题多选题要求选项集合完全一致才算对(随机猜对的概率为 1/56)。子题按答案类型分别评分,由此计算局部覆盖率(LC)和组合准确率(CA)。
    严格的沙箱隔离DWG 源文件、真值 DXF 和确定性评分器始终放在智能体的容器之外。
    交互式浏览

    亲自看看基准里的数据

    这是一份固定随机种子、分层抽取的样例,抽样时没有参考任何模型结果,包含中文原题、英文翻译、错误选项的解释、分图层的图和故障注入表。

    60 道单页题 10 道多页父题 62 道子题 6 个 L1 页面 1 套 L2 图纸 1 个 L3 设计任务
    打开样例浏览器
    样例图纸第 1 页。 样例图纸第 2 页。 样例图纸第 3 页。 样例图纸第 4 页。 样例图纸第 5 页。 样例图纸第 6 页。