排版评分：怎么让 AI 的扣分像老师

批改系统要给实验报告的排版打分。这件事的测量部分其实不难：转成 PDF 之后，每一段的字体、字号、行距、边距都是能精确读出来的数字，偏差多少一目了然。

难的是下一步。把所有测得到的偏差都报出来，得到的是一份”第 3 页第 7 段字号小 2pt、第 4 页行距差 0.08 倍”的清单。老师看完会皱眉：这些都不是他会扣分的地方。人看排版，看的是整页乱不乱、结构全不全、有没有特别扎眼的地方，2pt 的字号差根本看不见。

评分系统要像人，先得承认人的注意力是有分配的。

三层模型，权重照着注意力分

我们把排版评分拆成三层，权重模拟人的关注顺序：

层	权重	怎么评	输出
L1 整体观感	约一半	视觉模型看整页渲染图，和模板页对照	页面级评分 + 描述性证据
L2 结构规范	约三成	确定性规则：章节完整性、标题层级、图表题注	元素级问题 + 精确位置
L3 细节偏差	约两成	确定性规则：边距、版心溢出、字体字号行距	元素级问题 + 位置

L1 用视觉模型而不是规则，因为”这页看着舒服吗”本来就是整体判断，拆成规则就散了。L2、L3 反过来用确定性规则，因为章节缺没缺、图表编号连不连续，是要精确到位置给批注的，视觉模型数不准。

分析对象也有讲究：以转换后的 PDF 为主，因为那是渲染结果，学生交上去别人看到的就是它；docx 里声明的样式作参考，那代表学生的”意图”。扫描件没有样式元数据，排版评分降级成纯视觉层。

让 L3 不烦人的四个手段

L3 是最像机器的一层，也是最容易把报告变成噪音的一层。四个手段把它压回人类感知的范围：

可见性阈值。 低于人眼感知的差异不报：字号差小于 2pt、行距差小于 0.1 倍、边距差小于 3mm，单独出现就不构成问题。测量精度留在了证据里，但不上报告。

聚合汇报。 “全文 62% 的段落缺少首行缩进”是一条问题；单个段落缩进异常，只在同类占比超过阈值时才报。人说话的方式是讲比例和趋势，不是逐条点名。

人话术。 扣分理由写”第 3 页右侧图表超出页边距，视觉突兀”，不写”image x1=545pt > 版心 x1=523pt”。量化值放进证据明细，给学生看的永远是影响是什么。

权重校准。 这是最后一道：三层权重和阈值不是拍脑袋定的终稿，是用教师的数据调出来的。方法下面单独说。

校准：让教师排序，别让教师打分

校准需要人对样本报告的判断做参照。一开始想的是请老师逐项打分，很快发现行不通：一天批几十份报告的人，没有耐心给十份样本的”字体规范""图表规范”各打一遍分，而且打分本身不稳定，同一份今天 82 明天 75。

换成排序。给老师十五份报告，只做一个动作：从好到差排个序。排序快（几分钟一份），而且人对”谁比谁好”的判断远比绝对分数稳定。

然后把它变成一个优化问题：调整三层权重和各项阈值，让 AI 的排序与教师的排序尽可能一致，一致性用 Spearman 相关系数衡量。排序对了，分数的高低分布自然就对了。

这个方法后来我们内部叫”用排序当标尺”，成本大概是逐项打分的十分之一，信号质量反而更高。任何要做”符合人类判断”的评分系统，都值得先想想能不能把标注成本降到”排个序”。

尾巴

这套模型最后落到产品里的样子：学生看到的批注是”第 2 页缺少实验步骤章节的标题”和”第 5 页图表压住了页脚”，看不到任何 pt 和 mm；老师端能点开每一处的量化证据。人话在前，数据在后，各归各位。

做评分系统容易有一个惯性：测得到什么就报什么。这套设计里花时间最多的部分恰恰相反，是把测得到但人不关心的东西按住。系统要像人，先学会人不做什么。