考题引擎 — 从「AI 写考卷」到「机器证明考卷是对的」

打个比方

她昨晚到底说了什么

WhatsApp 上 8 月 23 日 17:30 到 8 月 25 日 00:08 之间一共 84 条消息，其中 33 条是语音和图片。语音全部下载转录后，才拿到完整要求——有一条只存在于语音里，文字消息完全没提。

• 08-24 22:37
  Jennifer 开始审阅：「you means this is the final？」
• 08-24 22:47
  第一批意见：①只能用一种语言，现在中英马混排　②放了 5 个 CU，考生做不完
• 08-24 22:50（语音）
  「他出来的是没有排整齐的，然后跳来跳去跳来跳去…我们看了我们觉得很晕，看很久，看不懂」
• 08-24 23:08
  格式要求：一定要有政府 Logo、画线的表格，对标已通过的 beauty 1–3
• 08-24 23:13（语音）
  「买卖汽车好像是有买卖汽车的 NOSS，所以卖汽车不可以归纳在里面」——这条只在语音里，而我们那份 SET B 整份就是汽车场景
• 08-24 23:15（语音）
  「Office Admin 他把全部 7 个 CU 都放进去了…你有没有告诉他我们要做哪一个 CU？」
• 08-24 23:28
  定案：S&M 的 SET A 用她做好的房产版，我们那份电器版改成 SET B
• 08-25 00:02
  正式指令：只 C01/C04/C05 做实操　· C02/C03/C06 出 10 题口试　· E01 不放　· 实操控制在 2.5–3 小时
• 08-25 00:08
  真正的需求浮出来：「我希望有一个方式可以记录我们这个考题制作的方式，之后只需要上传 NOSS，告诉它我们要选的 CU，他就自动做对的 soalan 和 Skema 出来，有这种可能吗」

为什么她看着「很晕」——根因不在内容

她截图里那份考卷长得像老式打字机打出来的，字与字之间空隙忽大忽小。看起来像 AI 排版差。其实不是。

问题出在渲染管线选错了一个模板文件。那份模板是给教材用的，不是给考卷用的，里面写死了两件事：

换句话说：那个打字机效果根本不在源文件里，是字体在她电脑上回退造成的。这也解释了为什么我们这边看着还行、她那边看着一塌糊涂。

换掉之后

核心设计：选哪些 CU，不是 AI 的事

为什么 7 个 CU 塞不进 3 小时

这不是 AI 偷懒，是钟表不答应。一个实操工位现实上要 ~48 分钟，加上口试 30 分钟、交卷整理 10 分钟：

所以给 Jennifer 的不是一句「不行」，是一份表格：每个 NOSS 一张「Borang Pemilihan Unit Kompetensi」，列出全部 CU 加上各自的工作活动数和评估准则数（= 占时间的诚实指标），让她自己勾。表格上直接写着容量提示。

数字

第一轮扫描：366 个错误

校验器指向 FB-018-3 现有的 8 份文件，自动扫出的结果——这些正是 Jennifer 用眼睛一条条挑出来的东西：

最终交付：0 个错误

页数这条值得单独说：JPK 考卷封面要声明印刷页数，用来防止有人从密封考卷里抽走一页。Jennifer 自己那两份参考样本这里都写错了（soalan 写 13 实际 14，skema 写 14 实际 11）。页数只有排版完才知道，所以现在文件里先写占位符，渲染完由程序回填真实数字，再重新排版确认数字没把行数撑爆——反复到稳定为止。

举一反三：其余 5 个 NOSS

把同一套东西套到剩下的科目上。NOSS 原文逐条转录成机器可读的能力图谱：

那 20 处是标准文件自己的问题，不是我们的。照录不改，全部记进 source_notes。举两个例子：

• N821 正文第 6 节把 C07 叫 Staff Administration Supervision，它自己的 CPC 图表里却写 Office Administration Supervision——标准自相矛盾。之前有一轮就是抄错了这个，一路带到客户手上。
• FB-018-3 的 C01 把两条不同的准则都编号成「2.1」；C06 的编号从 2.1 直接跳到 2.3，没有 2.2。

转录时「顺手改对」听起来负责，实际上会让这份图谱不再能追溯回标准原文——PPL 拿标准来对，对不上。所以照录 + 标注。

现有考卷的体检结果

其余 5 个 NOSS 的 CU 该怎么选，是 Jennifer 的决定，我不能替她定。但不需要她决定的部分（语言、分数、页数）可以先量化出来：

合计 44 份文件、799 个待修问题，其中 775 个是语言混排。FB-018-3 已经是 0。

Jennifer 要的那个系统

她 00:08 那句「有这种可能吗」——有。它现在是一个叫 noss-ppa-generator 的技能，七个步骤：

第 3 步是整套东西的心脏。没有它，就回到 AI 自己挑 CU 的老路。

今天学到的一件事

下午追加：换了格式基准，推翻了上午一个结论

上午那条「全部改成马来文」是做过头了

她的权威版是 马来文标题 + 英文正文——A. TEMPOH MASA 配 : 3 HOURS，C. TUGASAN 配 The candidate is required to…，两者从不出现在同一句里。

她说的「only one language」指的是一句话里中英马对照那种混排，不是要求整份改成马来文。上午照「全马来文」改，如果拿这套规则去校验她自己已通过的卷，会误报几百条——这本身就说明规则当时定错了。

她要选哪些 CU，其实一直写在文件里 —— 用粗体

把她的 PDF 按字体逐个 span 抽出来：

BOLD  C01 MARKET & PRODUCT SURVEY            [Arial-BoldMT]
      C02 DIRECT / RETAIL SALES              [ArialMT]
      C03 AFTER SALES SERVICE                [ArialMT]
BOLD  C04 SELF SALES PERFORMANCE ASSESSMENT  [Arial-BoldMT]
BOLD  C05 ONLINE SALES                       [Arial-BoldMT]
      C06 PRODUCT MARKETING                  [ArialMT]

C01、C04、C05——正是她 8 月 25 日 00:02 才用文字讲清楚的那三个。文本抽取会把粗体丢掉，所以 AI 看到的是六个一模一样的单元。对应昨晚那段：

你 23:17：「你这边加粗的意思是选那些加粗的 cu 对吗？可能 ai 误会了」
她 23:17：「对」

结论：决策如果只靠视觉格式承载，就过不了管线。必须以数据形式携带。这正是 profile 文件存在的理由。

最严重的一条：考卷自己内部打架

核对答案范本时发现，Appendix 2 里的「已核实汇总表」和同一附录的 20 行原始数据对不上——而考生的任务恰恰是「分析原始数据」：

后果：老老实实数那 20 行的考生，会被评分表判错。

而且这条串了一整条链——答案范本跟着汇总表走，评分表跟着答案范本走，所以从里往外看每一层都「一致」，唯独跟考生手上真正要分析的那张表不一致。三个 agent、十四个校验器，全部漏过。

已修，并加了 V15 数据对账校验器。而且验证过它真的会响——把修好的数字改回错的，立刻报两条。一个不会响的校验器，通过了等于没查，还买了个假的安心。

另外两份文件，结构整个做错了

这两份在 8 月 21 日那次审计里就被标注为「未审」——搁着没看的东西，往往正是错得最离谱的。

已交付

已上传 Jennifer 的 Drive（档名前缀 [fb3 B 25.08]），并发了 WhatsApp + 4 张改动前后对照图给她核对。她已读。

傍晚：其余 5 个 NOSS 也过了一遍

把同一套格式套到 Office Admin、Digital Marketing、Retail Outlet、S&M L4/L5 —— 22 份 soalan + skema 全部重做。写了个批量迁移脚本，40 个文件不可能靠手改。

「校验器和被校验对象共用同一个错误假设时，它会安静地放行」

页眉参考码的正则是照 FB-018-3 写的，认不出 N821-001-3 这种「字母+数字」开头的代码。后果：

• N821、M731、G471 三个科目整份没有页眉——渲染器找不到代码，就什么都不放
• V12 校验器用的是同一个错正则，所以它对这三个科目一直安静通过

两处都修了。这是今天第二次遇到同一类失败——V15 那次也是「链条内部处处一致，唯独与外部真相不一致」。

顺带抓到的

一条自我更正

上午我说「N821 的标准自相矛盾，正文写 Staff、图表写 Office」。实际读原文的 agent 报告：§6 p.6、CPC p.11、CoCU 15.7 p.71 三处全写 Staff。是 8 月 21 日那份审计搞错，我照抄了它没有复核。考卷上的 C07 STAFF ADMINISTRATION SUPERVISION 是对的。

误报也是错

上午那条「其余科目共 799 个待修问题」——换成正确的语言规则后是 140。其中 659 条是我上午那条做过头的规则造成的误报。一个规则定错，它产生的「发现」全都是噪音，还会误导下一步该修什么。

晚间收尾：44 份文件，0 问题

又一整类文档漏网

今天的批量迁移只覆盖了 soalan 和 skema。结果：10 份设备核对表全部还是自创格式，10 份答案范本全部是空白表格式。

而这两类正是 8 月 21 日那次审计标注为「未审」的文件。搁置未读之物，往往错得最彻底。

设备核对表改成了从考卷 §D+§E 直接推导而非人写——这样它在结构上就不可能和考卷不一致。跨文档「考卷清单 vs 核对表清单」不符从 10 处降到 0。

答案范本引用了考卷里不存在的附录

答案范本是考官的对照钥匙。抓到 4 处引用了考卷没有的附录编号：

内容理解正确，标签自己造。考官拿着卷子搜那个字串会一无所获。

所有模范答案的数字，逐个验算

没有采信 agent 的报告——自己算：

G471  2,350.00 = 备用金 200.00 + 现金销售 2,150.00     ✓
      28       = 货架容量 40 − 现有 12                 ✓
N821  105.00   = 3 × 35.00     85.00 = 10 × 8.50      ✓
      60.00    = 5 × 12.00     90.00 = 6 × 15.00      ✓
      61.50    = 期初 287.00 − 报销合计 225.50         ✓

上一次跳过这一步的后果，就是本页前面那条 V15——汇总表与原始数据打架，照实算的考生会被判错。

三个连锁失误，值得记下来

为什么其余 5 科没有上传

格式全部做完了，但它们的 CU 结构仍然是错的——Office Admin 还是 7 个 CU 全在里面，正是 Jennifer 点名的问题。等她填完 CU 选择表才能定案。

此刻上传会让它们看起来像完成品。已上传的只有 FB-018-3 四件。