六端交付标准 证明端之二 Measurable
可度量
宏观统计层面,回答整体表现如何、本周比上周好还是坏、值不值这个钱。
定义与交付底线
宏观统计层面,回答整体表现如何、本周比上周好还是坏、值不值这个钱。涵盖进场基线、golden set 回归门、在线指标、每任务成本核算与预算熔断。评估体系是演化的适应度函数:没有它,涌现只是漂移。
和其他端的关系
进场核查
手册 2.4「六端信息核查表」里可度量端的事项。等级:硬,拿不到就不能开启对应能力或不能上线;降,可收窄范围先上线,边跑边补;弃,客户明确不在意时按最小标准处理或跳过。
| 信息与权限项(向谁要) | 企业没有时如何自采 | 缺失对交付的影响 | 等级 |
|---|---|---|---|
| 上线前业务基线(业务部门) | SOP-4,进场第一周开跑,窗口错过永久关闭 | 结项无法证明价值,续约靠感觉,议价权归零 | 硬 |
| 买单人的真实成功标准(单独谈) | SOP-2 买单人问题库 | 指标再好也不续约,方向错全白干 | 硬 |
| golden set 判定权与专家标注时间(业务专家) | SOP-3 自建初版;进场时谈定专家额度 | 演化没有适应度函数,每次迭代都是赌 | 降 |
| 版本锁定能力(FDE 自建工程纪律) | 完全自建 | 单案复现不了,整体回归不了 | 硬 |
| 成本核算口径与预算上限(财务、买单人) | 自建计量;预算熔断挂进降级链路 | 六端多数能力都是成本放大器,没人管账跑得越欢死得越快 | 降 |
设计模式
手册 3.1「十个部署设计模式」里对应可度量的模式:
- P5 裁判与教练 被自动化流程的原岗专家转为 AI 裁判:批注输出、裁决例外、维护 golden set 对应端:可度量、转岗
- P8 版本锁定与回归门 prompt、模型、工具全部钉版本;golden set 回归不过,任何变更不上线 对应端:可度量、可追溯
- P9 预算熔断 每任务成本实时计量,超预算触发降级链路 对应端:可度量、高容错
验收门里的相关项
手册 4.1「单流程三级验收门」里和可度量有关的验收项:
门 A:Copilot 上线门(只建议,不执行)
- 可度量: 该流程基线已封存
门 B:HITL 自动执行门(人确认后执行)
- 评估: golden set 达到项目设定规模;回归门生效,变更不过回归不上线
门 C:HOTL 高度自动化门(异常才找人)
- 指标: 连续若干周期准确率与返工率对基线达标(周期数与阈值项目定)
- 成本: 每任务成本在口径上限内;预算熔断实测有效
理论锚点
手册附录 A:
- 理论锚点
- 六西格玛 DMAIC、平衡计分卡加作业成本法(卡普兰)、TOC 有效产出会计(戈德拉特)
- 一句话引用
- 告诉我你如何度量我,我就告诉你我将如何行为;对 Agent 同样成立
业界案例里的这一端
Datawhale《FDE 案例100》第一期的 24 个案例里,我们标注了 14 个体现可度量的案例。下面是标注理由(我们的分析,不是原书内容):
- NO.1 从师徒带教到AI辅助培训:FDE用AI破解制造业经验传承难题 调研统计出的新人高频问题被直接用作测试集,验收标准在小范围实测之后与客户共同商定。
- NO.2 从人工审材料到自动化办件:FDE用AI提升车管所网办效率 用单件审核时长和日均办件量对比前后效果,并把不同审核尺度下的日处理量算给甲方,用数据支撑决策。
- NO.5 从大海捞针到全链路提效:FDE用AI重构TikTok达人建联与履约 把建联、履约、GMV 和单个达人的样品成本放进同一视图,管理者可以按投入产出判断达人是否值得长期合作。
- NO.6 从经验装车到智能规划:FDE用AI优化跨境物流装载效率 以老师傅约 5 小时的装车耗时、98 方保本线和每方 100 美元的计费为参照,把装载优化的价值直接换算成增收。
- NO.7 从个人提效到组织能力:FDE用AI推动企业研发转型 效果证据来自三个小组写代码、写文档和测试的耗时对比,FDE 同时提醒几天的统计不能当作长期 ROI,评估需要持续更久。
- NO.8 从物料难找到精准定位:FDE用AI减少工业企业采购浪费 以历史数据为基线做小规模实验,用采购行为的变化衡量价值,模型准确率只作过程指标,节省的金额须客户确认。
- NO.10 从人工核对到智能对账:FDE用AI让线下零售对账又快又准 选这个场景正因为价值能算清:省了多少人工、找回多少差异都可以直接核算,便于向买单方证明。
- NO.12 从人工盯图到公司级生产:FDE用AI重塑鞋服电商素材工作流 把还原度、画质、视频可商用和一致性写成明确的验收项,并以员工是否真正使用来检验效果。
- NO.15 从经验写稿到稳定量产:FDE用AI重构本地生活短视频内容生产 先拿 AI 小样与客户原有成稿对比再推进,上线后用平台留存数据和不同商户、SKU 的表现持续调优。
- NO.16 从人工分析到分钟级洞察:FDE用AI重构电信网络数据分析 把调试成本和用户规模扩大后的长期运行成本,视为决定 Agent 能否落地的关键问题。
- NO.17 从老师傅报价到AI深度协同:FDE用AI重构非标制造售前链路 效果分四层评估:与人工相比的响应速度、报价的可用性和准确率、图纸解析准确率,最后落到对经营的实际价值。
- NO.18 从纸质台账到AI经营:一家生物科技上市公司的0帧起手数智化 用培训周期、老销售每月投入的人天等可核对的指标说明效果,陪练和考试也按新人通过率持续迭代。
- NO.22 从库存割裂到业务联动:FDE用AI打通跨境电商的库存、补货与广告决策 访谈者反思没有在上线前建立效果基线,交付后无法证明省下多少时间和成本,以后要先记录人工耗时再上线。
- NO.24 从发货到动销:FDE用AI打通跨境快消的海外数据断层 用正常、异常和边界案例组成的评估样本持续测试模型,并对比引入前后费用审核发现问题的比例。