QE能力进阶(5)|属性量具的 MSA:外观检验怎么量化(Kappa 与一致性分析)
一、开篇:一份"漂亮"的 Kappa 报告,为什么被客户驳回
某电子制造企业为海外客户供货,外观面要求"无可见划伤、无色差"。客户在供应商过程审核中开出一条不符合项:缺少属性一致性分析报告。质量工程师很快做完并提交:3 名检验员、50 件样品、每人判定两轮,整体 Kappa 0.81、一致率 94%,结论写着"测量系统可接受"。
两周后报告被退回。客户 SQE 只问了一句话:这 50 件样品里,有几件是"不好判"的边缘件?回头一查,46 件是明显合格品,4 件是明显不良品,边缘件为零。也就是说,检验员根本不需要判断力就能给出答案——高一致率和高 Kappa,只是"题目太简单"的结果。
这个场面点出了属性 MSA 的核心:它不是一次统计计算,而是一次测量系统的能力考核;结论是否可信,先取决于样本与判据的设计,再取决于 Kappa 那个数字。 方法入门层面的内容(Kappa 怎么算、限度样本怎么建)已经讲过,本文往下再走一层:样本怎么配比、三种一致性判据各自管什么、验收阈值怎么定、结论怎么下、不合格怎么闭环。
二、原理要点:属性 MSA 到底在衡量什么
变差构成。 属性测量系统的判定结果,可拆成四块:产品真实归属(基准)、检验员自身的重复性变差、检验员之间的再现性变差、以及基准本身的模糊度。前两块靠试验设计分离出来,第三块靠定义量化与限度样本消掉。
一致率与 Kappa 的分工。 一致率=一致次数÷总次数,好算但含"猜对"的成分。二分类判定即便随机猜,长期一致率也有五成左右;两类比例越悬殊,机遇一致率越高——全是合格品时,任何人全判"合格"都能拿到九成以上一致率。Kappa=(Po-Pe)÷(1-Pe),Po 是观测一致率,Pe 是机遇一致率,它扣掉了"蒙对"的贡献。这就是为什么样本构成单一时,一致率漂亮、Kappa 也不低,但测量系统其实什么都没被证明。
三种一致性判据,各管一件事。
- 检验员自身一致性(Within Appraiser):同一人两轮及以上判定是否稳定,反映重复性,回答"今天判的明天还这么判吗";
- 各检验员与基准的一致性(Each Appraiser vs Standard):反映准确度(偏倚),回答"判得对不对";
- 检验员之间的一致性(Between Appraisers):反映再现性,回答"人和人是否一把尺子"。注意它的陷阱:两人按同一错误口径判,一致率可以满分,所以它只能作辅助判据,不能单独作为验收依据。
漏判率与误判率,比 Kappa 更贴近业务。
- 漏判率=基准为不合格却被判合格的次数÷基准为不合格的总次数,直接决定流出风险;
- 误判率=基准为合格却被判不合格的次数÷基准为合格的总次数,直接影响内部返工、报废与产能。
两者的代价方向相反,容忍度也不同。完全可能出现"Kappa 达标、漏判率 8%"的情况,那就是总体一致、风险却压在客户那一头——所以三个指标必须同时报告,不能只报一个。
三、实操步骤:从方案设计到结论落地
第一步,把基准做"硬"。 属性 MSA 的标准判定必须客观可核:能用计量手段量化的(划伤长度、色差 ΔE、间隙尺寸)先测出数值再定限;不能量化的,由工艺、质量、客户(或设计)三方会签限度样本,并明确"比它重即判不合格"。基准无法确定的样品一律剔除,不得进入分析。同时统一照明(一般不低于 800 勒克斯、色温 5000~6500K)、观察距离与角度、单件观察时间(如不超过 15 秒)。
第二步,样本量按"能暴露问题"配比。
- 总样本 ≥50 件;不合格品占 30%~50%,保证漏判与误判都有足够观测次数;
- 边缘件(处于合格与不合格边界附近,通常取限值的 ±10% 内)不少于 20%,即至少 10~12 件;
- 编号遮挡、批次打散、明暗件混排。季度复核可缩到 20~30 件,但边缘件比例不得降低,否则结论无效。
第三步,试验设计。 检验员 ≥3 名,覆盖熟练、一般、新员工三档;每人判定 2~3 轮,轮次间隔 ≥4 小时或隔日,轮内样本顺序随机;盲测,检验员之间不交流、看不到基准判定。产品可退出重投、可重复判定才适用本法;破坏性外观判定(开封、拆解类)需改用限度样本比对或嵌套式方案。
第四步,按判据表下结论。 通行门槛(客户有更严要求时从其规定):
- 自身一致性 ≥90% 且 Kappa ≥0.75 为良好;80%~90%、Kappa 0.6~0.75 为边缘,须整改;低于 80%/0.6 判不可接受;
- 与基准一致性:全员 ≥90%,且单人不低于 85%;单独低于 85% 者按个人复训处理;
- 检验员之间一致性:Kappa ≥0.75,仅作辅助判据;
- 漏判率 ≤5%,安全/关键特性类应控制在 ≤2%;
- 误判率 ≤10%,可按产线节拍与返工成本适当放宽。
另外必须给出 Kappa 的 95% 置信区间与样本构成。n=30 时区间宽度常超过 0.2,若下限低于 0.6,即使点估计达标也应判"证据不足、需扩样"——这正是很多报告在客户面前站不住脚的原因。
第五步,处置与闭环。 结论不能只写"可接受/不可接受",必须给三样东西:不合格人员的再培训与再考核安排(考核用未经训练的新样本,标准同上);测量系统的复做触发条件(新员工独立上岗前、产品换型、缺陷标准或限度样本更新、照明或工位变更、季度定时复核);记录留存(样本清单与基准判定、原始判定表、统计报告、三方会签记录),供客户审核追溯。
四、常见误区
- 把一致率当唯一判据。 合格品占九成时一致率天然很高,看不出真实判断力。一致率、Kappa、漏判率、误判率要一起报。
- 样本里不放边缘件,或拿"大家都判合格"的件充数。 Kappa 虚高,客户一查样本构成就露馅;边缘件恰恰是整个分析中信息量最大的部分。
- 只算检验员之间的一致性。 多人同错时一致率仍可满分,产品照样误判流失;与基准的一致性才是准确度的判据。
- 只做一轮判定。 没有重复轮次就无法分离自身重复性变差,只能看出一次判定的对错,看不出"这个人判得稳不稳"。
- 把 Kappa 0.75 当硬开关。 Kappa 受两类样本比例影响极大,同样 85% 的一致率,在不同基准比例下 Kappa 可以差 0.3 以上;只给点估计、不给置信区间与样本构成,结论不可复核。
五、自查清单
- 每件样品的标准判定都有客观依据(数值判定或三方会签限度样本),模糊件已剔除
- 样本总量 ≥50 件,不合格品占 30%~50%,边缘件 ≥20%
- ≥3 名检验员、2~3 轮、轮次隔时、顺序随机、盲测不交流
- 报告含自身一致性、与基准一致性、检验员之间一致性、漏判率、误判率,并给出 Kappa 置信区间与样本构成
- 不合格人员有再培训/再考核记录,复做触发条件与记录留存已明确
六、一句话总结
属性 MSA 的可信度来自样本与判据的设计,而不是 Kappa 那一个数字。
样本不设边缘件,Kappa 再高也只是题目太简单。
知识编号:6.2.1
版本:v20260915
作者:卓越质量智库 卓越质量智库致力于为质量管理从业者提供系统化的专业知识、方法论与实战工具,助力企业质量能力持续提升。
