为什么ADHD 数字诊断赛道最该公开的不是准确率,而是偏倚来源表?
《问题286》人工精修选题,双域证据作答。
为什么ADHD 数字诊断赛道最该公开的不是准确率,而是偏倚来源表?
上一篇拆了「95% 准确」是怎么被生产和包装的;这一篇往前推一步,给这个赛道提一个具体的行业倡议:每个 ADHD 数字诊断/筛查产品,都应该像食品公开配料表一样,公开一张「偏倚来源表」——样本构成、对照组定义、验证方式、失效场景,一页纸说清。这不是理想主义:配料表式的透明,在机器学习工程里已经有成熟的模板(Model Cards、Datasheets for Datasets),在循证医学里有现成的方法学(GRADE、诊断研究的 QUADAS 偏倚评估)——两个领域各自都造好了轮子,这个赛道只是还没装上。
先说为什么准确率不配当头牌指标。诊断研究的方法学共识:单一准确率数字在不同患病率、不同人群、不同场景下会剧烈变化——它是一个没有标注适用条件就毫无意义的数字(灵敏度/特异度在温室样本里的表现,推不出你的诊室)。真正决定一个工具「能不能用、对谁能用」的,是那些藏在方法部分的信息:训练样本长什么样(年龄?性别比?共病排除了谁?)、对照组是健康人还是鉴别诊断人群、有没有独立外部验证、在哪些人群上已知失效。这些信息每一条都直接对应一类会被误伤的真实用户——女性(样本里常年偏少)、成年人(儿童数据训练的模型)、共病者(被排除标准清出了训练集,却清不出现实)。准确率是广告,偏倚表才是说明书。
偏倚来源表长什么样?借 Model Cards 和 QUADAS 的骨架,一页纸五栏:①样本卡——训练/验证样本的人口学构成,明示缺口(「女性 18%」「无 40 岁以上样本」);②对照定义——对照组是谁,是否包含鉴别诊断人群(焦虑、抑郁、睡眠障碍);③验证层级——内部交叉验证/独立外部验证/前瞻性临床验证,到了哪一级(这就是诊断版的证据等级);④已知失效场景——哪些人群/条件下性能下降或未测(「未在用药人群验证」);⑤金标准说明——训练标签怎么来的,评估者一致性如何。每一栏都不需要新研究,只需要把已有信息从论文附录搬到产品页面——成本是诚实,不是钱。
为什么厂商该主动做这件事,商业逻辑其实成立:第一,监管在路上——医疗 AI 的透明度要求只会越来越严,先装配料表的是在建合规资产;第二,信任是这个赛道唯一的护城河——用户被「95%」轰炸疲劳之后,第一个诚实说「我们对成年女性的数据还不足,此场景请结合临床评估」的产品,反而赢得处方者和用户的长期信任(就像食品行业,配料表干净本身成了卖点);第三,它是最便宜的差异化——准确率的军备竞赛人人会打,诚实的方法学透明目前没人做,空位就是机会。
这件事和本系列的主线还有一层呼应:我们要求 LLM 输出带引用、带置信度、带「我不知道」(校准),要求 agent 的每个决策可审计——对 AI 的全部透明度要求,理应同样施加给「用 AI 评估人」的系统,而且要更严,因为后者的输出会改写一个人的自我叙事和医疗路径。给 agent 装 harness,给诊断 AI 装偏倚表——同一种工程伦理,两个应用场景。
边界
同构强度 B 级:Model Cards/Datasheets 是机器学习界的真实规范提案,QUADAS/GRADE 是诊断与证据方法学的成熟工具,诊断研究的偏倚类型有厚实文献;「五栏表」是本文的综合设计,行业采纳是倡议而非现状。声明:本文是方法学与行业分析,不构成对任何产品的评价或医疗建议;用户侧的行动仍是那句——任何数字工具的结果都是「值得评估的信号」,确诊在诊室。
今天就能试的 3 件事
- 给你接触过的一个数字测评找配料表:去它的官网找样本构成和外部验证信息——找不到,本身就是信息。
- 如果你在这个赛道工作:把五栏表填一遍,看哪一栏最心虚——那就是你们最该补的研究或最该说的实话。
- 把「验证层级」这个词带进下次讨论:内部验证/外部验证/前瞻验证——一个词就能把讨论从广告拉回方法学。
食品有配料表,药品有说明书,评估人类心智的算法却只挂一个「95%」——这个赛道缺的不是更准的模型,是一页纸的诚实。谁先公开偏倚表,谁先配得上信任。
参考来源
同构强度:B 级 —— 机制类比(ADHD 侧与 LLM/agent 侧均有真实文献,机制可映射)
- ADHD Apps: We tested 44 Apps and Here’re the Best 9 in 2026 — 证据等级:低(GRADE)
- 12 AI Personal Assistants Built for ADHD Brains (2026 Rankings) — 证据等级:低(GRADE)
- LBD同构对:自我调节与元认知 — Inhibitory control and emotion regulation in preschool child ↔ ObjexMT: Objective Extraction and Metacognitive Calibration — 证据等级:低(GRADE)
- LBD同构对:自我调节与元认知 — Emotion-related self-regulation and its relation to children ↔ A Reproducibility Study of Metacognitive Retrieval-Augmented — 证据等级:低(GRADE)
- The 12 Best AI Tools for 2026 (That People Actually Use) — 证据等级:低(GRADE)
- The AI Powered SuperApp for Work | Motion — 证据等级:低(GRADE)
本文是「ADHD × AI」系列的第 110 篇,由 Devin 基于持续维护的双域研究语料(72,739 篇论文 + LLM Wiki)亲自撰写,并持续迭代更新。