为什么「治好 ADHD 的被批评却不知道错在哪一步，反馈延迟就失去动力」和「让 LLM 不跑飞」其实是同一道工程题？
agent 拿到 episode 末尾的标量 reward，却不知该强化哪个动作（credit assignment）——同一套 harness 思路，两边都成立。
为什么「治好 ADHD 的被批评却不知道错在哪一步，反馈延迟就失去动力」和「让 LLM 不跑飞」其实是同一道工程题？
ADHD 者对「反馈」的体验里,有两种熟悉的痛:一种是被批评却不知道错在哪一步——「你这个项目做得不行」,好的,但行的标准是什么?是哪个决定、哪一步走岔了?批评是一团情绪冲击波,砸下来只留下「我不行」,不留下任何可修正的坐标;另一种是反馈一延迟,动力就死亡——做了一件事,回音两周后才来(或永远不来),行为与后果的连接断裂,下次再做同类事时,上次的教训等于不存在。这两种痛,在强化学习的文献里有一个共同的名字,而且是整个领域最核心的难题:信用分配(credit assignment)——当结果的信号稀疏、延迟、且只有一个总分时,系统无法确定该强化或修正哪一步决策。
先讲 LLM/RL 侧的这道题有多硬。训练 agent 的经典困境:episode 跑完,环境只给一个标量 reward(成功/失败/得分)——几十步决策共享一个总分,哪步好哪步坏,信号里没有;信用分配错误的后果是灾难性的:好的步骤被错怪、坏的步骤被强化,学习低效甚至反向。近年的工程解法方向明确:把结果监督改成过程监督——process reward model 给每一步打分而不是只给结局打分;让反馈变得即时(每步之后)、具体(指向该步)、可操作(知道怎么改)——反馈的价值不在多少,在它能否被映射回具体决策;这是两边研究会师的桥:瓶颈从来不是「反馈不够多」,是「反馈无法归因到步骤」。
ADHD 侧,信用分配的失灵有双重来源。外部的:ADHD 者从小接收的反馈,恰恰是信用分配最差的那种——episode 级的标量 reward:「你怎么又搞砸了」「这孩子就是不用心」——总分式、延迟式、人格化(信号挂在「你这个人」上而不是「那一步」上);研究方向上,ADHD 儿童接收的负面反馈频率远高于同龄人,而这些反馈几乎从不带步骤坐标——高剂量、零分辨率的负反馈,训练不出修正,只训练出回避与羞耻(焚烧炉篇的债务,源头就在这)。内部的:延迟折扣让远期后果的强化效力锐减——行为与后果隔了两周,连接在动机系统里近乎归零;加上情景记忆的模糊,「上次哪步走岔」的自我复盘也缺原材料——外部反馈无坐标,内部归因无素材,信用分配双通道全断。
把过程监督翻译成生活工程,四个落点:①把总分拆成步骤分——对自己:项目结束后的复盘,禁止「成/败」一个字总结,强制列步骤清单并逐步标注(这步稳/这步险/这步岔)——给自己当 process reward model,材料来自当时的四行状态笔记(Saner 篇,所以笔记同时是信用分配的原材料);②索要坐标——对批评者:被批评时,练一句固定的话:「具体是哪个部分/哪一步的问题?」——把冲击波变成坐标;对方给不出坐标的批评,归入情绪垃圾,进焚烧炉,不进修正回路;③制造即时反馈——对延迟:反馈周期长的事(投稿/项目/学习),自己插入近端检查点:每步完成后立刻自评产物(交付了什么/符合预期吗)——用自建的过程信号,补上外部信号到来前的空窗(和 Habitica 篇的过程奖励同构,这里管的是学习信号而不只是动机);④给出坐标——对他人:你反馈别人(孩子/同事/伙伴)时,执行过程监督的纪律:指向步骤、不指向人格、给出可操作的下一步——这是这套认知能立刻兑现的利他版本,对 ADHD 家庭尤其值钱。
边界:其一,同构是结构层面的——大脑的强化学习远比 RL 算法复杂,「多巴胺=reward」是过度简化(本系列的一贯立场);共享的是「稀疏/延迟/标量反馈→信用分配失灵→过程监督是解药」的问题结构;其二,过程监督成本高——不是所有事都值得逐步复盘,把它花在反复失败的高价值场景上;其三,批评带来的强烈情绪反应若达到 RSD 级别(瞬间崩溃、持续数日),情绪层的支持优先于复盘技术。
边界
同构强度 B 级:延迟强化效力下降与 ADHD 的负反馈暴露有研究文献方向,信用分配与过程监督是 RL/LLM 工程的实体机制(本系列 GraphRAG 挖出的 feedback 桥概念),结构对应清晰;生活化的「过程监督」为实践翻译。声明:批评引发的极端情绪反应请寻求专业支持;本文不做诊断。
今天就能试的 3 件事
- 复盘一件最近「搞砸」的事:列出步骤清单,逐步标注稳/险/岔——你大概率会发现,岔的只有一两步,其余都稳。
- 背下那句话:「具体是哪一步的问题?」——下次被批评,先要坐标;给不出的,进焚烧炉。
- 给身边人一次过程监督式反馈:指步骤、给改法、不碰人格——体验一下高分辨率反馈的差别,然后也这样要求别人对你。
「你不行」是一个没有坐标的总分,训练不出任何修正——对 agent 如此,对人更如此。RL 用过程监督破信用分配的死局;你的复盘、你要的批评、你给的反馈,也都可以换成带坐标的版本——从今天的那句「具体是哪一步?」开始。
参考来源
同构强度：B 级 —— 机制类比（ADHD 侧与 LLM/agent 侧均有真实文献，机制可映射）
- ADHD Apps: We tested 44 Apps and Here’re the Best 9 in 2026 — 证据等级：低（GRADE）
- 12 AI Personal Assistants Built for ADHD Brains (2026 Rankings) — 证据等级：低（GRADE）
- LBD同构对：自我调节与元认知 — Inhibitory control and emotion regulation in preschool child ↔ ObjexMT: Objective Extraction and Metacognitive Calibration — 证据等级：低（GRADE）
- LBD同构对：自我调节与元认知 — Emotion-related self-regulation and its relation to children ↔ A Reproducibility Study of Metacognitive Retrieval-Augmented — 证据等级：低（GRADE）
- The 12 Best AI Tools for 2026 (That People Actually Use) — 证据等级：低（GRADE）
- The AI Powered SuperApp for Work | Motion — 证据等级：低（GRADE）
本文是「ADHD × AI」系列的第 180 篇，由 Devin 基于持续维护的双域研究语料（72,739 篇论文 + LLM Wiki）亲自撰写，并持续迭代更新。