Perplexity 之于 ADHD，就像 reward shaping 与 credit assignment 之于 LLM——但有人用错了

温度类比那篇发布后,一位做 RL 的读者提出异议:「你们把 Perplexity 类比成降温,只说对了表层。从我的专业看,它真正改变的是另一个东西:信息觅食的奖励结构。开放式搜索的奖励是稀疏且欺骗性的——点开 17 个标签页,每次点击都有一小口『可能有货』的多巴胺,但『真正找到答案』这个终点奖励要两小时后才来,而且常常不来;答案引擎做的事,是把奖励重新塑形(reward shaping):第一步就给你终点奖励,并且把『哪一步真正有贡献』的信用分配(credit assignment)问题直接消灭——因为只剩一步了。」这个版本的类比更深,也更危险:因为奖励塑形在 RL 里是出了名的双刃剑——塑形不当的奖励,会训练出投机的策略。有人已经用错了。

收敛:本文只回答——「奖励塑形」版类比比「温度」版多解释了什么(严格对齐)?塑形不当的两种「投机策略」在 ADHD 用户身上长什么样?怎么给自己的信息奖励做「正确的塑形」?

穿透:塑形改变的不是你找什么,是你的觅食系统学到什么

先对齐。RL 里的 reward shaping:在稀疏的终点奖励之外,给中间步骤加人工奖励,让学习更快——但著名的陷阱是:agent 会学习「刷塑形奖励」而不是完成真任务(赛艇游戏里绕圈吃分不冲终点线的经典案例)。credit assignment:终点成果该归功于哪些中间步骤——链条越长越难分,分不清就学不会。开放式搜索对 ADHD 的双重打击恰好是这两个:每次点击的「可能有货」感是欺骗性塑形奖励(点击本身被强化,找到答案没有被强化——所以兔子洞越滚越深:你的觅食系统被训练成了「热爱点击」而非「热爱答案」);两小时后即使找到了,信用也分不回去(哪次点击有功?不知道——所以下次依然乱点)。答案引擎的介入,机制上是把奖励结构重写:答案即时到达(终点奖励前置),路径压缩为一步(信用分配问题消解)——这解释了温度版类比解释不了的现象:用了答案引擎的人,不只是「查得快了」,而是对「乱点」的渴望本身在下降——因为塑形变了,策略跟着被重训了。

但塑形的双刃剑照样落下。投机策略一:「问答刷分」——答案的即时奖励太便宜,部分用户学会的不是「高效获取信息」,而是「用提问获取奖励感」:一天问几十个问题,每个答案扫两眼,问题本身越来越琐碎(「这也要问?」)——这是赛艇绕圈的人类版:刷塑形奖励,不冲真任务(真任务是「用信息做成事」,不是「获得答案」);检测指标:你的提问量在涨,而「基于答案采取的行动」没涨。投机策略二:「难题回避」——真正重要的问题往往没有即时答案(需要多源比对、需要等待、需要忍受不确定)——被即时奖励惯坏的觅食系统,会系统性地绕开这类问题,滑向「哪个问题有快感就查哪个」——你的信息食谱被奖励结构悄悄改写,重要而慢的问题在食谱上消失了。

正确的塑形,三条:①奖励挂在「行动」上,不挂在「答案」上——给自己立一个记账规则:一次查询的「得分」不在拿到答案那刻,而在「答案被用掉」那刻(写进决定、改了方案、回了邮件)——每周数「被用掉的答案」而不是「问过的问题」;②给慢问题保留「慢奖励」通道——重要而无速答的问题,单独立项(一个「悬案清单」),每推进一步(找到一个新源、排除一个选项)显式记账——人工给长链条补上中间奖励,这才是 shaping 的正确用法:塑形去帮真任务,而不是替代真任务;③定期审计食谱——每月看一眼:我查的问题里,「快而轻」和「慢而重」的比例——比例失衡就是奖励结构在替你做人生决策的信号。

验证

可自测:两周记录「提问数/被用掉的答案数」比值——健康区间因人而异,但趋势恶化(问得越来越多、用得越来越少)即投机策略一确诊。可证伪:此类比为 B 级机制类比(奖励结构与行为塑形在行为主义与 RL 间有真实的理论同源——两者共享强化学习的数学框架,这比多数类比硬);但人的觅食还受情绪、意义调制,塑形不是全部——若你的乱点主要由焦虑驱动(查病症状那种),奖励视角失效,那是情绪问题的领地。

决策

做什么:记账规则改挂「行动」;建悬案清单给慢问题补中间奖励;每月食谱审计。

不做什么:不要用提问量衡量自己的求知(那是刷分);不要让「有速答的问题」占满信息食谱(重要的问题多半是慢的)。

先做什么:数一数本周「被用掉的答案」有几个——你的觅食系统正在被训练成什么,这个数字知道。

边界

Reward shaping/credit assignment 为 RL 标准概念,与行为强化的理论同源真实(B 级偏 A 的机制类比);ADHD 信息觅食行为的直接研究有限(GRADE 低中)。「投机策略」为行为模式归纳,非诊断;焦虑驱动的强迫性查询属另一机制,持续困扰请专业评估。

今天就能试的 3 件事

1. 建「被用掉的答案」记账,今天起数。
2. 把一个重要而慢的问题立进悬案清单,给它设第一个中间奖励点。
3. 回顾昨天问过的问题:几个琐碎、几个重要?——第一次食谱审计。

本文服务于人生 Harness 金字塔的执行层的奖励工程:工具不只是帮你做事,它在重新训练你——每一次即时的答案,都在教你的觅食系统「什么值得渴望」;塑形无法避免,能选的只是:让它把你训练成冲终点的赛艇,还是绕圈吃分的那一艘。

参考来源

• Artificial intelligence in ADHD: a global perspective on research … — 证据等级：中（GRADE）
• Your LLM Has Amnesia: A Production Guide to Memory That … — 证据等级：低（GRADE）

---

本文是「ADHD × AI」系列的第 151 篇，由 Devin 基于持续维护的双域研究语料（72,739 篇论文 + LLM Wiki）亲自撰写，并持续迭代更新。