从论文方法到车上功能

论文终点只是量产起点

论文通常回答“在某个数据集和指标上，这个结构是否比基线更好”；量产必须回答“它在目标 ODD、目标芯片、目标传感器和目标组织流程里，能否长期稳定交付”。两者的评价对象不同：论文可以固定数据、离线推理和一次性调参，车端系统必须面对模块异步、导航跳变、热降频、长尾分布、法规差异和后续版本回归。

因此每个候选方法都应形成一张上车门禁表：端到端延迟与尾延迟、峰值显存和功耗、训练与标注成本、关键输入依赖、退化模式、场景覆盖、规则边界、可观测性、回滚方案和验收基线。缺少任一项，技术评审都只完成了“模型可行性”，还没有完成“产品可运行性”。

A-08 的量产手记尤其说明，上车后的问题往往不在论文主指标里：路沿感知不准会变成静态碰撞，AR 只取 Top-1 会主动丢掉多模态，reward 修复保守加塞后又会带来过度积极。量产开发的单位不是一篇论文，而是一条可诊断、可回归、可持续收敛的能力链。

1. 方法复现在同数据、同输入和同口径下复现论文增益，先排除训练技巧和数据差异。
2. 系统预算测量 P50/P95/P99 延迟、显存、功耗、吞吐与传感器同步，不只报单次模型 forward。
3. 退化设计为导航缺失、感知漏检、异步输入、低置信输出和模块超时定义显式行为。
4. 专项收敛将长尾问题变成具名场景、数据算子、训练配比、reward 与正反测试集。
5. 系统护栏在执行前加入过滤、约束、交通规则与控制可行性检查，并保留归因信号。
6. 持续验收离线、仿真、道路影子和灰度车队逐级放行，线上问题永久进入回归。

实时性不是 FPS 一列

C-09 的对比给出一个直观尺度：UniAD 延迟 555.6 ms、1.8 FPS，VAD-Tiny 59.5 ms、16.8 FPS。后者通过矢量化动态和静态场景表示获得近十倍速度，才进入可讨论的车端区间。这个例子提醒团队，架构精度收益必须与系统频率一起读；规划 10 Hz 的周期只有 100 ms，还要给感知、同步、后处理、控制和通信留下预算。

Diffusion 的量产障碍更直接。A-06a 记录典型去噪需要 20–100 步，每一步运行 U-Net 或 Transformer，延迟、显存和调参成本都会随采样链增长。Truncated Diffusion 从有驾驶意图的锚点附近开始，Flow Matching 用少步 ODE 替代多步随机去噪，都是在改写计算路径；它们的代价是更依赖锚点覆盖、速度场质量和候选选择器。

大模型或 VLA 也不应硬塞进高频控制环。B-09 的快慢系统把轻量策略放在 10 Hz 以上，VLA 与世界模型约 1 Hz 处理异常和重规划；C-09 的 AsyncDriver 同样让 LLM 异步给高层指令，由快速 VectorMap Encoder 与轨迹解码器执行。两门课共同给出的不是某个固定架构，而是一条原则：慢推理只能改变目标、约束或计划，不能阻塞车辆的实时安全环。

最终预算必须按整链路和最坏情况测量。平均延迟无法覆盖 GC、显存换页、热降频、输入尺寸变化和候选数增加；量产门槛应同时规定 P99、超时行为和降级输出。

训练成本最终表现为组织吞吐

B-07 说明端到端多任务训练可能面对数百个 loss，不同任务数据量与梯度相互干扰，因此工业团队常采用分阶段训练：先稳定感知，再训练预测与规划，最后联合微调。二段式在现实中长期存在，不只因为精度，还因为任务解耦、已有模型资产和团队协作习惯。架构评审必须把组织能否稳定迭代算进成本。

A-08 给出另一组量级：reward 正确性约用 10 条数据做快速验证，单任务优化需要百到千条 clip，全量 RL 约 10 万 clip，而一段式预训练可能需要千万级 clip。这里的数字不是通用定律，却说明不同阶段不能共用同一个数据预算。用 10 条数据只能证明 reward 方向没写反，不能证明全量分布已经收敛。

数据规模也不能掩盖数据质量。B-08 把清洗分成基础信息正常、驾驶行为值得模仿、动作处于能力范围三层；A-08 则进一步要求多标签按层级配比，避免某些场景被重复计数。模仿学习是在选老师，训练集里的错误导航、晚变道和新手驾驶会被模型忠实复制。

Diffusion 还带来 noise schedule、loss weight、采样步数和多模态坍缩等调参维度；RL 带来 reward scale、探索冲突和仿真吞吐。选择方法时要比较每周可完成多少次可信实验、一次回归需要多久、失败能否定位，而不只比较峰值指标。

• 把预训练、单任务修复、全量联合训练和车端部署分别计时计费。
• 记录每次实验的数据版本、采样配比、loss/reward 配置和仿真器版本。
• 先用小样本验证信号正确，再扩到专项和全量；不要用小样本结果替代覆盖结论。
• 训练吞吐要包含数据生产、自动标注、人工抽检、仿真 rollout 和回归评测。
• 模型无法稳定复现的 1 分提升，通常不如可持续迭代的 0.3 分提升。

导航不是可靠常量，而是会抖动的上游模型

A-04 把无图架构拆成 Local Map 与 SD Map：感知提供局部几何，低精导航提供从 A 到 B 的长期语义。所谓无图并非不用地图，而是不把厘米级 HD Map 用作局部定位和硬车道约束。导航仍要给推荐车道、行点、剩余距离和 maneuver prior。

量产风险在于这些输入并不稳定。SD 行点会受定位漂移、地图误差、推荐跳变和模块异步影响；Navigation Path 自身也可能抖动、偏航、弯折，且它只是“该往哪走”的确定性表达，不是可以直接控车的行为轨迹。把它单模态接入下游，会把上游跳变直接放大成轨迹抖动或决策冲突。

A-04 给出的四类增强非常接近车端故障注入：横向低频偏移模拟定位漂移，索引前后移模拟更新提前或滞后，随机丢点模拟短时不可用，当前感知配上一帧导航模拟异步缓存。它们共同逼模型在导航不可靠时回到感知，而不是过拟合 waypoint。

地图等级也必须进入产品策略。SDPro 相比 SD 增加路口内拓扑、精确车道数、车道类型和联通关系，适合环岛、主辅路分叉、公交车道和视觉难分的非机动车道。模型不应假设所有区域都有 SDPro；需要显式识别地图能力等级，并为 SD、SDPro、导航缺失三种状态定义不同约束与降级。

晚变道案例揭示了“错误老师”问题：模型沿 SD 行点学习，会把导航几何线误当成人驾轨迹，导致生硬且滞后。解决方案同时涉及数据同分布、行点缺失增强、多模态候选和 RL reward，单改网络结构通常不够。

数据闭环要把一次修复变成复利

A-08 给出一条完整长尾闭环：人工场景库、接管数据和客户/路测反馈形成三个入口；场景按 P0/P1/P2 分级，分别走定向采集、在线挖掘和离线挖掘；数据通过准确率校验与配比进入训练；评测失败后再区分场景定义、数据质量和其他模型问题。

闭环真正产生复利的节点不是模型发版，而是数据算子进入标准流水线。课件要求算子有独立正负样本评测集、通常 95% 以上准确率门槛，并在上线后周期抽检。没有这道准入，所谓自动挖掘可能持续把错误标签放大到后续所有模型版本。

新增场景还需要先统计现有占比 r，再对照 T1/T2 决定清洗、增补或定向采集；多标签样本按 1/n 分摊，再逐层展开父子标签配比。这个细节很重要：如果一条高风险数据因为标签多被重复计数，团队看到的“场景覆盖率”就会虚高。

持续数据闭环应与验收回归共享同一个场景标识。一次线上接管从发现、定义、挖掘、训练到放行，都能沿同一 ID 追踪分母、模型变化和副作用；否则训练团队和测试团队会各自维护一套不相通的“场景”。

1. 发现人工挑选、接管分析、路测和客户反馈进入统一场景登记。
2. 分级P0 定向采集、P1 在线挖掘、P2 离线挖掘，按风险和响应成本分流。
3. 算子构建正负样本，达到高准召门槛后进入流水线，并持续抽检。
4. 配比按层级和多标签权重计算真实占比，记录训练数据版本。
5. 训练与验收专项集、邻接反例和全量回归同时通过，才允许进入灰度。
6. 复利问题样例、场景定义和算子长期保留，让下一版本自动重测与再挖掘。

专项不是打补丁，而是管理冲突

拥堵加塞把量产问题的三层耦合暴露得很清楚：感知层有遮挡和目标 ID 抖动，预测层是双向博弈，规划层要在安全、效率和舒适之间选风险窗口。只看碰撞会把策略推向原地等待，只奖励成功插入又可能把策略推向过度自信。

A-08 的修法不是一个万能 reward，而是一组带作用域的机制：导航变道奖励只在关键区间生效；危险换道根据侧后车速度和相对速度构造安全距离；静态偏航用纵向距离与横向偏差的双阶段 Sigmoid 平滑释放；车道锁定在绕行场景中必须禁用，避免与主动避障冲突。

碰撞专项也需要分类。TTC 前要排除非自车责任的后向追尾和正在远离的目标；VRU 要比较双方预测轨迹交点以及到达时间是否同步；绕行一旦碰撞必须清空奖励，不能让效率收益抵消事故。课件把优先级写成安全大于法规大于体感，这是量产 reward 与验收指标都应遵循的结构。

每个专项至少要有四件套：场景触发条件、模型或 reward 作用域、反向/邻接测试集、全量回归门槛。没有作用域就会污染其他任务，没有邻接反例就会在两个失效极端之间来回摆动。

规则护栏仍然是系统的一部分

端到端描述的是信息与训练链路，不意味着执行链路没有约束。A-08 给出的量产后处理是：多模轨迹先过滤，再横纵解耦打分、时空联合 refine，最后进入控制。红绿灯也不是一个分类输出直接刹车，而是检测、识别、选灯、颜色与异常属性赋予、车道和停止位置绑定的连续工程链。

传统规控课程提供了护栏的数学来源。C-04a 的 DP 先在非凸空间生成 Feasible Tunnel 与绕行/让行决策，QP 再在可行域中优化平滑度、动力学和交通规则；C-04b 的时空语义走廊把静态障碍、动态预测、红灯和车道边界统一成 s-l-t 约束。学习式 planner 可以替换候选生成或打分，但车辆动力学、道路边界和不可违反规则仍需可验证表达。

Diffusion 也印证这一点。A-06a 明确建议它生成 N 条候选，后接 rule-based、optimization 或 RL 做排序与风险筛选。多模态只是候选覆盖，不是选择正确；Top-K 里有安全轨迹，不能掩盖 Top-1 选错。

护栏必须可观测而不是悄悄修轨迹。每次过滤、约束触发、fallback 和轨迹 refine 都应留下原因码，否则线上只看到最终轨迹，会再次落入 B-09 所说的黑盒归因困境。

• 候选生成器、排序器、约束器和控制器分别记录输入输出与原因码。
• 碰撞、道路边界、逆行、信号灯和动力学约束设为不可补偿门槛。
• 后处理修改幅度过大时，不应继续伪装成模型正常输出，应触发降级和回流。
• 规则护栏同时进入训练 reward、离线诊断和发布验收，避免三套口径互相打架。
• 任何规则专项都要有场景隔离；任何学习专项都要有硬约束和 fallback。

最后一公里：论文讲到哪里，车上还剩多少

红绿灯是“论文终点 vs 量产终点”最干净的标本。论文层面这个问题在检测和识别两步就算解决了；A 课的量产链路是五步：Sparse4D 检测出 3D/2D 框，ShuffleNet 分类颜色，然后才是论文里没有的三步——选灯（把灯的朝向与车道、车流朝向匹配，回答“这盏灯管不管我这条道”）、属性赋予（用 HMM 处理倒计时、故障、黄闪绿闪）、绑定（斑马线加车道末端加停止线，构造刹停区域）。前两步有基准可刷，后三步只有量产团队的工程账。

轨迹侧同理。量产端到端并不直接执行模型的原始输出：多模轨迹先经过滤（融合导航与动静态信息），再横纵解耦打分，再时空联合 refine，才交给控制。AR 范式的量产三缺陷也来自这最后一公里：单步预测被上一步影响导致横向稳定性问题；“AR 学不会因果关系”；以及最实际的一条——量产阶段只选择 top1 轨迹，论文引以为傲的多模态在车上被主动丢掉了。评审任何“端到端已量产”的宣称，先问原始轨迹和执行轨迹之间隔了几层。

论文侧对车端约束的回应已经形成一条清晰的谱系，可以按“它在省什么”来读：DiffusionDrive 的截断扩散在省去噪步数（100 步到 2 步）；ResAD 的惯性参考加残差在省生成空间（不让模型从零学物理）；Sparse4D 的稀疏 query 在省感知算力（不铺满 BEV）；FAST 的动作词元化在省序列长度（同时决定控制平滑度）。这四篇论文加起来是同一句话：评估任何生成式方案，第一个要问的都是端到端延迟。

数据流水线的门槛同样有数字。一个数据算子要进流水线，先要在正负样本各 20-30 条的评测集上做到 95% 以上准确率，上线后还要定期抽检；新增场景按占比 r 与阈值 T1/T2 三路分流——占比高走清洗配比、居中先增补、低于 T2 判为长尾走定向采集加难例微调；多标签数据按 1/n 计权逐级展开配比。一段式预训练的基数是千万级 clip。这些数字合起来说明：数据体系不是模型训练的配套，它是和模型平级的工程系统。

再往后看一步，量产的下一层约束已经列出来了：百亿参数模型的车端功耗散热与压缩蒸馏、神经网络 Planner 的形式化验证与长尾安全证明、黑盒决策下车企/供应商/芯片厂的事故责任划分。快慢系统是当下的过渡答案——System 1 蒸馏轻量策略跑 10Hz 以上的高频控制，System 2（VLA 加世界模型）做约 1Hz 的低频规划，且接管机制不是夺方向盘，而是调整目标、约束或奖励去引导 System 1。B 课的收官句是个合适的路标：“VLA 解决‘懂不懂’，World Model 解决‘敢不敢’，RL 解决‘好不好’”——而量产要解决的，是这三件事在同一台车上同时成立。

一次上车不等于完成量产

量产能力是持续接受测试，而不是一次 SOP 签字。每个模型版本都要在相同数据版本、相同仿真器、相同控制器和相同硬件预算下，与当前量产基线对照；每次严重线上问题都转成离线可重放、仿真可交互和道路可复核的三层用例。

验收需要把模型指标与系统指标并列：能力侧看安全、导航、效率、舒适、交互和恢复；工程侧看 P99 延迟、超时率、温度降频、内存峰值、输入同步、护栏触发率和 fallback 成功率。模型分数上涨但护栏接管翻倍，不应被视为能力提升。

B-09 指出百亿参数车端部署仍面临功耗、散热、压缩蒸馏和形式化验证；C-09 仍把有效闭环、长尾 benchmark 与实时部署列为开放问题。这意味着 VLA、世界模型和 RL 应按成熟度分层接入：先作为离线标注、场景生成、低频监督和候选评审，再逐步靠近主控制环，而不是因论文趋势直接改写安全架构。

最终的放行结论应是有限命题：在哪个 ODD、地图等级、天气、速度、硬件和版本条件下，通过了哪些门槛，仍有哪些已知边界。比“已量产端到端”更克制，也更有工程意义。

1. 冻结基线固定数据、仿真、控制器、硬件和验收口径，避免版本间偷换条件。
2. 双表验收能力指标与系统资源/护栏指标并列，任何一侧退化都需解释。
3. 分层接入新技术VLA、世界模型、RL 先进入低风险环节，依据验证逐步提高控制权。
4. ODD 限定放行明确地图、道路、天气、速度与已知失效边界，支持灰度和快速回滚。
5. 问题永久化线上问题转成场景 ID、数据算子与回归用例，后续版本不得再次出现。

三门课怎么对上

同一个工程问题，三门课的观察层级不同。下面逐条标出它们是相互印证、作用域不同，还是在相同前提下保留张力——不把任何一门课单独当作行业定论。

沿着主线继续

相关术语

• 数据闭环——从线上发现问题到归因、难例挖掘、数据配比、调整、开闭环评测、小流量验证，再回到发现问题的完整循环。
• 场景隔离——同一个 reward 在不同场景下含义可能相反，所以 reward 不能全局常开，必须按场景生效。
• 导航路径——它表达的是长期路线意图（该往哪走），不是可执行轨迹，不能直接控车。
• 导航增强——主动注入定位漂移、行点缺失、更新延迟这些真实退化，防止模型过度依赖某一种完美导航输入。
• 导航先验编码——把 SD 行点、导航动作、限速、候选与推荐车道编码成条件 token，经 cross-attention 注入规划 query。
• 奖励钻空子——模型会最大化你写下来的数值，而不是你心里真正想要的驾驶行为——这是 RL 的本性，不是偶发 bug。
• 奖励函数——把安全、效率、舒适、法规、人类偏好折算成一个可优化的数值信号，并用 KL 约束拴住策略别跑偏。
• 开环与闭环——开环用数据集里的真实下一状态，闭环用环境动力学产生下一状态——前者看不到误差累积，后者才检验纠错能力。
• 多模态轨迹——未来不是一个确定的点，而是一个分布：可以跟车、变道、让行、绕行，模型输出多条候选来表达这种不确定性。
• 截断扩散与锚点——不从纯噪声出发，而是从聚类得到的轨迹锚点加少量噪声开始去噪，用少数几步换取车端实时性。
• 自回归轨迹生成——把轨迹变成 next-token prediction，一步步生成——训练稳定、天然接 RL，但会误差累积、多模态容易坍缩。
• 动作词元设计——「下一步」到底表示什么——不同的 token 定义会改变学习难度、噪声传播和极端场景表现。
• 视觉-语言-动作模型——把视觉输入、语言/语义桥接和动作输出统一到一个多模态框架，适合更高层的意图和语义条件化。
• 流匹配——不预测噪声，而是学习从噪声轨迹流向真实轨迹的连续速度场，推理时解 ODE——采样步数更少。

相关论文

• VAD：面向高效自动驾驶的向量化场景表示——黑盒与结构化之间的折中
• VADv2：通过概率规划实现端到端向量化自动驾驶——概率规划
• DiffusionDrive：端到端自动驾驶的截断扩散模型——截断 + 锚点换实时
• ResAD：端到端自动驾驶的归一化残差轨迹建模——惯性参考 + 残差
• FAST：面向视觉-语言-动作模型的高效动作词元化——tokenizer 即控制接口
• Plan-R1：把安全可行的轨迹规划建模为语言建模——规划语言化 + GRPO
• DiffusionDriveV2：强化学习约束的截断扩散建模——锚内提质，锚间协调
• GoalFlow：目标驱动的流匹配多模态轨迹生成——给流一个目标点
• Flow-GRPO：通过在线强化学习训练流匹配模型——ODE 转 SDE 再 RL
• Sparse4D：稀疏时空融合的多视角 3D 检测——稀疏 query 换效率

材料来源