📚 国产智驾芯片2026 →📚 DINOv3 上车:端到端自动驾驶 →

2 倍,不是 16 倍:BF16 混合精度的真实账本,和训练到车端那道断层

先拆掉一个流传很广的数字——BF16 在消费/工作站 Ada 卡上是 FP32 的 2 倍,不是 16 倍,16 倍只属于 A100/H100 那种数据中心 die;TF32 在 Ada 上更是完全没有加速。再从 roofline 讲清这 2 倍为什么反而更实,逐条拆五类坑,最后落到真正麻烦的地方:训练用 FP32 也躲不过的那道断层——它由部署端 FP16 只有 5 位指数决定,和训练精度无关。

注意力就是软检索:从矩阵乘法到 Transformer 的关联记忆

softmax(QKᵀ)V 背下来容易,但它在物理上干的是一件很古老的事——内容寻址的软检索。本文从矩阵乘法的加权求和讲起,把 QKᵀ 看成相似度表、softmax 看成权重、A·V 看成动态加权求和,再从 query 和 value 两个视角把注意力还原成一把「关联记忆」的钥匙。