📄 Abstract
摘要： 2025 年末，手机芯片的 TOPS 数值已进入宣传疲劳期。真正的瓶颈已从计算单元转移到 数据供应侧。本文提出：决定 AI 手机上限的并非 NPU 核心数，而是其 内存子系统 的架构。我们将详细分析 LPDDR7 带来的带宽提升、片上缓存（SRAM）的容量激增如何通过 消除数据饥渴（Data Starvation） 来解决 LLM 推理中的能耗和热墙问题。下一个性能怪兽，将是一颗拥有 超宽数据高速公路 和 巨大片上仓库 的芯片。
1. 🤯 困境：TOPS 的谎言与“数据饥渴”
在过去几年，芯片厂商习惯用 TOPS (Tera Operations Per Second) 来衡量 AI 性能。然而，随着模型进入 Transformer 时代，这种衡量标准已不再有效。
1.1 移动端的“内存墙”危机
Transformer 模型（如端侧 LLM）的参数量动辄数十亿甚至上百亿，它们是典型的 访存密集型 (Memory-bound) 任务。这意味着，NPU 绝大多数时间都在等待数据从慢速的 DRAM（LPDDR）传输到核心，处于 “数据饥渴”（Data Starvation） 状态。
- 现状： 即使 NPU 拥有 40 TOPS 的峰值算力，如果内存带宽只允许它以 10 TOPS 的速度接收数据，那么其有效算力上限就是 10 TOPS。
- 物理定律： 访存的功耗远高于计算。每进行一次 DRAM 访问，消耗的能量 $E_{transfer}$ 比进行一次 MAC 运算 $E_{MAC}$ 高出两个数量级。这意味着，为了维持高带宽，芯片不得不消耗巨大的电能，导致发热。
$$\text{Energy}{Total} \approx E{Compute} + E_{Transfer}$$
在移动端被动散热的狭小空间里，高 $E_{Transfer}$ 直接导致芯片触及 热功耗墙（Thermal Power Wall），芯片为了降温而降频，性能反而更差。
2. 🌡️ 核心原理（一）：带宽：拓宽数据高速公路
内存带宽是数据流动的上限。2025 年末，内存架构正通过两个方向进行突破：LPDDR 速率的极限压榨 和 类 HBM 堆叠架构的尝试。
2.1 LPDDR7：高频与高压的博弈
LPDDR（Low-Power Double Data Rate）系列一直试图在功耗和速率之间寻找平衡。LPDDR7 的带宽已突破 40GB/s，但代价是：
- 高频信号完整性： 频率越高，信号越不稳定，需要更复杂的电路和更高电压来维持，从而推高了 $E_{Transfer}$。
- 动态功耗： LPDDR 内存的功耗主要由数据 I/O 接口的切换和驱动引起。速率翻倍，I/O 接口的功耗也几乎翻倍。
工程师们正在通过 眼图均衡（Eye Diagram Equalization） 和 低电压差分信号（LVDS） 技术来维持 LPDDR7 的速度，但其物理上限很快到来。
2.2 移动端的 HBM 幻想：3D 堆叠
服务器端已广泛使用 HBM（高带宽内存）来解决 GPU 的内存瓶颈。HBM 通过**硅通孔（TSV）**技术将多层内存芯片堆叠在一起，带宽极宽。
- 移动端的类 HBM 架构： 由于成本和散热限制，手机无法直接使用 HBM。但趋势是采用 PoP (Package-on-Package) 封装内部的超短数据路径，实现 类 HBM 结构 的效果，将内存 I/O 的距离从毫米级压缩到微米级。
- 收益： 距离越短，电容负载越小，信号驱动所需的电压越低，从而大幅降低 $E_{Transfer}$，有效提升 能效比。
4. 🌡️ 核心原理（二）：缓存：数据原地消化的高效仓库
如果带宽是高速公路，那么缓存就是距离计算单元最近的 高效仓库。对于 AI 手机的持续性能，缓存容量和管理策略 比峰值带宽更关键。
4.1 NPU 专属 On-Chip SRAM 的战略意义
现代移动 SoC 中的 NPU 都会配备大容量的 片上静态随机存取存储器（SRAM）。这是 NPU 能效比优于通用 CPU/GPU 的关键。
- 作用： 存储 LLM 推理过程中的 权重（Weights） 和 激活值（Activations）。
- 能耗对比： SRAM 的能耗比 DRAM 低约 50-100 倍。
- 容量博弈： NPU 缓存容量决定了 AI 手机能**“消化”**多大尺寸的 “热点” 模型层。例如，一个 20MB 的 NPU 缓存，可能足以容纳一个 3B 模型最关键的 4 个 Transformer Block，从而使这部分运算完全在低功耗的片内完成。
4.2 缓存决定“持续性能”
带宽决定 “能跑多快”，而缓存决定 “能跑多久”。
在运行 AI Agent 或实时多模态任务（如实时翻译）时，模型需要长时间驻留并被反复调用。如果核心权重在 SRAM 中 命中（Cache Hit），则功耗极低；如果频繁 失效（Cache Miss），则必须回访高能耗的 DRAM，导致功耗曲线剧烈波动。
- PMIC（电源管理）角度： 缓存越大，功耗波动越平稳，PMIC 调度压力越小，芯片降频（Throttling）的可能性越低。缓存才是保证手机在炎热夏天依然能运行 AI 的核心。
5. ⚙️ 工程挑战：编译器与硬件预取器
解决了硬件容量问题，剩下的就是软件智能。
5.1 编译器：数据的“最佳路径规划”
即使有了大缓存，如果数据放错了地方，依然会失效。
- 挑战： 编译器（如 XLA/TVM 的移动端定制版本）必须具备内存感知能力。它需要在编译时就预测哪些权重会被频繁使用，然后编写指令，在程序执行前将这些 “热点权重” 预先加载到 NPU 的 SRAM 中。
- 目标： 最小化 $E_{transfer}$。这需要编译器能够对模型进行 图分割（Graph Partitioning） 和 数据流分析。
5.2 硬件预取器：预测用户的下一步
现代 SoC 采用复杂的 硬件预取器（Hardware Prefetcher）。在 AI 手机中，预取器结合了 AI 自身的能力：
- 传统预取： 基于线性地址访问规律。
- AI 预取： 基于 用户意图。例如，用户在打字时，AI 预取器会提前将“下一个单词预测”模型的权重从 DRAM 搬运到 L2 缓存，从而实现零延迟的输入响应。这种 预测性数据搬运 是 AI 手机实现“流畅感”的核心技术。
6. 🌍 行业展望：架构的融合与 PPA 的重构
2025 年末，内存子系统已成为芯片 PPA (Power, Performance, Area) 设计中最优先考虑的因素。
- 架构融合： 移动芯片和服务器 AI 芯片在内存设计上的界限正在模糊。未来的移动芯片可能会更激进地采用 “近存计算” 理念，甚至将部分 SRAM 转化为 存算一体（PIM） 阵列，将计算彻底拉进缓存。
- 新的 PPA 衡量指标： 行业将不再只关注 TOPS，而转向 “Sustained TOPS/Watt” 和 “Activation Cache Miss Rate” 等更精细的内存指标。
7. 🏆 总结与最终结论
下一个“性能怪兽”不是一个更高频的 NPU，而是一个拥有 最高效内存子系统 的 SoC。
- 能效的核心： 减少数据搬运的功耗 $E_{Transfer}$。
- 解决方案： 带宽（LPDDR7）解决峰值，缓存（NPU SRAM）解决持续，智能预取 解决延迟。
对于消费者而言，与其纠结芯片参数表上的数字，不如关注厂商在 “端侧 LLM 持续推理” 场景下的发热控制。发热越低，说明其内存体系架构越优秀。真正的性能，隐藏在那些看不见的、以皮焦耳计算的内存传输损耗中。
📚 参考文献 / References
- [Samsung Research Paper, 2025] “Impact of On-Chip SRAM Scaling on Large Language Model Inference Efficiency in Mobile NPUs.” (注：关于 SRAM 容量对 LLM 持续性能影响的量化分析)
- [IEEE Transactions on VLSI, 2024] “Energy-Aware Compiler Techniques for Data Movement Reduction in Heterogeneous Systems.” (注：探讨编译器如何通过优化数据放置来降低 $E_{Transfer}$)
- [TechInsights Analysis] “Mobile SoC Architecture Trends 2025: Shift from Core Count to Memory Bandwidth.” (注：行业分析报告，指出移动芯片设计重点的转移)
- [JEDEC LPDDR7 Standard Draft] “Advanced Signaling and Power Reduction Techniques for Low-Power Double Data Rate 7.” (注：LPDDR7 标准中关于信号完整性和功耗优化的最新要求)