3D-TPU即将量产！迈特芯端侧大模型芯片技术路线拆解

9 月，迈特芯将亮相于智猩猩在上海举办的 2026 全球 AI 芯片峰会（GACS 2026），并介绍迈特芯大模型芯片（LPU）基于张量脉动 TPU 的实现技术路线图。

自 2023 年成立以来，迈特芯一直在行业引领低功耗（<10W)、高带宽(~600GBps)、高利用率(~80%)的端侧LPU技术，围绕自研张量脉动 TPU 架构，从2D-IC实现到3D-IC实现，逐步完成了从EdgeLLM 语言大模型推理、EdgeMoE 稀疏大模型推理、EdgeVLM 多模态大模型推理到 EdgeVLA 具身大模型推理的四级技术跃迁，形成了覆盖“芯片架构—编译工具链—算法加速—场景应用”全链条的端侧大模型技术体系。

相关成果已在 IEEE JSSC、TCASI、Nature子刊等发表论文 10 余篇，累计授权专利 20余项，为端侧大模型的规模化落地提供了国产自主可控的算力底座。

（1）芯片验证先行

从张量脉动原型芯片到 3D DRAM-TPU量产，完成 TPU 架构的流片验证，成熟工艺 2D-TPU 于 2026 年 2 月成功点亮，3D-TPU 于 2026年内实现量产，实现 TPU 架构方向的技术验证。

（2）四级技术跃迁

EdgeLLM（端侧语言推理）→ Edge-MLA/MoE（稀疏大模型部署）→ EdgeVLM（多模态视觉语言）→ EdgeVLA（具身智能动作生成），模型规模从 3B 扩展至 35B，模态从纯文本扩展至视觉与机器人动作闭环。

（3）存算协同突破

首创 3D DRAM-TPU 与 SSD专家卸载架构，“片上常驻+SSD 冷存”分级卸载策略突破端侧内存墙。

（4）知识产权护航

10 余篇 IEEE 顶会/顶刊论文系统发表技术成果，累计申请专利 22 项（授权发明专利 13 项、实审 8 项、实用新型 1 项），构建从底层架构到场景应用的立体化专利保护体系。

迈特芯自2023年正式成立之初，便锚定端侧大模型部署这一核心方向，启动了完全自主研发的张量脉动TPU架构项目，将其作为该公司核心技术路线的底层硬件底座进行攻关。

经过为期一年多的技术攻坚与反复打磨，迈特芯于2024年成功完成了多款基于自研张量脉动TPU架构的原型芯片流片工作，拿到了可用于功能与性能实测的硅片验证成果。

这款完成流片验证的2D TPU硬件底座，成功验证了张量脉动架构应用于大模型推理加速的技术可行性，也为该公司后续规划推出的EdgeLLM、Edge-MLA/MoE、EdgeVLM、EdgeVLA四级完整大模型技术路线的产品化落地工作，奠定了扎实可靠、不可替代的硬件基础。

图2：分布式张量脉动TPU加速器整体架构

在完成2D‑TPU流片、验证张量脉动架构的技术可行性后，迈特芯围绕端侧大模型部署的核心需求，依托张量脉动与分布式TPU架构，逐步搭建起从纯文本语言推理，到多模态视觉理解，再到具身智能动作生成的完整技术栈。

研发团队基于图2的张量脉动架构，为EdgeLLM、Edge‑MLA/MoE、EdgeVLM、EdgeVLA这四级大模型技术栈提供了统一硬件底座。

（1）EdgeLLM：端侧大语言推理的基石

EdgeLLM是基于张量脉动分布式 TPU 底座打造的端侧大语言推理技术，也是该公司分布式张量大模型技术路线的起点。

该技术深度挖掘 TPU 阵列分布式访存能力，处理单元（PE）通过 3D IO 接口与内存直接互联，形成网格化的分布式访存拓扑，充分释放 TPU 硬件带宽潜力，最终实现了近80%的带宽利用率。

在实测性能方面，EdgeLLM 针对Qwen  7B参数规模的模型，峰值推理速度可达 75tokens/s，相较于英伟达先进GPU，吞吐量提升 1.67 倍，能效提升 7.4 倍。

这一成果充分验证了分布式张量脉动 TPU 架构在端侧大语言推理场景中的技术优势，也为后续更大规模、更多模态的大模型部署积累了关键的系统级经验。

（2）Edge-MLA/MoE：稀疏大模型的端侧突破

Edge‑MLA/MoE 稀疏大模型技术构建于分布式张量脉动 TPU 底座之上，面向 MoE大模型大总参、低激活特性，在硬件层面提出分布式张量脉动阵列架构，依托 TPU 阵列分布式互联架构，在原型验证阶段通过内存的 64 端口与处理单元一一映射，充分发挥分布式 TPU 带宽优势。

该方案部署了 Qwen 30B模型，解码阶段相比英伟达先进GPU获得 1.42 倍至 2.94 倍加速。

针对总参数量大于 30B、每词元激活参数量大于 3B 的稀疏 MoE 模型，传统 GPU 或CPU 方案需将全部参数装入显存或内存，难以利用 MoE“大总参、小激活”的结构优势。

迈特芯依托 3D DRAM‑TPU分布式架构，完成“片上常驻+SSD 冷存”的 MoE 专家分级卸载机制：将高频访问权重划入常驻集合加载至 TPU 侧 3D DRAM，大规模路由专家以量化格式存放在上位机 NVMe SSD 并建立索引；推理时通过 PCIe 异步 DMA将所需专家换入 TPU 弹性专家缓存，循环利用有限高带宽存储空间。

为降低 SSD 读取对词元生成关键路径的影响，迈特芯引入专家预测调度机制，提前生成候选专家并确定预取顺序。

实测显示，该成果运行Qwen 35B-A3B 类稀疏 MoE 模型，推理速度可达 20-40 tokens/s，大幅降低端侧/边侧本地大模型推理硬件成本。

（3）EdgeVLM：多模态视觉语言推理

EdgeVLM 多模态视觉语言推理技术，延续 TPU 脉动阵列原生数据流设计理念，依托分布式 TPU 算力底座，高效支撑 VLM 中占比超 95% 的矩阵乘与矩阵向量乘运算和少量 Conv2D/Conv3D 卷积计算。

针对 VLM 混合精度计算需求，分布式张量脉动架构可动态切换 FP16×INT4（适配 FFN 层）与 FP16×FP16（适配 MHA 模块）两种计算模式，保证模型精度同时最大化硬件资源利用率。

团队为各类定制位置编码与激活函数定制专用非线性算子引擎，采用统一压缩向量数据格式，消除算子间数据重排开销，提升端到端推理效率。

软件工具链方面，团队还构建了完整端到端编译与运行时系统，通过两级中间表示与动态编译技术，支持多维度动态输入，可适配多种主流 VLM 架构。

该技术原型机部署实测显示：EdgeVLM 在多种图像分辨率下实现稳定推理速度，对比英伟达先进GPU等高端 GPU，推理速度最高提升 2 倍，能效提升 4–7 倍。

（4）EdgeVLA：具身智能动作生成

EdgeVLA 具身智能动作生成技术，以张量脉动分布式 TPU 为核心硬件底座，完成开源 VLA 模型 WALL‑OSS 和自研世界模型 Meta‑WAM 的完整硬件适配验证，并在实机上成功实现夹方块、摁电梯等典型机器人操作任务，打通了从多模态输入链路对齐、算子优化到动作输出接口的全链路部署。

研发团队配合自研编译器优化脉动阵列，依托端侧部署 SDK 标准化封装推理流程，形成从模型量化到芯片指令生成的端到端工具链闭环。

针对 VLA 大模型推理带宽瓶颈，依托分布式张量脉动架构将带宽利用率提升至80%以上，机器人控制频率达 100Hz以上。

针对具身智能泛化性不足，研发团队提出“大小脑”异构方案：“大脑”承担主干推理与高层语义理解，小脑芯片负责底层控制、数据调度与残差强化学习部署，在端侧形成完整闭环，任务成功率即可从 50%提升至 70%，实现边用边学。

从 EdgeLLM 文本大模型、Edge‑MLA/MoE 稀疏大模型、EdgeVLM 多模态推理再到 EdgeVLA 具身智能，四级技术全部根植于张量脉动与分布式 TPU 硬件底座。

通过 PE 阵列网格化分布式访存拓扑，消解传统架构频繁跨片搬运数据的开销，基于张量脉动的分布式 TPU 架构是端侧大模型推理实现 80% 带宽利用率的关键途径，为端侧大模型从文本、多模态到机器人具身闭环的完整能力演进筑牢硬件根基。

端侧大模型芯片最大挑战是如何破局低功耗、高性能、低成本的不可能三角。

本文基于成熟3D-DRAM工艺分析该不可能三角的破局之道。以 3B 模型 @ 4bit(W4A16) 为典型 memory-bound 工况，演示功耗、带宽、算力与吞吐的缩放规律；该线性模型与模型规模无关，可推广至 7B、35B 等模型配置。

以3B 模型 4bit (W4A16) 量化（权重约 2 GB）的 memory-bound 解码场景为例，每生成一个 token 需将权重完整读取一遍，吞吐严格受限于有效带宽。

基准工作点取成熟工艺、200 GB/s 峰值带宽、80% 带宽利用率：有效带宽 160 GB/s，吞吐 80 tokens/s，功耗 8 W（逻辑 6 W + 3D DRAM 2 W），能效 10 tokens/s/W。

在此线性模型下，带宽、算力与功耗三者同步缩放，能效恒为10 tokens/s/W。将工作点提升至 4 倍（峰值带宽 800 GB/s），可获得 320 tokens/s，但功耗同步升至 32 W；

反之，若将功耗预算压至 3 W 以内（工作点降至 0.375 倍，峰值带宽 75 GB/s），则带宽与算力同步下降，吞吐回落至约 30 tokens/s。

可以看到，端侧大模型芯片的核心性能约束来自于功耗与带宽利用率的强耦合。要在手机等小终端上跑大模型满足3 W 以内功耗，大模型的吞吐只有30 tokens/s，即便使用3D-DRAM堆叠来提供高带宽。

同时，只有稳定维持 80% 以上的带宽利用率，才能在小终端上跑大模型实现（～ 3 W 、～30 tokens/s ）的性能目标。而分布式张量 TPU 架构是高带宽利用率的必要实现技术路线。

因此，必须清楚意识到在手机等小终端上破局不可能三角的挑战性。

图 3：3D DRAM-TPU 功耗-性能关系

相关知识产权成果：

[1] LI K, HUANG M, LI A, et al. A 29.12-TOPS/W vector systolic accelerator with NAS-optimized DNNs in 28-nm CMOS[J]. IEEE Journal of Solid-State Circuits, 2025, 60(10): 3790-3801. DOI:10.1109/JSSC.2025.3558287.

[2] HUANG M, SHEN A, LI K, et al. EdgeLLM: A highly efficient CPU-FPGA heterogeneous edge accelerator for large language models[J]. IEEE Transactions on Circuits and Systems I: Regular Papers, 2025, 72(7): 3352-3365. DOI:10.1109/TCSI.2025.3546256.

[3] HUANG S, SHI X, PEI X, et al. A 2.5D distributed group vector systolic accelerator for tensor compression based MLA and MOE LLMs[J]. IEEE Open Journal of the Solid-State Circuits Society, 2026: 1-1. DOI:10.1109/OJSSCS.2026.3705711.

[4] X. Shi, Q. Xie, J. Liu, P. Hu, M. Huang, and H. Yu, “EdgeVLM: A 2.5D distributed tensor systolic accelerator on FPGA for VLMs,” in Proc. IEEE Int. Conf. Field-Programmable Technology (FPT), 2026.

[5] 深圳市迈特芯科技有限公司.一种基于脉动阵列的多精度加速器及其数据处理方法：CN202111420664.X [P/OL].2022-03-25.

[6] 深圳市迈特芯科技有限公司.一种面向多模态大语言模型的用于生成硬件加速器可执行代码的编译方法、系统、终端及存储介质：CN202610028133.2 [P/OL].2026-02-06.

[7] 深圳市迈特芯科技有限公司.一种分布式 MoE 大模型架构的端侧加速器及设计方法：CN202610796187.3 [P/OL].2026-07-03.

[8] 深圳市迈特芯科技有限公司.一种基于多模态的具身智能设备控制方法、系统及终端：CN202411893029.7 [P/OL].2025-05-16.