标签：AI架构
LLM推理加速新武器：一文读懂 MTP（多令牌预测）技术
LLM推理加速新武器：一文读懂 MTP（多令牌预测）技术 什么是 MTP？ 在多轮对话中，大语言模型（LLM）需要逐个生成 token —— 每次只能输出一个词。这种自回归机制是高质量生成的保证，但也成为了推理速度的瓶颈。 Multi-Token Prediction（MTP，多令牌预测） 是一种突破性的训练技术，让模型在预训练阶段就学会同时预测多个未来 t……
05-27 立刻查看
RAG的黄昏与LLM Wiki的黎明——AI Agent记忆架构的范式转移
Andrej Karpathy提出的LLM Wiki模式正在颠覆传统RAG架构。本文通过最新技术讨论对比两种记忆架构的优劣，探讨为什么AI Agent社区正从向量检索转向主动维护的知识库范式。 ……
05-07 立刻查看