https://moyutianzun.com/tags/paper/Recent content in Paper on moyutianzun 的博客Hugozh-cnmoyutianzunTue, 02 Dec 2025 09:28:32 +0800https://moyutianzun.com/blog/context-engine-note/Tue, 02 Dec 2025 09:28:32 +0800https://moyutianzun.com/blog/context-engine-note/<h1 style="" id="context-manager">Context Manager</h1><h2 style="" id="%E5%A4%9A%E6%A8%A1%E6%80%81%E6%95%B0%E6%8D%AE%E7%9A%84%E5%A4%84%E7%90%86">多模态数据的处理</h2><p style="">现在大模型系统的对话窗口和处理数据会产生大量的上下文，后续的qa往往会用到其中一部分上下文，所以建立有效的context engine是十分必要的。</p><p style=""></p><h3 style="" id="nlp">NLP</h3><p style=""><strong>用时问戳标记上下文</strong> <u>一种常见的设计是在每条信息上附加时间戳，以保留其生成的顺序</u>。这种方法由于简单且维护成本低，在聊天机器人和用户活动监控中广受欢迎。然而，该方法存在若干局限性。尽管时间戳能够保持时间顺序，但它们<u>不提供语义结构</u>，使得捕捉长程依赖关系或高效检索相关信息变得困难。随着交互数据的累积，序列呈线性增长，导致在存储和推理方面均面临可扩展性问题</p>https://moyutianzun.com/blog/llm-bi-du-zong-shu-speed-always-wins-llmgao-xiao-jia-gou-diao-cha/Wed, 27 Aug 2025 08:06:02 +0800https://moyutianzun.com/blog/llm-bi-du-zong-shu-speed-always-wins-llmgao-xiao-jia-gou-diao-cha/<p style="">题目：Speed Always Wins: A Survey on Efficient Architectures for Large Language Models</p><p style="">作者：孙伟高 上海人工智能实验室</p><p style="">github：https://github.com/weigao266/Awesome-Efficient-Arch</p><p style=""></p><h1 style="" id="%E6%96%87%E7%AB%A0%E7%9A%84%E4%B8%BB%E8%A6%81%E7%9B%AE%E7%9A%84"><span style="font-size: 36px"><strong>文章的主要目的</strong></span></h1><p style="text-indent: 2em">通过分析449篇大模型的论文，汇总得到了以下能让大模型速度提升的方向：</p>https://moyutianzun.com/blog/arxiv/Sun, 24 Aug 2025 16:12:48 +0800https://moyutianzun.com/blog/arxiv/<p style="">做这期blog的动机很简单，分享一下自己如何快速的上手某个领域的论文。最核心的三个步骤我觉得分别是：</p><ul><li><p style="">确定自己<strong>研究领域的key words</strong>，这里是要从上到下的，如LLM -&gt; 微调 和 CoT</p></li><li><p style="">确定自己需要<strong>研究的题目</strong>，如 如何确定CoT的某个环节有益于微调中得到高的得分</p></li><li><p style="">根据“and”的检索思想，从小到大的进行检索</p><ul><li><p style="">先检索key words，确定论文的范围</p></li><li><p style="">在页面内只看研究的问题是否符合自己的要求</p></li></ul></li></ul><p style=""></p><h1 style="" id="%E5%BF%AB%E9%80%9F%E7%A1%AE%E5%AE%9A%E8%87%AA%E5%B7%B1%E9%9C%80%E8%A6%81%E7%9A%84%E8%AE%BA%E6%96%87">快速确定自己需要的论文</h1><p style="text-indent: 2em">想要快速了解某个领域的论文，一个是问，问从业者，这是最快的，有人脉，直接问最核心的开发者，受益无穷，少走很多弯路。</p>https://moyutianzun.com/blog/mlsys24-fen-lei-hui-zong/Thu, 14 Aug 2025 15:51:24 +0800https://moyutianzun.com/blog/mlsys24-fen-lei-hui-zong/<h1 style="" id="llm-%E6%8E%A8%E7%90%86%E4%B8%8E%E6%9C%8D%E5%8A%A1%E4%BC%98%E5%8C%96-(llm-inference-and-serving-optimization)"><strong>LLM 推理与服务优化 (LLM Inference and Serving Optimization)</strong></h1><p style=""></p><h2 style="" id="kv-%E7%BC%93%E5%AD%98%E7%AE%A1%E7%90%86%E5%92%8C%E4%BC%98%E5%8C%96-(kv-cache-management-and-optimization)"><strong>KV 缓存管理和优化 (KV Cache Management and Optimization)</strong></h2><p style=""></p><p style="">这些论文聚焦于 KV 缓存的减少、量化或重用，以提升生成推理效率和降低内存消耗。</p><ul><li><p style=""><a href="http://www.moyutianzun.cn/2025/07/30/keyformer%E9%98%85%E8%AF%BB%E7%AC%94%E8%AE%B0/">Keyformer: KV Cache reduction through key tokens selection for Efficient Generative Inference</a></p><ul><li><p style=""> (Keyformer：通过高效生成推理的关键令牌选择来减少 KV 缓存) - Muhammad Adnan 等</p>