https://moyutianzun.com/tags/pd%E5%88%86%E7%A6%BB/Recent content in PD分离 on moyutianzun 的博客Hugozh-cnmoyutianzunMon, 29 Sep 2025 09:53:22 +0800https://moyutianzun.com/blog/pdfen-chi------prefix-cachehe-chunk-prefills/Mon, 29 Sep 2025 09:53:22 +0800https://moyutianzun.com/blog/pdfen-chi------prefix-cachehe-chunk-prefills/<p style=""></p><p style=""></p><p style=""></p><p style=""></p><p style=""></p><p style="">目前推理框架基本上都需要用到多轮对话的场景，自然产生了<code>kv cache</code>的存储和索引算法。如果能把<code>prompt</code>和后续产生的<code>KV Cache</code>保存下来，会极大地降低首<code>Token</code>的耗时。</p><p style=""></p><p style="">目前使用最多的就是两个技术方案，一个是<code>SGLang</code>推出的<code>RadixAttention</code><span style="font-size: mediumpx; color: rgb(25, 27, 31)">的</span><code>Prefix Cache</code><span fontsize="" color="rgb(25, 27, 31)" style="color: rgb(25, 27, 31)">，另一个是</span><code>vllm</code><span fontsize="" color="rgb(25, 27, 31)" style="color: rgb(25, 27, 31)">原生的</span><code>Chunk Prefills</code><span fontsize="" color="rgb(25, 27, 31)" style="color: rgb(25, 27, 31)">。当然</span><code>vllm</code><span fontsize="" color="rgb(25, 27, 31)" style="color: rgb(25, 27, 31)">也兼容了</span><code>Prefix Cache</code><span fontsize="" color="rgb(25, 27, 31)" style="color: rgb(25, 27, 31)">，这两个技术只能用一个，vllm默认是Chunk Prefills，可以通过加入参数</span><code>--enable-prefix-caching</code><span fontsize="" color="rgb(25, 27, 31)" style="color: rgb(25, 27, 31)">来开启，这里不谈</span><code>TensorRT-LLM</code><span fontsize="" color="rgb(25, 27, 31)" style="color: rgb(25, 27, 31)">是因为其不完全开源。</span></p>