github开源项目：Weft系统设计

Mon, 15 Jun 2026 03:24:41 +0800

首先我们要分析清楚cc现有的几个处理信息的模式：

核心维度	ReAct 隐式 plan	Plan → Do 显式 plan	Workflow 编排脚本	/loop 定时轮询	/goal 目标驱动
一句话理解	边想边做	先计划，再执行	用脚本编排多个 agent	定时重复跑任务	给目标，自动跑到收敛
计划可见性	低，计划藏在模型内部	高，plan 可审查	最高，控制流写在脚本里	基本无计划	中低，目标明确但路径隐式
执行方式	单 agent 串行	单 agent 串行	多 agent 并行 / pipeline	单 agent 周期执行每日github项目解析：（二）20260605 github robot和agent soul Fri, 05 Jun 2026 09:47:40 +0800 github robot https://github.com/pbakaus/agent-reviews 这个项目让我想到一个有意思的场景：一个让人血压升高的下午你提了一个 PR，信心满满。几秒钟后，Copilot 来了，CodeRabbit 来了，Cursor Bugbot 也来了。它们在你的代码行上密密麻麻留下几十条评论：这里可能空指针，那里命名不规范，这个函数复杂度超标。你认认真真改了一轮，git push。每日github项目解析：（一）20260604 Thu, 04 Jun 2026 10:00:30 +0800 headroom https://github.com/chopratejas/headroom 官方的说法是它是个给 AI agent 省 token 的"压缩中间层"。 AI agent(比如 Claude Code)干活时,要把一大堆东西塞给大模型读——工具输出、日志、报错、检索结果、文件内容、聊天历史。 agent eval：（一）deepeval Tue, 19 May 2026 03:07:56 +0800 特性分析集成支持 deepeval 通过一个统一的 Tracing 核心层来兼容所有框架。无论外部框架的形式如何不同，最终都汇聚到同一套数据模型和 trace 管理器。 Monkey-Patch 直接替换 SDK 类方法 Callback Handler 实现框架原生回调接口 vibe coding系列：（三）一边vibe一边read Mon, 04 May 2026 09:33:24 +0800 安装 powershell安装 `scoop bucket add extras scoop install extras/wezterm scoop install pwsh scoop install yazi` 这里的pwsh是powershell 7，现在更多都是用pwsh了，后面主题出现的inner liner错误，基本上都是没用pwsh的原因。启动 WezTerm是独立的应用，你可以直接搜索打开，也可以在pwsh直接输入WezTerm打开，都可以打开你会发现默认是C盘system32的cmd.exe，这显然不是很好，我们可以配置一下，打开pwsh： `notepad $env:USERPROFILE\.wezterm.lua` 没有就新建一个，然后给出最小配置： `local wezterm = require 'wezterm'` `return { config.default_prog = { ‘pwsh.exe’, ‘-NoLogo’ } default_cwd = ‘D:/OS’, }` 默认打开powershell，然后给出默认路径（嘿，这图还是powershell的，就是因为我后面主题错了，所以前面才换成pwsh）： agent系列（五）：agent架构的落地思考 Wed, 22 Apr 2026 07:43:23 +0800 最近在楼下停车场散步，反思了一下最近遇到的bug，觉得蛮有意思的，写篇blog分享一下。 prompt engineering的useful和useless 上文我们已经从架构的方面去讨论过多种的agent架构，主要还是分为隐式plan、半显式plan和显式plan的三种不同的agent风格，那么在前年的prompt engineering的时代，RAG是那时候的热门话题，为什么要RAG呢，是因为LLM落地的第一大问题：大模型训练的语料是公开语料和通用规律，它是不知道公司内部文档、你自己的笔记和古早之前的上下文的，那时候连web search的清洗都是非常困难的，所以大模型的幻觉非常强。 vibe coding系列：（二）GET SHIT DONE Tue, 14 Apr 2026 06:31:13 +0800 github link：https://github.com/gsd-build/get-shit-done/blob/main/README.zh-CN.md agent系列：（四）session管理和agent架构 Sat, 14 Mar 2026 16:24:52 +0800 如果要去design一个agent架构，避免不了的就是涉及到对session的管理和agent的架构，一个是表面的，一个是深层的 session管理常见可以分成以下几类：一类是 thread/checkpoint 型（LangGraph、Dify、Flowise）一类是 runtime snapshot/controller 型（AutoGen、OpenHands）一类是 workspace/project 型（Open WebUI、AnythingLLM、FastGPT、LobeHub） agent系列：（三）context and memory Thu, 05 Mar 2026 17:06:39 +0800 context其实跟infra息息相关，好的infra能支持非常多的idea并发的去实现，而pipeline的高度耦合使得infra变得屎山中的屎山，所以模块化的context infra势在必行。我们想构建一个context playload，一个有序、分层、可度量的 typed blocks 集合，是模型单次推理的输入态。 Context Engineering：围绕 payload 的三类能力： vibe coding系列：（一）我自用的配置（包括claude不封号稳健玩法） Tue, 03 Mar 2026 04:34:13 +0800 一、workflow 我习惯的方式是opencode + gpt5.2 xhigh来吵方案，然后claude code + opus + sonnet来写代码，他们有以下几个区别： gpt通常有包月的套餐，一天能用60~120刀不等，中转站包月通常一个月不会超过80 rmb，是非常实用的大模型套餐 gpt 5.2 不带codex对标的是opus4.5，gpt 5.3 codex对标的是sonnet 4.5，所以推荐gpt 5.2不带codex进行方案的讨论 agent系列：（二）agent plan Wed, 04 Feb 2026 07:12:09 +0800 agent最基本的就是ReAct范式，其中最关键的就是agent plan，我们主要探讨的是单agent的plan和多agent不同范式如何plan的更好。单agent 单agent plan指的是同一个agent在一个 loop 里：规划 → 执行（工具调用）→ 观察 → 反思/重规划 → … → 完成。 skills系列（二）：skills团队和opencode-omo Thu, 22 Jan 2026 03:54:11 +0800 由于codex至今不支持subagent，我实在等不及了，用codex开发确实没那么灵光，先用claude code组建团队，反正逻辑是一致的。这里附上一条codex不询问命令的指令： `# 尽量别问我（读写不问，删除之类的问） codex -s workspace-write -a never claude --allowedTools "Read" "Edit" 什么都不问` `codex –yolo claude –dangerously-skip-permissions` agent系列（一）：实用的agent架构、应用、评估和未来 Sun, 18 Jan 2026 16:41:53 +0800 0. 数模最基础的抽象是：环境有状态s_{t}，你能看到的是观测o_{t}，你做动作a_{t}，环境给反馈（比如奖励/成功信号）并转移到新状态。用 (PO)MDP 写就是： paper2proj：DeepCode在模态转换之间的编排 Thu, 15 Jan 2026 08:23:05 +0800 1. 概述 DeepCode的工作是将科学论文转化为可执行代码，它提炼出来的问题包括： Specification Preservation（规范保留）: 论文中的信息分散且多模态，难以忠实地将这些片段化的规范映射到实现中。 Global Consistency under Partial Views（局部视角下的全局一致性）: 代码库由相互依赖的模块组成，但生成通常是逐文件进行的，在有限上下文下难以维护接口、类型和不变量的全局一致性。 skills系列：（一）coding未来的管中窥豹 Fri, 09 Jan 2026 10:03:10 +0800 0. 现有的就是最好的由于claude code的Opus和sonnet过于昂贵，其实codex也能用skills，这里推荐用codex的skills，只需要把`https://github.com/obra/superpowers/tree/main/skills` 里所有的文件夹搬到`.codex`的`skills`文件夹里即可。很多人吹嘘skills是什么黑科技，在我看来其实就是两个思路交错产生的结果： github源码阅读：（二）OpenCode Code agent Fri, 02 Jan 2026 14:59:30 +0800 项目介绍什么是 OpenCode OpenCode 是一个 100% 开源的code agent，专注于为开发者提供强大、灵活且可扩展的 AI 编程体验。与 Cursor、Copilot 等商业工具不同，OpenCode 不绑定任何特定的 LLM 提供商，支持 Claude、OpenAI、Google、本地模型等多种提供商。 github源码阅读：（一）LlamaIndex 上下文数据规范 Wed, 31 Dec 2025 06:09:51 +0800 概述 LlamaIndex（原名 GPT Index）是一个开源的数据框架，专门用于构建大语言模型（LLM）应用。它解决了 LLM 的一个核心局限性：LLM 在训练后就无法访问私有数据。LlamaIndex 通过检索增强生成（RAG）技术，将用户的私有数据与 LLM 的生成能力无缝连接。与langchain相比，langchian是编排工具流工作流等，而llamaindex专注于数据格式和数据索引。算法 —— 基础篇：DP Mon, 29 Dec 2025 09:36:52 +0800 题单来自于：【算法进阶题单】动态规划、数据结构、图论、数学、字符串、计算几何、博弈状态机DP 时间序列 max和mini的 121. 买卖股票的最佳时机 122. 买卖股票的最佳时机 II（有神中神dp） PD就要看买卖股票的最佳时机【基础算法精讲 21】既然有次数限制，就要在遍历的过程中记录次数基本操作：（一）github is all you need Mon, 22 Dec 2025 16:56:26 +0800 码农圣地 github github众所周知，是最大的~~同性交友网站~~开源项目公布网站，每个人都可以在这里share自己的项目。由于open-source往往由一个团队进行开发，所有有很多开发版本，为了管理不同的开发版本之间的异同，远古linux大神linus写了git的原型来管理不同的fork。每个opensource都有一条master主线，然后有不同的分支合并到master分支上。由此也看出，git最主要的功能就是派生（fork）、合并（merge）。这里我不想重复造轮子，请直接观看我觉得非常棒的讲解。 issues和PR 把 GitHub 想成一个研发团队的工单系统： Issue 像工单 / 任务卡，比如：这个 bug 要修这个功能要加这个文档要补这个体验要优化 PR 像交付单 / 审核单，比如：我已经写完了请大家 review 一下没问题就把代码合进去常见的过程就是Issue 提出问题 → 开分支开发 → 提交代码 → 创建 PR → PR 合并后，Issue 关闭。 Codex 和 CC —— terminal vibe coding tutorial Thu, 18 Dec 2025 07:15:59 +0800 这篇文章记录我熟悉的codex和claude code的常用方式，若有更好的方法欢迎联系我。安装其实无论是在哪个终端安装都可以，无非是权限的问题，在wsl或者git bash中是最好的，但是我习惯在Window的terminal安装了，直接安装即可，问题不大。大佬博客 —— Orz Thu, 11 Dec 2025 07:02:09 +0800 旨在排列出看过或者没看过收集的高质量博客苏神地址：科学空间高代从一个单位向量变换到另一个单位向量的正交矩阵 “对角+低秩”三角阵的高效求逆方法矩阵的有效秩（Effective Rank）低秩近似之路（一）：伪逆低秩近似之路（二）：SVD 低秩近似之路（三）：CR 低秩近似之路（四）：ID 低秩近似之路（五）：CUR Monarch矩阵：计算高效的稀疏型矩阵分解随机矩阵的谱范数的快速估计概率与统计从重参数的角度看离散概率分布的构建通向概率分布之路：盘点Softmax及其替代品概率视角下的线性模型：逻辑回归有解析解吗？两个多元正态分布的KL散度、巴氏距离和W距离如何度量数据的稀疏程度？从局部到全局：语义相似度的测地线距离让人惊叹的Johnson-Lindenstrauss引理：理论篇让人惊叹的Johnson-Lindenstrauss引理：应用篇从JL引理看熵不变性Attention 从熵不变性看Attention的Scale操作熵不变性Softmax的一个快速推导从梯度最大化看Attention的Scale操作随机分词浅探：从Viterbi Decoding到Viterbi Sampling 随机分词再探：从Viterbi Sampling到完美采样算法 context engine note Tue, 02 Dec 2025 09:28:32 +0800 Context Manager 多模态数据的处理现在大模型系统的对话窗口和处理数据会产生大量的上下文，后续的qa往往会用到其中一部分上下文，所以建立有效的context engine是十分必要的。 NLP 用时问戳标记上下文一种常见的设计是在每条信息上附加时间戳，以保留其生成的顺序。这种方法由于简单且维护成本低，在聊天机器人和用户活动监控中广受欢迎。然而，该方法存在若干局限性。尽管时间戳能够保持时间顺序，但它们不提供语义结构，使得捕捉长程依赖关系或高效检索相关信息变得困难。随着交互数据的累积，序列呈线性增长，导致在存储和推理方面均面临可扩展性问题 LLM 系统架构 note Mon, 01 Dec 2025 16:11:21 +0800 LLM目前最大的困难来自于预训练使用的语料是足够多的且推理能力是足够强的，但是如何在问答中交互使其自回归输出得到一个很好的结果是很困难的，这就是agent出现的原因核心矛盾点训练的时候往往在一个静态的环境，但是推理环境往往是动态的，动态和静态会让系统产生意料之外的输出在CoT中，一旦传入一个错误事实，就会层层放大 Scaling Law，但模型上下文还是不够长模型参数是固定的，无法进步大模型的开销太贵了推理的结构从静态链演变到动态链： AdaPlanner：允许大模型在计划外执行的时候进行停止，然后重新规划 ADaPT：connect让executor LLM直接执行任务，若不能执行就调用planner LLM进行任务分解再进行executor LLM deep research design —— note Mon, 01 Dec 2025 16:09:53 +0800 参考link： A Systematic Survey of Deep Research —— github Awesome Deep Research Projects 强化学习：从模态对齐到策略优化 —— 2、从GSPO、FSPO、GEPO Mon, 24 Nov 2025 09:54:25 +0800 上下文归纳正如上文所说，qwen团队发现了其存在的缺陷是优势函数\hat{A}_istoken-level，但是奖励函数是序列级别的，这会导致训练大型、复杂的模型（如混合专家模型MoE）和处理长序列任务时尤为突出，常常导致训练过程不稳定甚至模型崩溃。接下来几篇文章分别从不同的角度去对整体流程进行优化，首先我们先确立一下流程：强化学习：从模态对齐到策略优化 —— 1、从PPO 到 GPRO Thu, 20 Nov 2025 15:35:45 +0800 对齐到RL 一个未经对齐的 LLM 可能会产生无益、有害甚至有毒的内容，或者无法理解和遵循复杂、微妙的人类指令。这一根本性问题被称为对齐（Alignment），即确保 AI 系统的目标和行为与人类的价值观和意图保持一致。 SFT（静态）解决对齐问题的初步尝试是监督微调（Supervised Fine-Tuning, SFT）。SFT 使用高质量的人工标注数据集，其中包含期望的输入-输出对（例如，问题和理想答案），通过模仿学习的方式来调整模型行为。 Antigravity卡在谷歌登录环节解决方案 Thu, 20 Nov 2025 01:33:08 +0800 首先要保证自己的IP是足够纯净的IP，开了`v2ray/clash` 之后，点开此网站，就能看到IP是否是原生`IP`且评分如何。由于`gemini`和`claude`对`IP`的要求高，建议使用原生`IP`和高评分的节点，且长期只使用这个节点，不然可能会触发斩杀，赔钱有原生IP，但是知道的人太多了，用的人也太多了，上面这个IP是赔钱的。奈云不知道为啥没有，但是我日常用着很舒服，网速很快。卡在谷歌登录究其原因应该是`Antigravity`的验证信息不会通过`v2ray/clash`传入传出，所以只需要把`tun`模式开了，然后重新打开软件，再登录即可。需要注意的是个别软件开`tun`可能要管理员权限，自动重启之后`tun`其实是没开的，需要再点一次。然后就能愉快的使用了。如果没有`gemini pro`，可以去`taobao`自行购买学生账号，一年估计`50-80`不等，挺便宜的。生理信号大模型 Wed, 19 Nov 2025 07:48:13 +0800 2023年至2025年的研究格局显示，通过将异构生理信号（EEG、fMRI、EMG、EOG、Gaze）与文本、视觉等高层语义模态进行深度融合，领域正在向大脑模型（Large Brain Models, LBMs）和多模态大模型（Large Multimodal Models, LMMs）迁移。这种范式转移的核心挑战在于对齐问题（Alignment Problem）：如何在数学和语义层面统一具有不同时空分辨率、不同拓扑结构以及不同噪声特性的多模态信号。例如，EEG具有毫秒级的时间分辨率但空间分辨率极低，而功能性磁共振成像（fMRI）则相反；视觉和文本数据则处于高度抽象的语义空间。要实现真正的多模态智能，必须解决子空间学习中的流形差异、连续信号的离散化（Tokenization）以及在大模型架构下的深度融合机制。算法 —— 基础篇：树图、高精度、二分 Sat, 08 Nov 2025 17:12:49 +0800 递归递推时间复杂度：看for的n，取最大空间复杂度：看实际运行的时候用到了多少内存。在递归算法中，每次递推都需要一个栈空间来保存调用记彔，因此在计算空间复杂度时需要计算递归栈的辅助空间。对于递推和递归来说，其实是完全不同的两个思路递归是“一个实体调用自身” 。这具体表现为一个函数直接或间接调用自身，以解决一个给定问题的更小实例。递归的本质在于“自我参照”。递推在此上下文中被理解为迭代计算过程。迭代的定义是“重复执行一组指令” ，通常通过循环结构（如 for, while 或 do-while）来实现。递推的本质在于“重复” 。迈向具有深度推理的代理RAG：LLM RAG推理系统综述 Thu, 06 Nov 2025 08:22:20 +0800 rag 的三个过程：检索阶段：从外部知识库中提取任务相关的内容整合阶段：对检索内容进行去重、冲突解决和重新排序生成阶段：基于精选上下文进行推理以得出最终答案。 Paper note Towards Agentic RAG with Deep Reasoning: A Survey of RAG-Reasoning Systems in LLMs 综述围绕两个过程来讲（RAG ⇔ Reasoning）： Reasoning-Enhanced RAG：映射高级推理如何优化RAG的每个阶段 RAG-Enhanced Reasoning：展示不同类型检索知识如何为复杂推理提供缺失前提并扩展上下文 langchain note Fri, 31 Oct 2025 10:00:19 +0800 agent范式为了更好地组织智能体的“思考”与“行动”过程，业界涌现出了多种经典的架构范式。在本章中，我们将聚焦于其中最具代表性的三种，并一步步从零实现它们： ReAct (Reasoning and Acting): 一种将“思考”和“行动”紧密结合的范式，让智能体边想边做，动态调整。 Plan-and-Solve: 一种“三思而后行”的范式，智能体首先生成一个完整的行动计划，然后严格执行。未归档偶然发现的好东西 Tue, 28 Oct 2025 01:42:56 +0800 翻译 pot翻译 + 百度翻译api 幻觉翻译 dataset 阿里开放式多模态AI安全评测基准 OpenMMSec：百万开源多模态数据集 Triton is all you need —— Matrix Multiplication & Matrix Transpose & Matrix Copy Fri, 24 Oct 2025 09:53:04 +0800 在矩阵的运算中，由于现在LLM Scaling Law，现在模型的矩阵相当的巨大。而计算单元的访存和算力有限，故此通常采用分治的思想进行并行计算，即采用分块的方式进行分块运算，这称之为tile，这里涉及到大量的程序编写的架构和编译器优化，后续我们会展开来这个说。 deepseek OCR —— 源码解析 Tue, 21 Oct 2025 16:07:59 +0800 先说说我的看法，现在各种评价满天飞，我看了看README，其实很好说理解，首先肯定是OCR。在README中提到两个文件，一个是对image进行OCR，一个是对PDF进行OCR。其最主要的功能就是将其文字和图片进行提取，然后改变为可执行对象。其次就是对image进行理解，将其转为文字的描述，详细的可以看下图：我说一下我的思考，受限于我的认知，仅供参考，如果你有更好的想法，欢迎联系我，很乐意跟您进一步讨论。首先是OCR，这个功能的思考肯定源自于多模态大模型的实际业务，对PDF和image的tokenlization是多模态的基础，特别是tob中台的各种文档的token化，这是对agent inference体系中的context engine的PDF给出了一个解法，只要是实际思考过中台文档类的业务，这个是必然要做的工作。 CUDA profile 大全 —— nsight computer & nsys & pytorch Mon, 20 Oct 2025 15:18:01 +0800 Cuda API 创建对象： #include <cuda_runtime.h> #include <cuda.h> #include <iostream> #include <string> // 获取当前机器的GPU数量 cudaError_t error_id = cudaGetDeviceCount(&deviceCount); for (int dev = 0; dev < deviceCount; ++dev) { cudaSetDevice(dev); // 初始化当前device的属性获取对象 cudaDeviceProp deviceProp; cudaGetDeviceProperties(&deviceProp, dev); printf("\nDevice %d: \"%s\"\n", dev, deviceProp.name);</code></pre><p style=""></p><p style="">拿到数据后可以查看对应feature</p><pre><code>printf(" Total amount of shared memory per block: %zu bytes\n", deviceProp.sharedMemPerBlock); printf(" Total shared memory per multiprocessor: %zu bytes\n", deviceProp.sharedMemPerMultiprocessor); printf(" Total number of registers available per block: %d\n", deviceProp.regsPerBlock); printf(" Warp size: %d\n", deviceProp.warpSize); printf(" Maximum number of threads per multiprocessor: %d\n", deviceProp.maxThreadsPerMultiProcessor); printf(" Maximum number of threads per block: %d\n", deviceProp.maxThreadsPerBlock); printf(" Max dimension size of a block size (x,y,z): (%d, %d, %d)\n", deviceProp.maxThreadsDim[0], deviceProp.maxThreadsDim[1], deviceProp.maxThreadsDim[2]); printf(" Max dimension size of a grid size (x,y,z): (%d, %d, %d)\n", deviceProp.maxGridSize[0], deviceProp.maxGridSize[1], deviceProp.maxGridSize[2]); Triton is all you need —— Vector Addition & Reverse Array Fri, 17 Oct 2025 08:12:03 +0800 Vector addition 原题：编写一个在 GPU 上执行 32 位浮点数向量逐元素相加的程序。该程序应接受两个等长输入向量，并产生一个包含它们和的输出向量。 exp1： `Input: A = [1.0, 2.0, 3.0, 4.0] B = [5.0, 6.0, 7.0, 8.0] Output: C = [6.0, 8.0, 10.0, 12.0]` LLM —— attention、MHA、MQA、GQA、MLA Mon, 13 Oct 2025 03:28:44 +0800 文章启蒙来自苏神的缓存与效果的极限拉扯：从MHA、MQA、GQA到MLA，拜谢Orz。 attention 首先attention的公式我们都知道如下： \mathrm{Attention}(K,Q,V)=\mathrm{softmax}(\frac{QK^{\top}}{\sqrt{d_{k}}})V 我们尝试用数学来表述清楚这个问题，首先假设输入为一条token的x，输出为一条token的o，结合上面的公式得到QKV矩阵： q=x W_q\in\mathbb{R}^{d_k},W_q\in\mathbb{R}^{d\times d_k} k=x W_{k}\in\mathbb R^{d_k},W_{k}\in\mathbb R^{d\times d_k} v=xW_{v}\in\mathbb{R}^{d_k},W_{v}\in\mathbb{R}^{d\times d_v} 算法 —— 基础篇：数组、双指针、滑动窗口、区间 Fri, 03 Oct 2025 08:49:53 +0800 双向子序列也是双指针接雨水接水最多的容器双指针的搜索范围三数之和 PD分离 —— Prefix Cache和Chunk Prefills Mon, 29 Sep 2025 09:53:22 +0800 目前推理框架基本上都需要用到多轮对话的场景，自然产生了`kv cache`的存储和索引算法。如果能把`prompt`和后续产生的`KV Cache`保存下来，会极大地降低首`Token`的耗时。目前使用最多的就是两个技术方案，一个是`SGLang`推出的`RadixAttention`的`Prefix Cache`，另一个是`vllm`原生的`Chunk Prefills`。当然`vllm`也兼容了`Prefix Cache`，这两个技术只能用一个，vllm默认是Chunk Prefills，可以通过加入参数`--enable-prefix-caching`来开启，这里不谈`TensorRT-LLM`是因为其不完全开源。 vllm v1 源码解析 —— 单机八卡推理 Fri, 26 Sep 2025 09:10:35 +0800 单机八卡，我们按照PP + TP的方式来进行方案说明，使用的是vllm框架，主要命令和函数如下： `python single_node_multi_gpu_demo.py --mode pipeline_parallel --tensor-parallel 4 --pipeline-parallel 2 --model facebook/opt-13b def pipeline_parallel_inference(self, model_name: str, tensor_parallel_size: int, pipeline_parallel_size: int): “““流水线并行推理 - 将模型层分布到多个GPU上””” print(f"🚀 启动流水线并行推理 - 模型: {model_name}") print(f" 张量并行: {tensor_parallel_size}, 流水线并行: {pipeline_parallel_size}")` vllm v1 源码解析 —— Core Tue, 23 Sep 2025 03:56:10 +0800 一个client建立之后就会建立一个core engine，这些配置会通过QMZ IPC发送给core engine。 Core engine Architecture Worker and Executor MultiprocExecutor 在MultiprocExecutor类中，可以清晰的找到三部曲： 1、创建RPC消息队列 # Initialize worker and set up message queues for SchedulerOutputs # and ModelRunnerOutputs max_chunk_bytes = envs.VLLM_MQ_MAX_CHUNK_BYTES_MB * 1024 * 1024 self.rpc_broadcast_mq = MessageQueue(self.world_size, self.world_size, max_chunk_bytes=max_chunk_bytes) scheduler_output_handle = self.rpc_broadcast_mq.export_handle() NCCL —— 标杆 Mon, 22 Sep 2025 09:58:52 +0800 首先，需要说一些特性在前面： NCCL是NVIDIA 集体通信库（NVIDIA Collective Communication Library），专注于 GPU 间交互，利用 NVLink、PCIe 和 InfiniBand (IB) 等互连技术实现高带宽和低延迟。 NCCL并不是完全开源算子进阶 —— 通信算子 Mon, 22 Sep 2025 09:00:54 +0800 随着LLM业务的不断发展，我们发现单机单卡无法承载一个模型的训练和推理，故此出现了单机多卡和多机多卡的训练推理算子，这时候每个机和卡之间都需要通信，所以通信算子十分的重要。分布式并行下面是传统的四种并行处理架构，常用于大模型训练。 DP 每张卡拷贝相同的模型结构，仅对数据做切分。每张卡计算完的梯度也是针对各自数据的，需要做一次allreduce，然后使用优化器更新模型，进入下一次迭代。算子进阶 —— 通算融合 Fri, 19 Sep 2025 08:16:51 +0800 （施工ing）概述我们知道，算子的作用是计算，那在整个体系中，我们的核心目标是拉满GPU的利用率。在现代分布式体系中，多GPU之间同时存在着计算、内存访问和通信这三种基本活动，为了服务于我们的核心目标，我们需要尽可能的将通信时间和访存时间放在计算时间内，使得GPU不存在运算时间的泡泡。大模型分布式系统执行的核心组件是并行的GPU。提升GPU运算的最佳方法，是通过计算与通信的重叠来实现。这种重叠可以通过两种方式达成：算子分解或通信内核融合。虽然算子分解实现起来简单，但往往导致性能欠佳。而将通信内核与计算内核融合，则需要更多的思考和计算。故此最原始的想法就是用计算时间掩盖通信时间，通过大批量的数据直接发送到GPU，减少kernel开启和关闭、通信的开销。 Triton-distributed Triton-distributed是字节seed团队开发的Triton 编译器的扩展。对于 LLM 来说，分布式优化的关键要求是计算通信重叠。以前，在小规模分布式训练/推理中，通信开销并不是一个关键的成本问题。然而，随着集群数量呈指数级增长，计算与通信重叠变得至关重要。 AMD 2025 分布式推理算子优化挑战赛 —— lect 9/16 note Fri, 19 Sep 2025 02:57:25 +0800 ROCm 入门首先就是amd官方的命名跟nv的区别，其实区别并不大，只是AMD在cuda的基础上做了更多的优化，比如说一个wavefront有64个work-item，相当于一个warp有64个threads。其次就是有两种register，在 Triton is all you need —— Triton 源码、编译和调试 Thu, 18 Sep 2025 07:35:21 +0800 （施工ing） include日录主要存放了编译器核心功能的.h头文件，提供约定和规范 lib是.c和.cpp，主要是功能的实现，和include一一对应 AI编译器 —— 笔记 Thu, 11 Sep 2025 09:00:18 +0800 challenge 新模型新module出现，需要对应算子进行计算，还需要结合硬件进行特性优化和测试，尽量充分发挥硬件性能硬件厂商还会发布新技术的加速计算库专用加速芯片爆发导致性能可移植性成为一种刚需不同厂商的ISA不尽相同一般缺乏如GCC、LLVM等编译工具链，使得针对CPU和GPU已有的优化算子库和针对语言的优化Pass很难短期移植到NPU上架构和传统编译器对比在编译优化层通过统一IR执行不同的Pass进行优化，从而提高执行性能软件结构栈：分成前端、优化、后端三段式，IR解耦前端和后端使得模块化表示 AI编译器对Graph IR进行优化后，将优化后的IR转换成传统编译器IR，最后依赖传统编译器进行机器码生成左边是旧编译器架构，右边是ai编译器架构 AMD 2025 分布式推理算子优化挑战赛——笔记 Tue, 09 Sep 2025 05:48:15 +0800 比赛提供的link：魔搭社区比赛首页 AMD比赛首页 amd-all2all kernel Leaderboard reference-kernels discord link Popcorn CLI lect： ytb Bonus Lecture: AMD Developer Challenge Mixture of Experts AMD Problem 9/16 lect note triton is all you need 之 GEMM Sun, 07 Sep 2025 08:10:38 +0800 代码参考了傅哥，请b站关注我是傅傅猪喵，谢谢喵！ Triton DSL是以BLOCK tile为中心的Python DSL。与CUDA相比，Triton的使用者无法控制所有细节，因为某些优化是自动完成的，但是在Triton编译器的逐层编译优化之下也可以获得与Cuda相近甚至超过的性能。另外，Triton的编写和调试更加简单，而且学习成本更低。八股系列：inference infra Wed, 03 Sep 2025 15:16:40 +0800 收集我和我小伙伴互相问的八股问题，里面有gemini deep search的回答，望周知。 LLM model rmsnorm和layernorm相比有什么优点参考为什么最新的大模型普遍用RMSNorm？ swiglu和relu相比有什么修改 GELU: 高斯误差线性单元 ReLU: 修正线性单元 Swish (β=1.0): 标准Swish函数【CUDA从入门到入土】四、矩阵乘法 Wed, 03 Sep 2025 14:50:37 +0800 矩阵乘法跟之前不同，之前一维可以直接写一个kernel，或者多个kernel线性的排布来并行计算，那么矩阵乘法就是由一维向二维转变的关键。这时候一维的kernel排布也变成了二维排布。【LLM 必读综述】Speed Always Wins：LLM高效架构调查 Wed, 27 Aug 2025 08:06:02 +0800 题目：Speed Always Wins: A Survey on Efficient Architectures for Large Language Models 作者：孙伟高上海人工智能实验室 github：https://github.com/weigao266/Awesome-Efficient-Arch 文章的主要目的通过分析449篇大模型的论文，汇总得到了以下能让大模型速度提升的方向：如何最快速的找到最核心的几篇文章 Sun, 24 Aug 2025 16:12:48 +0800 做这期blog的动机很简单，分享一下自己如何快速的上手某个领域的论文。最核心的三个步骤我觉得分别是：确定自己研究领域的key words，这里是要从上到下的，如LLM -> 微调和 CoT 确定自己需要研究的题目，如如何确定CoT的某个环节有益于微调中得到高的得分根据“and”的检索思想，从小到大的进行检索先检索key words，确定论文的范围在页面内只看研究的问题是否符合自己的要求快速确定自己需要的论文想要快速了解某个领域的论文，一个是问，问从业者，这是最快的，有人脉，直接问最核心的开发者，受益无穷，少走很多弯路。【CUDA从入门到入土】三、reduce算子及其优化 Sat, 23 Aug 2025 08:46:59 +0800 该项目代码参考傅哥的课程，很有用的课程，请多多支持他。 reduce 规约求和是cuda中一个经典的问题，其本质是将输入的序列进行求和。在CUDA的多线程中，我们清楚数据被分为一个一个的block中进行运行，每个block通过warp来并发32个线程进行运算。 cursor trae解决插件问题 Wed, 20 Aug 2025 12:27:24 +0800 使用代理网站使用vsixhub进行vsix下载，记得在marketplace里对比两者的版本，下载之后直接拖拽文件到cursor的插件栏里就行。从vscode下载从vscode下载之后点击小齿轮进行下载使用链接补充下载在下面的链接的基础上补上一部分 https://marketplace.visualstudio.com/_apis/public/gallery/publishers/ 在后续补上{发布者}/vsextensions/{插件名}/{版本号}/vspackage 比如说上面的Nsight，组合起来就是： https://marketplace.visualstudio.com/_apis/public/gallery/publishers/NVIDIA/vsextensions/nsight-vscode-edition/2025.1.36067579/vspackage 注意，插件名有空格的地方要加短横线- 。这样能直接通过网页下载插件，不需要vscode代为下载。【CUDA从入门到入土】二、CUDA调试和必知必会 & Nsight Computer 入门 Sun, 17 Aug 2025 17:09:02 +0800 上文中，我们运行了一个简单的cuda函数，并且一次过的将其运行了起来，这次，我们需要补充一些基础的概念，通过概念和框架的建立，我们才能走的更远，高屋建瓴的认识更多。【CUDA从入门到入土】五、cuda_kernel_和_cuda_attention详解 Sun, 17 Aug 2025 15:14:21 +0800 从cuda kernel出发，看懂人生第一个cuda attention 【CUDA从入门到入土】一、丝滑的CUDA入门 Thu, 14 Aug 2025 16:27:54 +0800 CUDA是什么 cuda是一种gpu编程组件，是一种原生支持GPU软硬件的架构，使得开发者可以直接在 GPU 上编写和执行通用计算程序。 GPU架构上图是H100白皮书中，H100 GPU带满了144个SM的架构图上图是H100中，1个SM的架构图 SM架构详解由此，我们可以高屋建瓴的看懂GPU，这里不雕琢细节，只直白的说明白GPU怎么工作的： PCIE 就是负责数据从显卡和主板之间进出的数据传输协议，理解为传递数据的就对了 WSL2搭建cuda-triton开发环境 Thu, 14 Aug 2025 16:21:13 +0800 先用了vmware + ubuntu的方法，结果发现现在gpu无法透传到vmware的虚拟机里故此使用wsl2的开发环境，后续会更新许多更舒服丝滑的操作 WSL2 查看所有发行版本 wsl --list --online 安装指定版本 wsl --install Ubuntu-22.04 安装成功之后设置一下账户密码就行安装miniconda 用脚本安装 wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh chmod +x Miniconda3-latest-Linux-x86_64.sh ./Miniconda3-latest-Linux-x86_64.sh source ~/.bashrc conda list 用脚本安装就一直yes就行安装CUDA Toolkit 和 cudnn 使用 nvidia-smi查看cuda版本，在下面链接选择相应的版本【MLsys 24】keyformer阅读笔记 Thu, 14 Aug 2025 15:54:06 +0800 文章名：Keyformer: KV Cache reduction through key tokens selection for Efficient Generative Inference 论文的关键：在vllm中，Decode的时候由于矩阵乘法和KV cache的存取，该阶段受限于memory bound 研究发现，在推理过程中，90%的attention权重关注于特定的token 这篇文章的工作就是通过一个新颖的评分函数来找到这些特定的token 在KV cache中就只保存这些特定的token 对于多embedding和多任务上，keyfromer能降低延迟，提高吞吐量，不丢失准确率背景生成的新token会带来额外的KV cache，如MPT-7B 模型中，序列长度增加 16 倍（从 512 到 8K）会导致推理延迟增加 50 倍以上。推理总时间的约 40%（绿色突出显示）被 KV 缓存数据移动所消耗，还会延长其他操作所需的时间（蓝色显示）。当序列长度超过 8K 时，KV 缓存大小超过了模型大小。 MLsys24 分类汇总 Thu, 14 Aug 2025 15:51:24 +0800 LLM 推理与服务优化 (LLM Inference and Serving Optimization) KV 缓存管理和优化 (KV Cache Management and Optimization) 这些论文聚焦于 KV 缓存的减少、量化或重用，以提升生成推理效率和降低内存消耗。 Keyformer: KV Cache reduction through key tokens selection for Efficient Generative Inference (Keyformer：通过高效生成推理的关键令牌选择来减少 KV 缓存) - Muhammad Adnan 等 Hello Halo Thu, 14 Aug 2025 15:15:16 +0800 Hello Halo 如果你看到了这一篇文章，那么证明你已经安装成功了，感谢使用 Halo 进行创作，希望能够使用愉快。相关链接官网：https://www.halo.run 文档：https://docs.halo.run 社区：https://bbs.halo.run 应用市场：https://www.halo.run/store/apps aliyun ubuntu halo AirCloud最速传说 Fri, 14 Feb 2025 15:32:00 +0800 购买域名搜索点击阿里云域名注册服务在此处搜索域名英文中文都可以，然后选择购买，实名认证之后下单即可下单后需要提交实名认证的模板，在域名列表->解析，会被要求去实名，上传身份证，大概要几个小时，认证后即可需要对解析和管理分别进行配置解析中配置好域名对着IP 管理中自定义DNS，然后在www中添加DNS对着IP 博客服务的区别 Hexo没有后端 Hego社区不太活跃 Typecho轻量级但是已经很老的框架了 Halo是java写的，很方便 Halo找了一圈，好像对latex不太支持 Hexo的stellar没找到加备案的地方，找了一圈，还是next把，简简单单的也挺好更新，next渲染依托答辩，受不鸟了，toc渲染都不正确，fu'le Halo安装 1panle 安装先执行如下脚本安装docker： bash <(curl -sSL https://linuxmirrors.cn/docker.sh) 然后执行脚本安装1panel： bash -c "$(curl -sSL https://resource.fit2cloud.com/1panel/package/v2/quick_start.sh)"r 然后输入 IP+你设置的端口就可以进入1panel的控制台了

核心维度

ReAct 隐式 plan

Plan → Do 显式 plan

Workflow 编排脚本

/loop 定时轮询

/goal 目标驱动

一句话理解

边想边做

先计划，再执行

用脚本编排多个 agent

定时重复跑任务

给目标，自动跑到收敛

计划可见性

低，计划藏在模型内部

高，plan 可审查

最高，控制流写在脚本里

基本无计划

中低，目标明确但路径隐式

执行方式

单 agent 串行

多 agent 并行 / pipeline

单 agent 周期执行

每日github项目解析：（二）20260605 github robot和agent soul

Fri, 05 Jun 2026 09:47:40 +0800

github robot

https://github.com/pbakaus/agent-reviews

这个项目让我想到一个有意思的场景：一个让人血压升高的下午

你提了一个 PR，信心满满。几秒钟后，Copilot 来了，CodeRabbit 来了，Cursor Bugbot 也来了。它们在你的代码行上密密麻麻留下几十条评论：这里可能空指针，那里命名不规范，这个函数复杂度超标。你认认真真改了一轮，git push。

每日github项目解析：（一）20260604

Thu, 04 Jun 2026 10:00:30 +0800

headroom

https://github.com/chopratejas/headroom

官方的说法是它是个给 AI agent 省 token 的"压缩中间层"。

AI agent(比如 Claude Code)干活时,要把一大堆东西塞给大模型读——工具输出、日志、报错、检索结果、文件内容、聊天历史。

agent eval：（一）deepeval

Tue, 19 May 2026 03:07:56 +0800

特性分析

集成支持

deepeval 通过一个统一的 Tracing 核心层来兼容所有框架。无论外部框架的形式如何不同，最终都汇聚到同一套数据模型和 trace 管理器。

Monkey-Patch 直接替换 SDK 类方法
Callback Handler 实现框架原生回调接口

vibe coding系列：（三）一边vibe一边read

Mon, 04 May 2026 09:33:24 +0800

安装

powershell安装

scoop bucket add extras
scoop install extras/wezterm
scoop install pwsh
scoop install yazi

这里的pwsh是powershell 7，现在更多都是用pwsh了，后面主题出现的inner liner错误，基本上都是没用pwsh的原因。

启动

WezTerm是独立的应用，你可以直接搜索打开，也可以在pwsh直接输入WezTerm打开，都可以

打开你会发现默认是C盘system32的cmd.exe，这显然不是很好，我们可以配置一下，打开pwsh：

notepad $env:USERPROFILE\.wezterm.lua

没有就新建一个，然后给出最小配置：

local wezterm = require 'wezterm'
return {
config.default_prog = { ‘pwsh.exe’, ‘-NoLogo’ }
default_cwd = ‘D:/OS’,
}

默认打开powershell，然后给出默认路径（嘿，这图还是powershell的，就是因为我后面主题错了，所以前面才换成pwsh）：

agent系列（五）：agent架构的落地思考

Wed, 22 Apr 2026 07:43:23 +0800

最近在楼下停车场散步，反思了一下最近遇到的bug，觉得蛮有意思的，写篇blog分享一下。

prompt engineering的useful和useless

上文我们已经从架构的方面去讨论过多种的agent架构，主要还是分为隐式plan、半显式plan和显式plan的三种不同的agent风格，

那么在前年的prompt engineering的时代，RAG是那时候的热门话题，为什么要RAG呢，是因为LLM落地的第一大问题：大模型训练的语料是公开语料和通用规律，它是不知道公司内部文档、你自己的笔记和古早之前的上下文的，那时候连web search的清洗都是非常困难的，所以大模型的幻觉非常强。

vibe coding系列：（二）GET SHIT DONE

Tue, 14 Apr 2026 06:31:13 +0800

github link：https://github.com/gsd-build/get-shit-done/blob/main/README.zh-CN.md

agent系列：（四）session管理和agent架构

Sat, 14 Mar 2026 16:24:52 +0800

如果要去design一个agent架构，避免不了的就是涉及到对session的管理和agent的架构，一个是表面的，一个是深层的

session管理

常见可以分成以下几类：

一类是 thread/checkpoint 型（LangGraph、Dify、Flowise）
一类是 runtime snapshot/controller 型（AutoGen、OpenHands）
一类是 workspace/project 型（Open WebUI、AnythingLLM、FastGPT、LobeHub）

agent系列：（三）context and memory

Thu, 05 Mar 2026 17:06:39 +0800

context其实跟infra息息相关，好的infra能支持非常多的idea并发的去实现，而pipeline的高度耦合使得infra变得屎山中的屎山，所以模块化的context infra势在必行。我们想构建一个context playload，一个有序、分层、可度量的 typed blocks 集合，是模型单次推理的输入态。

Context Engineering：围绕 payload 的三类能力：

vibe coding系列：（一）我自用的配置（包括claude不封号稳健玩法）

Tue, 03 Mar 2026 04:34:13 +0800

一、workflow

我习惯的方式是opencode + gpt5.2 xhigh来吵方案，然后claude code + opus + sonnet来写代码，他们有以下几个区别：

gpt通常有包月的套餐，一天能用60~120刀不等，中转站包月通常一个月不会超过80 rmb，是非常实用的大模型套餐
- gpt 5.2 不带codex对标的是opus4.5，gpt 5.3 codex对标的是sonnet 4.5，所以推荐gpt 5.2不带codex进行方案的讨论

agent系列：（二）agent plan

Wed, 04 Feb 2026 07:12:09 +0800

agent最基本的就是ReAct范式，其中最关键的就是agent plan，我们主要探讨的是单agent的plan和多agent不同范式如何plan的更好。

单agent

单agent plan指的是同一个agent在一个 loop 里：规划 → 执行（工具调用）→ 观察 → 反思/重规划 → … → 完成。

skills系列（二）：skills团队和opencode-omo

Thu, 22 Jan 2026 03:54:11 +0800

由于codex至今不支持subagent，我实在等不及了，用codex开发确实没那么灵光，先用claude code组建团队，反正逻辑是一致的。这里附上一条codex不询问命令的指令：

# 尽量别问我（读写不问，删除之类的问） codex -s workspace-write -a never claude --allowedTools "Read" "Edit" 什么都不问

codex –yolo claude –dangerously-skip-permissions

agent系列（一）：实用的agent架构、应用、评估和未来

Sun, 18 Jan 2026 16:41:53 +0800

0. 数模

最基础的抽象是：环境有状态s_{t}，你能看到的是观测o_{t}，你做动作a_{t}，环境给反馈（比如奖励/成功信号）并转移到新状态。用 (PO)MDP 写就是：

paper2proj：DeepCode在模态转换之间的编排

Thu, 15 Jan 2026 08:23:05 +0800

1. 概述

DeepCode的工作是将科学论文转化为可执行代码，它提炼出来的问题包括：

Specification Preservation（规范保留）: 论文中的信息分散且多模态，难以忠实地将这些片段化的规范映射到实现中。
Global Consistency under Partial Views（局部视角下的全局一致性）: 代码库由相互依赖的模块组成，但生成通常是逐文件进行的，在有限上下文下难以维护接口、类型和不变量的全局一致性。

skills系列：（一）coding未来的管中窥豹

Fri, 09 Jan 2026 10:03:10 +0800

0. 现有的就是最好的

由于claude code的Opus和sonnet过于昂贵，其实codex也能用skills，这里推荐用codex的skills，只需要把https://github.com/obra/superpowers/tree/main/skills 里所有的文件夹搬到.codex的skills文件夹里即可。很多人吹嘘skills是什么黑科技，在我看来其实就是两个思路交错产生的结果：

github源码阅读：（二）OpenCode Code agent

Fri, 02 Jan 2026 14:59:30 +0800

项目介绍

什么是 OpenCode

OpenCode 是一个 100% 开源的code agent，专注于为开发者提供强大、灵活且可扩展的 AI 编程体验。与 Cursor、Copilot 等商业工具不同，OpenCode 不绑定任何特定的 LLM 提供商，支持 Claude、OpenAI、Google、本地模型等多种提供商。

github源码阅读：（一）LlamaIndex 上下文数据规范

Wed, 31 Dec 2025 06:09:51 +0800

概述

LlamaIndex（原名 GPT Index）是一个开源的数据框架，专门用于构建大语言模型（LLM）应用。它解决了 LLM 的一个核心局限性：LLM 在训练后就无法访问私有数据。LlamaIndex 通过检索增强生成（RAG）技术，将用户的私有数据与 LLM 的生成能力无缝连接。与langchain相比，langchian是编排工具流工作流等，而llamaindex专注于数据格式和数据索引。

算法 —— 基础篇：DP

Mon, 29 Dec 2025 09:36:52 +0800

题单来自于：【算法进阶题单】动态规划、数据结构、图论、数学、字符串、计算几何、博弈

状态机DP

时间序列

max和mini的

121. 买卖股票的最佳时机

122. 买卖股票的最佳时机 II（有神中神dp）

PD就要看买卖股票的最佳时机【基础算法精讲 21】

既然有次数限制，就要在遍历的过程中记录次数

基本操作：（一）github is all you need

Mon, 22 Dec 2025 16:56:26 +0800

码农圣地 github

github众所周知，是最大的~~同性交友网站~~开源项目公布网站，每个人都可以在这里share自己的项目。

由于open-source往往由一个团队进行开发，所有有很多开发版本，为了管理不同的开发版本之间的异同，远古linux大神linus写了git的原型来管理不同的fork。每个opensource都有一条master主线，然后有不同的分支合并到master分支上。由此也看出，git最主要的功能就是派生（fork）、合并（merge）。

这里我不想重复造轮子，请直接观看我觉得非常棒的讲解。

issues和PR

把 GitHub 想成一个研发团队的工单系统：

Issue 像工单 / 任务卡，比如：

这个 bug 要修
这个功能要加
这个文档要补
这个体验要优化

PR 像交付单 / 审核单，比如：

我已经写完了
请大家 review 一下
没问题就把代码合进去

常见的过程就是Issue 提出问题 → 开分支开发 → 提交代码 → 创建 PR → PR 合并后，Issue 关闭。

Codex 和 CC —— terminal vibe coding tutorial

Thu, 18 Dec 2025 07:15:59 +0800

这篇文章记录我熟悉的codex和claude code的常用方式，若有更好的方法欢迎联系我。

安装

其实无论是在哪个终端安装都可以，无非是权限的问题，在wsl或者git bash中是最好的，但是我习惯在Window的terminal安装了，直接安装即可，问题不大。

大佬博客 —— Orz

Thu, 11 Dec 2025 07:02:09 +0800

旨在排列出看过或者没看过收集的高质量博客

苏神

地址：科学空间

高代

从一个单位向量变换到另一个单位向量的正交矩阵

“对角+低秩”三角阵的高效求逆方法

矩阵的有效秩（Effective Rank）

Monarch矩阵：计算高效的稀疏型矩阵分解

随机矩阵的谱范数的快速估计

概率与统计

从重参数的角度看离散概率分布的构建

通向概率分布之路：盘点Softmax及其替代品

概率视角下的线性模型：逻辑回归有解析解吗？

两个多元正态分布的KL散度、巴氏距离和W距离

如何度量数据的稀疏程度？

从局部到全局：语义相似度的测地线距离

让人惊叹的Johnson-Lindenstrauss引理：理论篇

让人惊叹的Johnson-Lindenstrauss引理：应用篇

从JL引理看熵不变性Attention

从熵不变性看Attention的Scale操作

熵不变性Softmax的一个快速推导

从梯度最大化看Attention的Scale操作

随机分词浅探：从Viterbi Decoding到Viterbi Sampling

随机分词再探：从Viterbi Sampling到完美采样算法

context engine note

Tue, 02 Dec 2025 09:28:32 +0800

Context Manager

多模态数据的处理

现在大模型系统的对话窗口和处理数据会产生大量的上下文，后续的qa往往会用到其中一部分上下文，所以建立有效的context engine是十分必要的。

NLP

用时问戳标记上下文 一种常见的设计是在每条信息上附加时间戳，以保留其生成的顺序。这种方法由于简单且维护成本低，在聊天机器人和用户活动监控中广受欢迎。然而，该方法存在若干局限性。尽管时间戳能够保持时间顺序，但它们不提供语义结构，使得捕捉长程依赖关系或高效检索相关信息变得困难。随着交互数据的累积，序列呈线性增长，导致在存储和推理方面均面临可扩展性问题

LLM 系统架构 note

Mon, 01 Dec 2025 16:11:21 +0800

LLM目前最大的困难来自于预训练使用的语料是足够多的且推理能力是足够强的，但是如何在问答中交互使其自回归输出得到一个很好的结果是很困难的，这就是agent出现的原因

核心矛盾点

训练的时候往往在一个静态的环境，但是推理环境往往是动态的，动态和静态会让系统产生意料之外的输出
在CoT中，一旦传入一个错误事实，就会层层放大
Scaling Law，但模型上下文还是不够长
模型参数是固定的，无法进步
大模型的开销太贵了

推理的结构

从静态链演变到动态链：

AdaPlanner：允许大模型在计划外执行的时候进行停止，然后重新规划
ADaPT：connect让executor LLM直接执行任务，若不能执行就调用planner LLM进行任务分解再进行executor LLM

deep research design —— note

Mon, 01 Dec 2025 16:09:53 +0800

参考link：

A Systematic Survey of Deep Research —— github

Awesome Deep Research Projects

强化学习：从模态对齐到策略优化 —— 2、从GSPO、FSPO、GEPO

Mon, 24 Nov 2025 09:54:25 +0800

上下文归纳

正如上文所说，qwen团队发现了其存在的缺陷是优势函数\hat{A}_istoken-level，但是奖励函数是序列级别的，这会导致训练大型、复杂的模型（如混合专家模型MoE）和处理长序列任务时尤为突出，常常导致训练过程不稳定甚至模型崩溃。接下来几篇文章分别从不同的角度去对整体流程进行优化，首先我们先确立一下流程：

强化学习：从模态对齐到策略优化 —— 1、从PPO 到 GPRO

Thu, 20 Nov 2025 15:35:45 +0800

对齐到RL

一个未经对齐的 LLM 可能会产生无益、有害甚至有毒的内容，或者无法理解和遵循复杂、微妙的人类指令。

这一根本性问题被称为对齐（Alignment），即确保 AI 系统的目标和行为与人类的价值观和意图保持一致。

SFT（静态）

解决对齐问题的初步尝试是监督微调（Supervised Fine-Tuning, SFT）。SFT 使用高质量的人工标注数据集，其中包含期望的输入-输出对（例如，问题和理想答案），通过模仿学习的方式来调整模型行为。

Antigravity卡在谷歌登录环节解决方案

Thu, 20 Nov 2025 01:33:08 +0800

首先要保证自己的IP是足够纯净的IP，开了v2ray/clash 之后，点开此网站，就能看到IP是否是原生IP且评分如何。

由于gemini和claude对IP的要求高，建议使用原生IP和高评分的节点，且长期只使用这个节点，不然可能会触发斩杀，赔钱有原生IP，但是知道的人太多了，用的人也太多了，上面这个IP是赔钱的。奈云不知道为啥没有，但是我日常用着很舒服，网速很快。

卡在谷歌登录究其原因应该是Antigravity的验证信息不会通过v2ray/clash传入传出，所以只需要把tun模式开了，然后重新打开软件，再登录即可。

需要注意的是个别软件开tun可能要管理员权限，自动重启之后tun其实是没开的，需要再点一次。

然后就能愉快的使用了。如果没有gemini pro，可以去taobao自行购买学生账号，一年估计50-80不等，挺便宜的。

生理信号大模型

Wed, 19 Nov 2025 07:48:13 +0800

2023年至2025年的研究格局显示，通过将异构生理信号（EEG、fMRI、EMG、EOG、Gaze）与文本、视觉等高层语义模态进行深度融合，领域正在向大脑模型（Large Brain Models, LBMs）和多模态大模型（Large Multimodal Models, LMMs）迁移。

这种范式转移的核心挑战在于对齐问题（Alignment Problem）：如何在数学和语义层面统一具有不同时空分辨率、不同拓扑结构以及不同噪声特性的多模态信号。例如，EEG具有毫秒级的时间分辨率但空间分辨率极低，而功能性磁共振成像（fMRI）则相反；视觉和文本数据则处于高度抽象的语义空间。要实现真正的多模态智能，必须解决子空间学习中的流形差异、连续信号的离散化（Tokenization）以及在大模型架构下的深度融合机制。

算法 —— 基础篇：树图、高精度、二分

Sat, 08 Nov 2025 17:12:49 +0800

递归递推

时间复杂度：看for的n，取最大

空间复杂度：看实际运行的时候用到了多少内存。

在递归算法中，每次递推都需要一个栈空间来保存调用记彔，因此在计算空间复杂度时需要计算递归栈的辅助空间。

对于递推和递归来说，其实是完全不同的两个思路

递归是“一个实体调用自身” 。这具体表现为一个函数直接或间接调用自身，以解决一个给定问题的更小实例。递归的本质在于“自我参照”。
递推在此上下文中被理解为迭代计算过程。迭代的定义是“重复执行一组指令” ，通常通过循环结构（如 for, while 或 do-while）来实现。递推的本质在于“重复” 。

迈向具有深度推理的代理RAG：LLM RAG推理系统综述

Thu, 06 Nov 2025 08:22:20 +0800

rag 的三个过程：

检索阶段：从外部知识库中提取任务相关的内容
整合阶段：对检索内容进行去重、冲突解决和重新排序
生成阶段：基于精选上下文进行推理以得出最终答案。

Paper note

Towards Agentic RAG with Deep Reasoning: A Survey of RAG-Reasoning Systems in LLMs

综述围绕两个过程来讲（RAG ⇔ Reasoning）：

Reasoning-Enhanced RAG：映射高级推理如何优化RAG的每个阶段
RAG-Enhanced Reasoning：展示不同类型检索知识如何为复杂推理提供缺失前提并扩展上下文

langchain note

Fri, 31 Oct 2025 10:00:19 +0800

agent范式

为了更好地组织智能体的“思考”与“行动”过程，业界涌现出了多种经典的架构范式。在本章中，我们将聚焦于其中最具代表性的三种，并一步步从零实现它们：

ReAct (Reasoning and Acting): 一种将“思考”和“行动”紧密结合的范式，让智能体边想边做，动态调整。
Plan-and-Solve: 一种“三思而后行”的范式，智能体首先生成一个完整的行动计划，然后严格执行。

未归档偶然发现的好东西

Tue, 28 Oct 2025 01:42:56 +0800

翻译

pot翻译 + 百度翻译api

幻觉翻译

dataset

阿里开放式多模态AI安全评测基准 OpenMMSec：百万开源多模态数据集

Triton is all you need —— Matrix Multiplication & Matrix Transpose & Matrix Copy

Fri, 24 Oct 2025 09:53:04 +0800

在矩阵的运算中，由于现在LLM Scaling Law，现在模型的矩阵相当的巨大。而计算单元的访存和算力有限，故此通常采用分治的思想进行并行计算，即采用分块的方式进行分块运算，这称之为tile，这里涉及到大量的程序编写的架构和编译器优化，后续我们会展开来这个说。

deepseek OCR —— 源码解析

Tue, 21 Oct 2025 16:07:59 +0800

先说说我的看法，现在各种评价满天飞，我看了看README，其实很好说理解，首先肯定是OCR。

在README中提到两个文件，一个是对image进行OCR，一个是对PDF进行OCR。其最主要的功能就是将其文字和图片进行提取，然后改变为可执行对象。

其次就是对image进行理解，将其转为文字的描述，详细的可以看下图：

我说一下我的思考，受限于我的认知，仅供参考，如果你有更好的想法，欢迎联系我，很乐意跟您进一步讨论。首先是OCR，这个功能的思考肯定源自于多模态大模型的实际业务，对PDF和image的tokenlization是多模态的基础，特别是tob中台的各种文档的token化，这是对agent inference体系中的context engine的PDF给出了一个解法，只要是实际思考过中台文档类的业务，这个是必然要做的工作。

CUDA profile 大全 —— nsight computer & nsys & pytorch

Mon, 20 Oct 2025 15:18:01 +0800

Cuda API

创建对象：

#include <cuda_runtime.h>
#include <cuda.h>
#include <iostream>
#include <string>
// 获取当前机器的GPU数量
cudaError_t error_id = cudaGetDeviceCount(&deviceCount);
for (int dev = 0; dev < deviceCount; ++dev) {
cudaSetDevice(dev);
// 初始化当前device的属性获取对象
cudaDeviceProp deviceProp;
cudaGetDeviceProperties(&deviceProp, dev);
printf("\nDevice %d: \"%s\"\n", dev, deviceProp.name);</code></pre><p style=""></p><p style="">拿到数据后可以查看对应feature</p><pre><code>printf(" Total amount of shared memory per block: %zu bytes\n", deviceProp.sharedMemPerBlock);

printf(" Total shared memory per multiprocessor: %zu bytes\n", deviceProp.sharedMemPerMultiprocessor);
printf(" Total number of registers available per block: %d\n", deviceProp.regsPerBlock);
printf(" Warp size: %d\n", deviceProp.warpSize);
printf(" Maximum number of threads per multiprocessor: %d\n", deviceProp.maxThreadsPerMultiProcessor);
printf(" Maximum number of threads per block: %d\n", deviceProp.maxThreadsPerBlock);
printf(" Max dimension size of a block size (x,y,z): (%d, %d, %d)\n", deviceProp.maxThreadsDim[0], deviceProp.maxThreadsDim[1],
deviceProp.maxThreadsDim[2]);
printf(" Max dimension size of a grid size (x,y,z): (%d, %d, %d)\n", deviceProp.maxGridSize[0], deviceProp.maxGridSize[1],
deviceProp.maxGridSize[2]);

Triton is all you need —— Vector Addition & Reverse Array

Fri, 17 Oct 2025 08:12:03 +0800

Vector addition

原题：编写一个在 GPU 上执行 32 位浮点数向量逐元素相加的程序。该程序应接受两个等长输入向量，并产生一个包含它们和的输出向量。

exp1：

Input: A = [1.0, 2.0, 3.0, 4.0]
B = [5.0, 6.0, 7.0, 8.0]
Output: C = [6.0, 8.0, 10.0, 12.0]

LLM —— attention、MHA、MQA、GQA、MLA

Mon, 13 Oct 2025 03:28:44 +0800

文章启蒙来自苏神的缓存与效果的极限拉扯：从MHA、MQA、GQA到MLA，拜谢Orz。

attention

首先attention的公式我们都知道如下：

\mathrm{Attention}(K,Q,V)=\mathrm{softmax}(\frac{QK^{\top}}{\sqrt{d_{k}}})V

我们尝试用数学来表述清楚这个问题，首先假设输入为一条token的x，输出为一条token的o，结合上面的公式得到QKV矩阵：

q=x W_q\in\mathbb{R}^{d_k},W_q\in\mathbb{R}^{d\times d_k}

k=x W_{k}\in\mathbb R^{d_k},W_{k}\in\mathbb R^{d\times d_k}

v=xW_{v}\in\mathbb{R}^{d_k},W_{v}\in\mathbb{R}^{d\times d_v}

算法 —— 基础篇：数组、双指针、滑动窗口、区间

Fri, 03 Oct 2025 08:49:53 +0800

双向子序列也是双指针

接雨水

接水最多的容器

双指针的搜索范围

三数之和

PD分离 —— Prefix Cache和Chunk Prefills

Mon, 29 Sep 2025 09:53:22 +0800

目前推理框架基本上都需要用到多轮对话的场景，自然产生了kv cache的存储和索引算法。如果能把prompt和后续产生的KV Cache保存下来，会极大地降低首Token的耗时。

目前使用最多的就是两个技术方案，一个是SGLang推出的RadixAttention的Prefix Cache，另一个是vllm原生的Chunk Prefills。当然vllm也兼容了Prefix Cache，这两个技术只能用一个，vllm默认是Chunk Prefills，可以通过加入参数--enable-prefix-caching来开启，这里不谈TensorRT-LLM是因为其不完全开源。

vllm v1 源码解析 —— 单机八卡推理

Fri, 26 Sep 2025 09:10:35 +0800

单机八卡，我们按照PP + TP的方式来进行方案说明，使用的是vllm框架，主要命令和函数如下：

python single_node_multi_gpu_demo.py --mode pipeline_parallel --tensor-parallel 4 --pipeline-parallel 2 --model facebook/opt-13b
def pipeline_parallel_inference(self, model_name: str, tensor_parallel_size: int, pipeline_parallel_size: int):
“““流水线并行推理 - 将模型层分布到多个GPU上”””
print(f"🚀 启动流水线并行推理 - 模型: {model_name}")
print(f" 张量并行: {tensor_parallel_size}, 流水线并行: {pipeline_parallel_size}")



vllm v1 源码解析 —— Core
Tue, 23 Sep 2025 03:56:10 +0800
一个client建立之后就会建立一个core engine，这些配置会通过QMZ IPC发送给core engine。
Core engine Architecture
Worker and Executor
MultiprocExecutor
在MultiprocExecutor类中，可以清晰的找到三部曲：
1、创建RPC消息队列
# Initialize worker and set up message queues for SchedulerOutputs
# and ModelRunnerOutputs
max_chunk_bytes = envs.VLLM_MQ_MAX_CHUNK_BYTES_MB * 1024 * 1024
self.rpc_broadcast_mq = MessageQueue(self.world_size,
self.world_size,
max_chunk_bytes=max_chunk_bytes)
scheduler_output_handle = self.rpc_broadcast_mq.export_handle()



NCCL —— 标杆
Mon, 22 Sep 2025 09:58:52 +0800
首先，需要说一些特性在前面：
NCCL是NVIDIA 集体通信库（NVIDIA Collective Communication Library），专注于 GPU 间交互，利用 NVLink、PCIe 和 InfiniBand (IB) 等互连技术实现高带宽和低延迟。
NCCL并不是完全开源



算子进阶 —— 通信算子
Mon, 22 Sep 2025 09:00:54 +0800
随着LLM业务的不断发展，我们发现单机单卡无法承载一个模型的训练和推理，故此出现了单机多卡和多机多卡的训练推理算子，这时候每个机和卡之间都需要通信，所以通信算子十分的重要。
分布式并行
下面是传统的四种并行处理架构，常用于大模型训练。
DP
每张卡拷贝相同的模型结构，仅对数据做切分。每张卡计算完的梯度也是针对各自数据的，需要做一次allreduce，然后使用优化器更新模型，进入下一次迭代。


算子进阶 —— 通算融合
Fri, 19 Sep 2025 08:16:51 +0800
（施工ing）
概述
我们知道，算子的作用是计算，那在整个体系中，我们的核心目标是拉满GPU的利用率。
在现代分布式体系中，多GPU之间同时存在着计算、内存访问和通信这三种基本活动，为了服务于我们的核心目标，我们需要尽可能的将通信时间和访存时间放在计算时间内，使得GPU不存在运算时间的泡泡。
大模型分布式系统执行的核心组件是并行的GPU。提升GPU运算的最佳方法，是通过计算与通信的重叠来实现。这种重叠可以通过两种方式达成：算子分解或通信内核融合。虽然算子分解实现起来简单，但往往导致性能欠佳。而将通信内核与计算内核融合，则需要更多的思考和计算。
故此最原始的想法就是用计算时间掩盖通信时间，通过大批量的数据直接发送到GPU，减少kernel开启和关闭、通信的开销。
Triton-distributed
Triton-distributed是字节seed团队开发的Triton 编译器的扩展。对于 LLM 来说，分布式优化的关键要求是计算通信重叠。以前，在小规模分布式训练/推理中，通信开销并不是一个关键的成本问题。然而，随着集群数量呈指数级增长，计算与通信重叠变得至关重要。


AMD 2025 分布式推理算子优化挑战赛 —— lect 9/16 note
Fri, 19 Sep 2025 02:57:25 +0800
ROCm 入门
首先就是amd官方的命名跟nv的区别，其实区别并不大，只是AMD在cuda的基础上做了更多的优化，比如说一个wavefront有64个work-item，相当于一个warp有64个threads。其次就是有两种register，在


Triton is all you need —— Triton 源码、编译和调试
Thu, 18 Sep 2025 07:35:21 +0800
（施工ing）
include日录主要存放了编译器核心功能的.h头文件，提供约定和规范
lib是.c和.cpp，主要是功能的实现，和include一一对应


AI编译器 —— 笔记
Thu, 11 Sep 2025 09:00:18 +0800
challenge
新模型
新module出现，需要对应算子进行计算，还需要结合硬件进行特性优化和测试，尽量充分发挥硬件性能
硬件厂商还会发布新技术的加速计算库
专用加速芯片爆发导致性能可移植性成为一种刚需
不同厂商的ISA不尽相同
一般缺乏如GCC、LLVM等编译工具链，使得针对CPU和GPU已有的优化算子库和针对语言的优化Pass很难短期移植到NPU上
架构
和传统编译器对比
在编译优化层通过统一IR执行不同的Pass进行优化，从而提高执行性能
软件结构栈：分成前端、优化、后端三段式，IR解耦前端和后端使得模块化表示
AI编译器对Graph IR进行优化后，将优化后的IR转换成传统编译器IR，最后依赖传统编译器进行机器码生成
左边是旧编译器架构，右边是ai编译器架构


AMD 2025 分布式推理算子优化挑战赛——笔记
Tue, 09 Sep 2025 05:48:15 +0800
比赛提供的link：
魔搭社区比赛首页 AMD比赛首页
amd-all2all kernel Leaderboard
reference-kernels
discord link
Popcorn CLI
lect：
ytb Bonus Lecture: AMD Developer Challenge
Mixture of Experts AMD Problem
9/16 lect note



triton is all you need 之 GEMM
Sun, 07 Sep 2025 08:10:38 +0800
代码参考了傅哥，请b站关注我是傅傅猪喵，谢谢喵！
Triton DSL是以BLOCK tile为中心的Python DSL。与CUDA相比，Triton的使用者无法控制所有细节，因为某些优化是自动完成的，但是在Triton编译器的逐层编译优化之下也可以获得与Cuda相近甚至超过的性能。另外，Triton的编写和调试更加简单，而且学习成本更低。


八股系列：inference infra
Wed, 03 Sep 2025 15:16:40 +0800
收集我和我小伙伴互相问的八股问题，里面有gemini deep search的回答，望周知。
LLM model
rmsnorm和layernorm相比有什么优点
参考为什么最新的大模型普遍用RMSNorm？
swiglu和relu相比有什么修改
GELU: 高斯误差线性单元
ReLU: 修正线性单元
Swish (β=1.0): 标准Swish函数


【CUDA从入门到入土】四、矩阵乘法
Wed, 03 Sep 2025 14:50:37 +0800
矩阵乘法跟之前不同，之前一维可以直接写一个kernel，或者多个kernel线性的排布来并行计算，那么矩阵乘法就是由一维向二维转变的关键。这时候一维的kernel排布也变成了二维排布。


【LLM 必读综述】Speed Always Wins：LLM高效架构调查
Wed, 27 Aug 2025 08:06:02 +0800
题目：Speed Always Wins: A Survey on Efficient Architectures for Large Language Models
作者：孙伟高 上海人工智能实验室
github：https://github.com/weigao266/Awesome-Efficient-Arch
文章的主要目的
通过分析449篇大模型的论文，汇总得到了以下能让大模型速度提升的方向：


如何最快速的找到最核心的几篇文章
Sun, 24 Aug 2025 16:12:48 +0800
做这期blog的动机很简单，分享一下自己如何快速的上手某个领域的论文。最核心的三个步骤我觉得分别是：
确定自己研究领域的key words，这里是要从上到下的，如LLM -> 微调 和 CoT
确定自己需要研究的题目，如 如何确定CoT的某个环节有益于微调中得到高的得分
根据“and”的检索思想，从小到大的进行检索
先检索key words，确定论文的范围
在页面内只看研究的问题是否符合自己的要求
快速确定自己需要的论文
想要快速了解某个领域的论文，一个是问，问从业者，这是最快的，有人脉，直接问最核心的开发者，受益无穷，少走很多弯路。


【CUDA从入门到入土】三、reduce算子及其优化
Sat, 23 Aug 2025 08:46:59 +0800
该项目代码参考傅哥的课程，很有用的课程，请多多支持他。
reduce 规约求和是cuda中一个经典的问题，其本质是将输入的序列进行求和。
在CUDA的多线程中，我们清楚数据被分为一个一个的block中进行运行，每个block通过warp来并发32个线程进行运算。


cursor trae解决插件问题
Wed, 20 Aug 2025 12:27:24 +0800
使用代理网站
使用vsixhub进行vsix下载，记得在marketplace里对比两者的版本，下载之后直接拖拽文件到cursor的插件栏里就行。
从vscode下载
从vscode下载之后点击小齿轮进行下载
使用链接补充下载
在下面的链接的基础上补上一部分
https://marketplace.visualstudio.com/_apis/public/gallery/publishers/
在后续补上{发布者}/vsextensions/{插件名}/{版本号}/vspackage
比如说上面的Nsight，组合起来就是：
https://marketplace.visualstudio.com/_apis/public/gallery/publishers/NVIDIA/vsextensions/nsight-vscode-edition/2025.1.36067579/vspackage
注意，插件名有空格的地方要加短横线- 。这样能直接通过网页下载插件，不需要vscode代为下载。



【CUDA从入门到入土】二、CUDA调试和必知必会 & Nsight Computer 入门
Sun, 17 Aug 2025 17:09:02 +0800
上文中，我们运行了一个简单的cuda函数，并且一次过的将其运行了起来，这次，我们需要补充一些基础的概念，通过概念和框架的建立，我们才能走的更远，高屋建瓴的认识更多。


【CUDA从入门到入土】五、cuda_kernel_和_cuda_attention详解
Sun, 17 Aug 2025 15:14:21 +0800
从cuda kernel出发，看懂人生第一个cuda attention


【CUDA从入门到入土】一、丝滑的CUDA入门
Thu, 14 Aug 2025 16:27:54 +0800
CUDA是什么
cuda是一种gpu编程组件，是一种原生支持GPU软硬件的架构，使得开发者可以直接在 GPU 上编写和执行通用计算程序。
GPU架构
上图是H100白皮书中，H100 GPU带满了144个SM的架构图
上图是H100中，1个SM的架构图
SM架构详解
由此，我们可以高屋建瓴的看懂GPU，这里不雕琢细节，只直白的说明白GPU怎么工作的：
PCIE 就是负责数据从显卡和主板之间进出的数据传输协议，理解为传递数据的就对了


WSL2搭建cuda-triton开发环境
Thu, 14 Aug 2025 16:21:13 +0800
先用了vmware + ubuntu的方法，结果发现现在gpu无法透传到vmware的虚拟机里
故此使用wsl2的开发环境，后续会更新许多更舒服丝滑的操作
WSL2
查看所有发行版本
wsl --list --online
安装指定版本
wsl --install Ubuntu-22.04
安装成功之后设置一下账户密码就行
安装miniconda
用脚本安装
wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh
chmod +x Miniconda3-latest-Linux-x86_64.sh
./Miniconda3-latest-Linux-x86_64.sh
source ~/.bashrc
conda list
用脚本安装就一直yes就行
安装CUDA Toolkit 和 cudnn
使用 nvidia-smi查看cuda版本，在下面链接选择相应的版本


【MLsys 24】keyformer阅读笔记
Thu, 14 Aug 2025 15:54:06 +0800
文章名：Keyformer: KV Cache reduction through key tokens selection for Efficient Generative Inference
论文的关键：
在vllm中，Decode的时候由于矩阵乘法和KV cache的存取，该阶段受限于memory bound
研究发现，在推理过程中，90%的attention权重关注于特定的token
这篇文章的工作就是通过一个新颖的评分函数来找到这些特定的token
在KV cache中就只保存这些特定的token
对于多embedding和多任务上，keyfromer能降低延迟，提高吞吐量，不丢失准确率

背景
生成的新token会带来额外的KV cache，如MPT-7B 模型中，序列长度增加 16 倍（从 512 到 8K）会导致推理延迟增加 50 倍以上。推理总时间的约 40%（绿色突出显示）被 KV 缓存数据移动所消耗，还会延长其他操作所需的时间（蓝色显示）。当序列长度超过 8K 时，KV 缓存大小超过了模型大小。


MLsys24 分类汇总
Thu, 14 Aug 2025 15:51:24 +0800
LLM 推理与服务优化 (LLM Inference and Serving Optimization)
KV 缓存管理和优化 (KV Cache Management and Optimization)
这些论文聚焦于 KV 缓存的减少、量化或重用，以提升生成推理效率和降低内存消耗。
Keyformer: KV Cache reduction through key tokens selection for Efficient Generative Inference
 (Keyformer：通过高效生成推理的关键令牌选择来减少 KV 缓存) - Muhammad Adnan 等


Hello Halo
Thu, 14 Aug 2025 15:15:16 +0800
Hello Halo
如果你看到了这一篇文章，那么证明你已经安装成功了，感谢使用 Halo 进行创作，希望能够使用愉快。
相关链接
官网：https://www.halo.run
文档：https://docs.halo.run
社区：https://bbs.halo.run
应用市场：https://www.halo.run/store/apps


aliyun ubuntu halo AirCloud最速传说
Fri, 14 Feb 2025 15:32:00 +0800
购买域名
搜索点击阿里云域名注册服务
在此处搜索域名
英文中文都可以，然后选择购买，实名认证之后下单即可
下单后需要提交实名认证的模板，在域名列表->解析，会被要求去实名，上传身份证，大概要几个小时，认证后即可
需要对解析和管理分别进行配置
解析中配置好域名对着IP
管理中自定义DNS，然后在www中添加DNS对着IP
博客服务的区别
Hexo没有后端
Hego社区不太活跃
Typecho轻量级但是已经很老的框架了
Halo是java写的，很方便
Halo找了一圈，好像对latex不太支持
Hexo的stellar没找到加备案的地方，找了一圈，还是next把，简简单单的也挺好
更新，next渲染依托答辩，受不鸟了，toc渲染都不正确，fu'le
Halo安装
1panle 安装
先执行如下脚本安装docker：
bash <(curl -sSL https://linuxmirrors.cn/docker.sh)
然后执行脚本安装1panel：
bash -c "$(curl -sSL https://resource.fit2cloud.com/1panel/package/v2/quick_start.sh)"r
然后输入 IP+你设置的端口 就可以进入1panel的控制台了

Blogs on moyutianzun 的博客

垂类系统的agent如何设计

核心矛盾1：垂直深度 vs 水平覆盖