https://moyutianzun.com/tags/%E5%85%AB%E8%82%A1/Recent content in 八股 on moyutianzun 的博客Hugozh-cnmoyutianzunWed, 03 Sep 2025 15:16:40 +0800https://moyutianzun.com/blog/llm-infra-ba-gu-quan-ji/Wed, 03 Sep 2025 15:16:40 +0800https://moyutianzun.com/blog/llm-infra-ba-gu-quan-ji/<p style="text-indent: 2em">收集我和我小伙伴互相问的八股问题，里面有<code>gemini deep search</code>的回答，望周知。</p><p style=""></p><h1 style="" id="llm-model">LLM model</h1><p style=""></p><p style=""></p><p style=""></p><h2 style="" id="rmsnorm%E5%92%8Clayernorm%E7%9B%B8%E6%AF%94%E6%9C%89%E4%BB%80%E4%B9%88%E4%BC%98%E7%82%B9">rmsnorm和layernorm相比有什么优点</h2><p style="">参考<a href="https://zhuanlan.zhihu.com/p/1906310832922531627" target="_self" rel="">为什么最新的大模型普遍用RMSNorm？</a></p><p style=""></p><h2 style="" id="swiglu%E5%92%8Crelu%E7%9B%B8%E6%AF%94%E6%9C%89%E4%BB%80%E4%B9%88%E4%BF%AE%E6%94%B9">swiglu和relu相比有什么修改</h2><ul><li><p style=""><strong>GELU</strong>: 高斯误差线性单元</p></li><li><p style=""><strong>ReLU</strong>: 修正线性单元</p></li><li><p style=""><strong>Swish (β=1.0)</strong>: 标准Swish函数</p>