八股系列：inference infra
收集我和我小伙伴互相问的八股问题，里面有gemini deep search的回答，望周知。 LLM model rmsnorm和layernorm相比有什么优点参考为什么最新的大模型普遍用RMSNorm？ swiglu和relu相比有什么修改GELU: 高斯误差线性单元 ReLU: 修正线性单元 Swish (β=1.0): 标准Swish函数 ...
收集我和我小伙伴互相问的八股问题，里面有gemini deep search的回答，望周知。 LLM model rmsnorm和layernorm相比有什么优点参考为什么最新的大模型普遍用RMSNorm？ swiglu和relu相比有什么修改GELU: 高斯误差线性单元 ReLU: 修正线性单元 Swish (β=1.0): 标准Swish函数 ...