算子 on moyutianzun 的博客

算子 on moyutianzun 的博客https://moyutianzun.com/tags/%E7%AE%97%E5%AD%90/Recent content in 算子 on moyutianzun 的博客Hugozh-cnmoyutianzunMon, 20 Oct 2025 15:18:01 +0800CUDA profile 大全 —— nsight computer & nsys & pytorchhttps://moyutianzun.com/blog/cuda-profile/Mon, 20 Oct 2025 15:18:01 +0800https://moyutianzun.com/blog/cuda-profile/<h1 style="" id="cuda-api">Cuda API</h1><p style="">创建对象：</p><pre><code>#include <cuda_runtime.h> #include <cuda.h> #include <iostream> #include <string> <p>// 获取当前机器的GPU数量 cudaError_t error_id = cudaGetDeviceCount(&deviceCount);</p> <p>for (int dev = 0; dev < deviceCount; ++dev) { cudaSetDevice(dev); // 初始化当前device的属性获取对象 cudaDeviceProp deviceProp; cudaGetDeviceProperties(&deviceProp, dev);</p> <pre><code>printf("\nDevice %d: \"%s\"\n", dev, deviceProp.name);</code></pre><p style=""></p><p style="">拿到数据后可以查看对应feature</p><pre><code>printf(" Total amount of shared memory per block: %zu bytes\n", deviceProp.sharedMemPerBlock); </code></pre> <p>printf(" Total shared memory per multiprocessor: %zu bytes\n", deviceProp.sharedMemPerMultiprocessor); printf(" Total number of registers available per block: %d\n", deviceProp.regsPerBlock); printf(" Warp size: %d\n", deviceProp.warpSize); printf(" Maximum number of threads per multiprocessor: %d\n", deviceProp.maxThreadsPerMultiProcessor); printf(" Maximum number of threads per block: %d\n", deviceProp.maxThreadsPerBlock); printf(" Max dimension size of a block size (x,y,z): (%d, %d, %d)\n", deviceProp.maxThreadsDim[0], deviceProp.maxThreadsDim[1], deviceProp.maxThreadsDim[2]); printf(" Max dimension size of a grid size (x,y,z): (%d, %d, %d)\n", deviceProp.maxGridSize[0], deviceProp.maxGridSize[1], deviceProp.maxGridSize[2]);</code></pre><p style=""></p>算子进阶 —— 通信算子https://moyutianzun.com/blog/suan-zi-jin-jie------tong-xin-suan-zi/Mon, 22 Sep 2025 09:00:54 +0800https://moyutianzun.com/blog/suan-zi-jin-jie------tong-xin-suan-zi/<p style="">随着LLM业务的不断发展，我们发现单机单卡无法承载一个模型的训练和推理，故此出现了单机多卡和多机多卡的训练推理算子，这时候每个机和卡之间都需要通信，所以通信算子十分的重要。</p><p style=""></p><p style=""></p><h1 style="" id="%E5%88%86%E5%B8%83%E5%BC%8F%E5%B9%B6%E8%A1%8C">分布式并行</h1><p style="text-indent: 2em">下面是传统的四种并行处理架构，常用于大模型训练。</p><p style="text-align: center"><img src="https://moyublog-picture.oss-cn-guangzhou.aliyuncs.com/images/20250921122900313.png" width="991px" height="415px" style="display: inline-block"></p><p style=""></p><h2 style="" id="dp">DP</h2><p style="text-align: center"><img src="https://moyublog-picture.oss-cn-guangzhou.aliyuncs.com/images/20250921142712073.png" width="70%" height="100%" style="display: inline-block"></p><p style="text-indent: 2em">每张卡拷贝相同的模型结构，仅对数据做切分。每张卡计算完的梯度也是针对各自数据的，需要做一次allreduce，然后使用优化器更新模型，进入下一次迭代。</p>算子进阶 —— 通算融合https://moyutianzun.com/blog/suan-zi-jin-jie------tong-suan-rong-he/Fri, 19 Sep 2025 08:16:51 +0800https://moyutianzun.com/blog/suan-zi-jin-jie------tong-suan-rong-he/<p style="">（施工ing）</p><p style=""></p><h1 style="" id="%E6%A6%82%E8%BF%B0">概述</h1><p style="">我们知道，算子的作用是计算，那在整个体系中，我们的核心目标是拉满GPU的利用率。</p><p style=""></p><p style="">在现代分布式体系中，多GPU之间同时存在着计算、内存访问和通信这三种基本活动，为了服务于我们的核心目标，我们需要尽可能的将通信时间和访存时间放在计算时间内，使得GPU不存在运算时间的泡泡。</p><p style=""></p><p style="">大模型分布式系统执行的核心组件是并行的GPU。提升GPU运算的最佳方法，是通过计算与通信的重叠来实现。这种重叠可以通过两种方式达成：算子分解或通信内核融合。虽然算子分解实现起来简单，但往往导致性能欠佳。而将通信内核与计算内核融合，则需要更多的思考和计算。</p><p style=""></p><p style="">故此最原始的想法就是用计算时间掩盖通信时间，通过大批量的数据直接发送到GPU，减少kernel开启和关闭、通信的开销。</p><p style="text-align: center"><img src="https://moyublog-picture.oss-cn-guangzhou.aliyuncs.com/images/20250917234340532.png" width="100%" height="100%" style="display: inline-block"></p><p style=""></p><p style=""></p><p style=""></p><p style=""></p><h1 style="" id="triton-distributed">Triton-distributed</h1><p style="text-indent: 2em">Triton-distributed是字节seed团队开发的Triton 编译器的扩展。对于 LLM 来说，分布式优化的关键要求是计算通信重叠。以前，在小规模分布式训练/推理中，通信开销并不是一个关键的成本问题。然而，随着集群数量呈指数级增长，计算与通信重叠变得至关重要。</p>AMD 2025 分布式推理算子优化挑战赛 —— lect 9/16 notehttps://moyutianzun.com/blog/amd-2025-fen-bu-shi-tui-li-suan-zi-you-hua-tiao-zhan-sai------lect-9-16-note/Fri, 19 Sep 2025 02:57:25 +0800https://moyutianzun.com/blog/amd-2025-fen-bu-shi-tui-li-suan-zi-you-hua-tiao-zhan-sai------lect-9-16-note/<p style=""></p><h1 style="" id="rocm-%E5%85%A5%E9%97%A8">ROCm 入门</h1><p style=""><img src="https://moyublog-picture.oss-cn-guangzhou.aliyuncs.com/images/20250916190914403.png" width="100%" height="100%" style="display: inline-block"></p><p style="text-indent: 2em">首先就是amd官方的命名跟nv的区别，其实区别并不大，只是AMD在cuda的基础上做了更多的优化，比如说一个wavefront有64个work-item，相当于一个warp有64个threads。其次就是有两种register，在</p>Triton is all you need —— Triton 源码、编译和调试https://moyutianzun.com/blog/triton-is-all-you-need------triton-yuan-ma-bian-yi-he-diao-shi/Thu, 18 Sep 2025 07:35:21 +0800https://moyutianzun.com/blog/triton-is-all-you-need------triton-yuan-ma-bian-yi-he-diao-shi/<p style="text-align: left">（施工ing）</p><p style="text-align: left"></p><p style="text-align: center"><a href="https://moyublog-picture.oss-cn-guangzhou.aliyuncs.com/images/20250918010843097.png"><img src="https://moyublog-picture.oss-cn-guangzhou.aliyuncs.com/images/20250918010843097.png" width="100%" height="100%" style="display: inline-block"></a></p><p style="text-align: left"></p><p style="text-align: left"><img src="https://moyutianzun.com/upload/image.png" width="100%" height="100%" style="display: inline-block"></p><p style="text-align: left">include日录主要存放了编译器核心功能的.h头文件，提供约定和规范</p><p style="text-align: left">lib是.c和.cpp，主要是功能的实现，和include一一对应</p>AMD 2025 分布式推理算子优化挑战赛——笔记https://moyutianzun.com/blog/amd-2025-fen-bu-shi-tui-li-suan-zi-you-hua-tiao-zhan-sai----bi-ji/Tue, 09 Sep 2025 05:48:15 +0800https://moyutianzun.com/blog/amd-2025-fen-bu-shi-tui-li-suan-zi-you-hua-tiao-zhan-sai----bi-ji/<p style="">比赛提供的link：</p><p style=""><a href="https://modelscope.cn/competition/117/%E6%AF%94%E8%B5%9B%E7%AE%80%E4%BB%8B" target="_self" rel="">魔搭社区比赛首页</a> <a href="https://www.datamonsters.com/amd-developer-challenge-2025" target="_self" rel="">AMD比赛首页</a></p><p style=""><a href="https://www.gpumode.com/v2/leaderboard/563?tab=rankings" target="_self" rel="">amd-all2all kernel Leaderboard</a></p><p style=""><a href="https://github.com/gpu-mode/reference-kernels/tree/main/problems/amd_distributed" target="_self" rel="">reference-kernels</a></p><p style=""><a href="https://discord.com/channels/" target="_self" rel="">discord link</a></p><p style=""></p><p style=""><a href="https://github.com/gpu-mode/popcorn-cli?tab=readme-ov-file" target="_self" rel="">Popcorn CLI</a></p><p style=""></p><p style="">lect：</p><p style=""><a href="https://www.youtube.com/watch?v=dNWv3qYU60E" target="_self" rel="">ytb Bonus Lecture: AMD Developer Challenge</a></p><p style=""><a href="https://stormy-sailor-96a.notion.site/Mixture-of-Experts-AMD-Problem-1d7221cc2ffa80f9b171c332aed16093" target="_self" rel="">Mixture of Experts AMD Problem</a></p><p style=""><a href="https://moyutianzun.cn/archives/amd-2025-fen-bu-shi-tui-li-suan-zi-you-hua-tiao-zhan-sai------lect-9-16-note" target="_self" rel="">9/16 lect note</a></p><p style=""></p><p style=""></p><p style=""></p><p style=""></p><p style=""></p><p style=""></p><p style=""></p><p style=""></p><p style=""></p><p style=""></p><p style=""></p><p style=""></p><p style=""></p><p style=""></p>