在这个 AI 爆发的时代，GPU 编程已经成为高性能计算和深度学习系统的基石。然而，许多开发者对 CUDA 的理解仅停留在调用 PyTorch 或 Triton 的层面。
本专题 (LeetGPU) 旨在通过一系列由浅入深的编程挑战，带你亲手实现从基础向量加法到 GPT-2 Transformer Block 的核心算子。每一个挑战都不仅是代码实现，更是对并行计算思维、内存层次结构和硬件特性的深度探索。
特别值得强调的是，从 CPU 到 GPU 的编程思维转变，核心在于从“以指令为中心”转向“以数据为中心”，以及在具体算子实现中灵活运用“以输入为中心（Input-centric / Scatter）”与“以输出为中心（Output-centric / Gather）”的计算模式。理解这些模式的适用场景（如写冲突处理、访存合并等），是写出高性能 Kernel 的关键。
在大模型（LLM）风起云涌的今天，我们往往只关注参数量（7B, 65B, 175B）和模型效果。但作为工程师和研究者，我们更应该深入了解 Transformer 这个“地基”下的每一块砖瓦。
本专题旨在深入剖析 Transformer 架构中那些容易被忽视，但却至关重要的细节。从数值稳定性到几何直觉，从内存优化到理论缺陷，带你重新认识这个改变了 AI 历史的模型。
在并发编程的世界里，内存一致性（Memory Consistency）是一个核心且复杂的概念。无论是编写高性能的无锁数据结构，还是调试多线程程序中的诡异 Bug，理解原子操作、内存屏障（Memory Fence）以及底层硬件的内存模型都是必不可少的。
本文将深入探讨内存一致性的相关概念，解答 seqcst、acq、rel 等标准是否是唯一的真理，并详细介绍 x86、ARM、RISC-V 和 LoongArch 等主流指令集架构在内存一致性方面的实现。
Implement a program that performs a 1D convolution operation. Given an input array and a kernel (filter), compute the convolved output. The convolution should be performed with a "valid" boundary condition, meaning the kernel is only applied where it fully overlaps with the input.
Write a program that performs a 2D convolution operation on the GPU with "valid" 边界条件：kernel 仅在与输入完全重叠的区域应用。输入与 kernel 以行优先一维数组表示，输出同样为行优先存储。输出尺寸：
output_rows = input_rows - kernel_rows + 1
output_cols = input_cols - kernel_cols + 1
对输入二维网格执行一次 5 点 Jacobi 模板：内部格点输出为四邻域（上/下/左/右）均值，边界直接拷贝输入。
input、只写 output（不原地更新）实现 2D 最大池化（max pooling）下采样：给定输入张量与 kernel_size/stride/padding，按窗口取最大值生成输出。
计算二维数组子矩形 input[S_ROW..E_ROW][S_COL..E_COL] 的元素和（行列索引均为 0-based 含端点）。
outputImplement a program that performs a 3D convolution operation with "valid" 边界（无 padding）。输入为体数据与三维 kernel，均按行优先然后按 depth 展平为一维数组。输出尺寸：
output_depth = input_depth - kernel_depth + 1
output_rows = input_rows - kernel_rows + 1
output_cols = input_cols - kernel_cols + 1
计算三维数组子块 input[S_DEP..E_DEP][S_ROW..E_ROW][S_COL..E_COL] 的元素和（深度、行、列索引均为 0-based 含端点）。
output