【示例】从 Scaling Law 看大模型训练算力账

示例内容：这是一篇用于演示排版与功能的占位内容，可直接删除或替换为真实内容。

一条经验公式

训练一个稠密 Transformer 的总计算量近似为：

$$C\approx 6ND$$

其中 $N$ 是参数量，$D$ 是训练 token 数，系数 6 来自前向（2）+ 反向（4）的乘加次数。若集群有效算力为 $P$（FLOP/s），利用率为 $\eta$，则训练时长：

$$T=\frac{6ND}{\eta P}$$

估算示例

参数量 $N$	Token 数 $D$	计算量 $C$
7B	2T	$8.4\times 10^{22}$
70B	15T	$6.3\times 10^{24}$

用代码算一遍

def train_days(n_params, n_tokens, gpus, flops_per_gpu=989e12, mfu=0.4):
    """估算训练天数（默认 H100 BF16 稠密峰值 & 40% MFU）"""
    total = 6 * n_params * n_tokens
    return total / (gpus * flops_per_gpu * mfu) / 86400

print(f"{train_days(70e9, 15e12, 8192):.1f} 天")

行内代码示例：torch.compile(model)。