Puro-2B：普通实验室也能做预训练？
在RTX 5090上用5090美元平替Qwen2-1.5B！
普通实验室想从小模型实验走向十亿参数、万亿 token 的预训练，需要多少算力预算？
这类模型已被广泛使用，例如 Qwen2-1.5B、Qwen2.5-1.5B 和 Qwen3-1.7B。Qwen 系列公开了权重，但没有完整公开预训练配方。OLMo、SmolLM 等进一步公开了数据和训练细节，复现成本却依然很高：据估计，即使在十亿级参数规模，复现 OLMoE-1B/7B 和 SmolLM3-3B 也分别需要约 20 万美元和 71.9 万美元的算力成本。1, 21OLMoE: Open Mixture-of-Experts Language ModelsICLR 20252SmolLM3: smol, multilingual, long-context reasonerHugging Face · 2025
对于普通实验室，知道“怎么训”还不够，还得真正“训得起”。我们需要一套低成本、可复现的“穷人版”预训练方案。
Puro-2B：全流程开源的“穷人版”预训练方案
为此，我们推出 Puro-2B（普罗-2B），并公开了训练数据、训练框架、训练配置和模型权重。
图 1｜Puro-2B “穷人版”训练流程 （论文 Figure 3）
我们在消费级显卡 RTX 5090 的计算集群上，从头训练了约 20 亿参数的模型。我们尝试了不同的训练规模，最多使用了 1.4 万亿 token。依据我们的配方，用 4400 美元的预训练计算成本，便能在 15 项任务的平均性能上达到 Qwen2-1.5B 水平（还没花到 5090，标题先借显卡型号玩个梗）。采用更完整训练配方的实验，使用约 6900 美元的成本，平均性能可以接近 Qwen2.5-1.5B。相比其他开源方案，Puro-2B 显著降低了训练成本。
论文：arXiv:2608.27370
开源仓库：Puro-Megatron
模型与数据合集：Puro-2B on Hugging Face
↔ 左右滑动查看全部 15 个模型
图 2｜模型性能与复现成本 （论文 Figure 1）
完整成本对照（Table 7）
上述统计，只计正式预训练 GPU 成本，不代表项目总成本。
预算更少，模型能训到什么水平？我们拟合了一条成本—性能经验曲线（Puro Cost Scaling Law），用来估计不同预算下的模型表现。具体来说，我们从同一个第一阶段检查点出发，在第二阶段将数据随机打乱（Uniform Data，UD），按不同预算完成训练，再拟合平均评测得分与总成本的关系。这条曲线针对 Puro 配方，帮助研究者在正式训练前估计性能、调整方案，而不必先复现最长的训练过程。
图 3｜Puro Cost Scaling Law （论文 Figure 2b）
UD、CD 与 CMA 见 第4节（CMA） · UD final（图 13）
我们从硬件选择、低精度训练、优化器改进、高质量数据利用效率和数据选择五个方面入手，降低预训练成本。
↔ 左右滑动查看完整图表
图 4｜各环节效率收益汇总 （论文 Figure 2a）
1. RTX 5090：单位成本，更高算力
我们先从硬件选择开始：
同样的预算能买到多少算力？
我们按 H200 的租赁报价，以及 RTX 5090 按五年摊销的硬件成本加电费，计算各自的单卡小时成本（RTX 5090 的核算价格与我们了解到的实际市场租赁价格接近）。在这一口径下，RTX 5090 每美元可提供的 BF16 峰值计算量约为 H200 的 2.77 倍。它的单卡峰值算力较低，但卡时成本降得更多，所以同样预算能买到更多计算量。除此之外，RTX 5090 这类消费级显卡，也便于普通实验室采购。
| GPU | BF16 TFLOPS | FP8 TFLOPS | GPU memory | P2P bandwidth (bidirectional) | USD / GPU-hour | BF16 EFLOP / USD |
|---|---|---|---|---|---|---|
| A100 SXM4 | 312 | N/A | 80 GB | 600 GB/s | $1.79 | 0.63 |
| H200 SXM5 | 989.5 | 1979 | 141 GB | 900 GB/s | $4.00 | 0.89 |
| RTX PRO 6000 | 503.8 | 1007.6 | 96 GB | 128 GB/s | $1.89 | 0.96 |
| RTX 5090 | 209.5 | 419 | 32 GB | 128 GB/s | $0.31 | 2.43 |
表 5｜不同显卡的计算价格比值的统计与对比 （简化自论文 Table 2）租赁报价截至 2026 年 8 月 16 日，RTX 5090 按硬件摊销和电费核算。
优化卡间通信。RTX 5090 只有 32 GB 显存，也没有 NVLink，不能直接照搬数据中心 GPU 的训练配置。我们通过调整驱动和系统配置，在节点内启用 PCIe P2P 通信，将 GPU 间单向带宽从 31.5 GB/s 提升到 56 GB/s，通信延迟从 14.3 µs 降低到 0.4 µs。在节点间，我们启用 GPUDirect RDMA，让 24 卡 AllReduce 总线带宽从 8.87 GB/s 提升到 19.93 GB/s。3, 43在 RTX 5090 上启用 PCIe P2P 通信支持Harry Chen’s Blog · 2026-03-224在 RTX 5090 上启用 GPUDirect RDMA 通信支持Harry Chen’s Blog · 2026-05-20
平衡计算与显存负载。针对十亿级参数模型和 RTX 5090 的硬件特点，我们结合数据并行与流水线并行，避免通信频繁的张量并行。随后，我们重新分配流水线各阶段的计算量，调整微批次大小，并按显存占用分配优化器状态，平衡不同节点的显存负载。这些调整使综合 MFU 超过 70%，将消费级显卡的价格优势转化为实际训练成本的降低。
效率收益与实验依据
有了更划算的算力，接下来我们尝试用 FP8 加快训练。
2. FP8：加快 RTX 5090 上的训练
RTX 5090 的 Blackwell 架构还为 FP8 训练提供了基础。我们沿用 DeepSeek-V3 的细粒度分块量化思路，将主要线性层的矩阵乘法放在 FP8 路径上，同时让数值敏感操作和训练状态保留 BF16 或 FP32 精度，形成整体 FP8 方案。55DeepSeek-V3 Technical ReportarXiv:2412.19437 · 2024
提速能否抵消精度损失？我们通过五个模型规模的对照实验（Scaling Ladder），比较 FP8 与 BF16 的净效率。FP8 的验证损失高出约 0.003–0.004，差距较小且跨规模稳定。与此同时，在 1.7B 模型上，FP8 的训练吞吐效率提升到 BF16 的 1.36 倍。要判断净收益，还需要扣除 FP8 为达到 BF16 相同损失所需的额外计算量。经过这一质量校正，据估计仍有约 1.34 倍净效率收益。
图 6｜FP8 的损失差距（上图）与质量校正后的效率对比（下图） （论文 Figure 10b）
效率收益与实验依据
3. MuonH：从有效学习率出发设计优化器与调度
精度决定更新的计算方式，优化器和学习率（learning rate，LR）决定更新的方向和步长。我们采用 MuonH：在 Muon 的基础上归一化更新，并在每次更新后将权重投影回固定半径的球面。有效学习率（effective learning rate，ELR）衡量更新量相对于权重尺度的大小。MuonH 同时控制更新范数和权重范数，使它负责的矩阵参数的学习率在数值上等于 ELR（按投影前的更新量计算）。因此，设定这些参数的学习率调度，也就直接设定了 ELR 的变化过程。66Fantastic Pretraining Optimizers and Where to Find Them II: Hyperball OptimizationarXiv:2606.16899 · 2026
图 7｜MuonH 原理示意图以及与Muon的对照 （论文 Figure 4）
只对齐 ELR，普通 Muon 能否重现 MuonH 的损失曲线？我们在 170M 参数模型上进行了 BF16 对照实验。这个对照记作 Muon-ELR：不做固定半径的权重投影，让权重范数在训练中自然变化，只动态调整普通学习率，使其 ELR 轨迹与 MuonH 对齐。MuonH 的 ELR 就是为其矩阵参数预设的学习率，因此对齐的目标也是 MuonH 的学习率调度。对齐后，两者的损失曲线几乎重合。这说明，MuonH 在这组实验中的优势不能仅归因于范数约束，有效学习率 ELR 的变化过程是理解超球优化效果的关键。6, 116Fantastic Pretraining Optimizers and Where to Find Them II: Hyperball OptimizationarXiv:2606.16899 · 202611From LR to ELR: A Better Heuristic for Pretraining DynamicsTencent Hunyuan · 2026
图 8｜ELR 对齐实验的解释与对照 （综合论文 Figure 5 与 Figure 15）
有效学习率：半径与更新角度
↔ 左右滑动查看完整对照
| Optimizer | Scalar LRηt | Weight norm‖Wt‖F | Update norm乘学习率之前 | Effective LRρt | Update geometry切向更新示意 |
|---|
备注：示意图的简化与尺度
为直观比较三种配置，这里将高维参数更新简化为二维切向更新示意。在这个简化关系中，有效学习率 ρ 对应的角度为 θ = arctan ρ。绘图统一将角度放大 20 倍，以便看清 MuonH 与 Muon-ELR 的角度是否接近。半径采用对数尺度，并将每组第 20 步的权重范数归一为 1，以虚线圆作参照，因此圆的扩张反映各组相对起点的范数变化。
进一步比较发现，当 weight decay 不足以约束权重范数时，普通 Muon 的 ELR 在训练前期下降更快，损失也更早降低。MuonH 的 ELR 衰减更平缓，后期表现更好。因此，我们不再只比较“用哪个优化器”，也开始研究“如何设计有效学习率调度（ELR schedule）”。77A Multi-Power Law for Loss Curve Prediction Across Learning Rate Schedules
衰减阶段应该多长？我们使用预热—稳定—衰减（Warmup-Stable-Decay，WSD）学习率调度，比较不同峰值学习率、训练数据量和衰减阶段占比的影响。结果显示，较高的峰值学习率和更长的训练周期，通常更需要较长的衰减过程。这些观察支持在第二阶段采用长线性衰减，为最终的损失收敛留出空间。第一阶段采用 power schedule，则是为了在不预设终点的情况下支持持续训练。88Power Scheduler: A Batch Size and Token Number Agnostic Learning Rate SchedulerarXiv:2408.13359 · 2024
图 9｜消融实验与学习率设计 （论文 Figure 6）
再比较达到相同损失的计算成本。前面的 ELR 对齐实验检验的是，普通 Muon 能否重现 MuonH 的损失曲线。这里比较的是两套训练配方达到相同验证损失各需多少计算量。我们在 0.17B–1.7B 的五组模型规模上进行扩展阶梯（Scaling Ladder）实验，两组都使用分块 FP8。这里的普通 Muon 基线采用按模型规模设定的学习率，并作线性衰减，不是前面逐步调整普通学习率、主动匹配 MuonH ELR 的 Muon-ELR 对照。对这五组实验拟合损失—计算量曲线后，MuonH 方案的训练效率约为调参后 Muon 基线的 1.19 倍。
图 10｜MuonH 的训练效率消融 （论文 Figure 10a）
效率收益与实验依据
4. CMA：让训练后期的高质量数据得到充分利用
除了优化器，数据顺序也会影响训练效率。高质量样本在训练集中占比不高，却很重要，将它们放在训练后段有助于提高利用效率。许多开源数据集提供样本质量分数。我们据此在各数据源内部把高质量样本排到后段，再按训练进度对齐、混合不同来源的数据块。随着训练推进，模型会接触到质量更高的样本，同时，局部训练区间内的数据源配比保持近似稳定，避免质量变化伴随领域比例的突变。
图 11｜课程数据构造 （论文 Figure 7 左图）
高质量数据放在训练后段，学习率也需要相应调整。我们此前的研究发现：当训练后期学习率过低时，最后出现的优质数据难以推动参数更新。因此，我们采用课程模型平均（Curriculum Model Averaging，CMA）。我们先在第二阶段按线性衰减方案训练，再从这条轨迹上第 218,000 步保存的检查点恢复训练。续训时，学习率固定为该步的数值，不再衰减，让模型继续学习后续的高质量数据。最后，我们对续训末端六个检查点的对应模型参数求算术平均，用平均后的参数构成最终模型，减小单个检查点波动对结果的影响。99How Learning Rate Decay Wastes Your Best Data in Curriculum-Based LLM Pretraining
图 12｜高质量数据与学习率衰减（左）及恒定学习率续训与模型平均（右） （课程学习率示意与论文 Figure 7 右图）
数据顺序有多大影响？在相同的数据与学习率衰减设置下，课程排布优于随机排布：CD decay final 的平均分为 57.17，高于 UD decay final 的 55.99。对两条衰减轨迹分别做模型平均后，CD decay avg 为 57.18，也高于 UD decay avg 的 55.57。两组比较分别提高 1.18 和 1.61 个百分点，说明调整数据顺序本身就能带来收益。99How Learning Rate Decay Wastes Your Best Data in Curriculum-Based LLM Pretraining
衰减轨迹上的平均，收益有限。沿学习率衰减轨迹直接做模型平均，UD 的平均分从 55.99 降至 55.57，CD 则从 57.17 变为 57.18。也就是说，保留学习率衰减、只增加末端参数平均，并没有带来明显收益。
恒定学习率续训后，平均更有效。比较 CDC 215k final 与 CMA 215k avg，末端六个检查点的参数平均将分数从 55.64 提高到 56.80。在从第 218,000 步恢复后续训的实验中，参数平均将分数从 57.12 提高到 57.81，分别提升 1.16 和 0.69 个百分点。这两组实验表明，当模型以恒定学习率继续学习后期高质量数据时，模型平均更能发挥作用。最终，我们采用课程数据排布，从第 218,000 步的检查点恢复，以恒定学习率续训，再对续训末端六个检查点的参数求平均，得到 CMA 模型。
图 13｜对数据顺序、后期学习率与模型平均策略的消融实验 （论文 Figure 13b）
UD：随机数据顺序＋学习率衰减。 CD：课程顺序＋学习率衰减。 CDC：CD 后接恒定学习率续训。 CMA：平均续训末端的检查点参数。 215k/218k 指从第 215,000/218,000 步恢复，final/avg 分别表示末个检查点/检查点参数平均。
根据 Puro Cost Scaling Law 的拟合结果，相比于随机数据排布（Uniform Data，UD），课程数据配合学习率衰减的成本效率约为 1.65 倍，完整 CMA 方案则达到约 2.40 倍。
效率收益与实验依据
5. 数据评测：通过小规模实验评估与对比数据价值
数据顺序解决后，还要决定选哪些数据。
我们先从各个候选数据源中抽取一部分数据。对于大规模且有质量评分的数据集，分别从不同分数区间抽样。对于其他符合条件的数据源，则随机抽样。随后，针对每份抽样数据，我们从同一个模型检查点出发，在相同配置下继续训练，再用相同的评测比较数学、代码、中文和通用任务的分数。1010PCMind-2.1-Kaiyuan-2B Technical ReportarXiv:2512.07612 · 2025
这些代理实验既能比较不同数据源，也能揭示同一来源内部的质量差异。在这些实验中，代码得分较高的数据源，往往在通用评测上得分较低。数学得分与通用得分之间的取舍则较弱。因此，我们在第二阶段给数学数据分配略高于代码数据的比例，再结合领域覆盖和质量筛选确定最终配比。小规模实验帮助我们判断保留哪些数据源和分数区间，以及各自分配多少比例。相关数据集评测结果已在报告中公开。
图 14｜代理评测流程 （论文 Figure 9）图 15｜两阶段数据配比 （论文 Figure 8）
从节省算力，到研究完整的训练过程
在这套方案中，硬件降低每单位计算的价格，FP8 提高训练吞吐量，MuonH 减少达到相同验证损失所需的计算量，CMA 提高训练数据的利用效率，代理评测帮助比较并选择训练数据。这些改进共同组成了我们的低成本训练流程。
控制预训练，再比较后训练结果。如果只有开源权重，研究者很难控制模型此前的预训练过程。使用 Puro-2B，研究者可以在较低预算下修改预训练方案，再采用相同的微调和评测流程，比较这些修改对最终模型的影响。
CMA 的收益能否延续到后训练？我们对 CMA 与 Uniform 两个预训练权重采用相同的微调流程。在两组数学能力的微调实验中，基于 CMA 初始化微调的 GSM8K 准确率分别高出 1.77 和 2.02 个百分点。在 Tulu-3 混合领域微调中，15 项基准平均分提高 1.17 个百分点，IFEval 提高 1.36 个百分点。这三组对照均呈现总体提升，说明 CMA 的收益在这些微调设置下能够延续到后训练。99How Learning Rate Decay Wastes Your Best Data in Curriculum-Based LLM Pretraining
图 16｜CMA 与Uniform数据预训练的权重做微调后的对照 （论文 Figure 11）
全流程开源
我们公开了最终模型、中间检查点，以及训练数据和训练框架。模型权重与项目代码采用 Apache 2.0 许可，而源数据集仍需遵循各自上游条款。开源材料包括：
- 模型与中间检查点：Puro-2B 开源合集
- 训练数据与配比：Puro-2B Dataset
- 训练代码：Puro-Megatron
- 数据处理代码：Kaiyuan-Spark1010PCMind-2.1-Kaiyuan-2B Technical ReportarXiv:2512.07612 · 2025
其他团队可以用这些材料复现 Puro-2B，也可以在此基础上调整优化器、学习率或数据配方，用相同的评测比较不同方案的训练成本和模型表现。
注：本项目的成本核算针对正式预训练的 GPU 算力成本，不包含数据处理、消融实验、后训练和研发人力等项目总开支。
致谢
感谢李怡康、周文杰、陈诺审阅本文并提出改进意见。感谢衍复投资提供算力支持。