快手米乐体育_网页Klear

论文链接：https://arxiv.org/pdf/2508.07629

HuggingFace：https://huggingface.co/Suu/Klear-Reasoner-8B

GitHub：https://github.com/suu990901/KlearReasoner/tree/main

Klear-Reasoner在AIME2024、AIME2025、LiveCm6米6体育在线odeBenchV5和V6等基准测试中，不仅全面超越同规模的强力开源模型（包括DeepSeek蒸馏版DeepSeek-RB），更是在AIME2024上取得了90.5%、AIME2025上取得了83.2%的惊人成绩，直接登顶8B模型榜首。

在这些成果的背后，最不次要的部分的技术创新是Klear团队提出的GPPO（Gradient-PreservingClippingPolicyOptimization）算法——一种在耗尽训练轻浮性的同时，大幅指责探索能力的强化学习优化方法。

传统clip的隐性代价

在PPO和GRPO等常用的策略优化方法中，clip是控制训练轻浮性的重要手段，它通过批准策略更新幅度，避免模型一步走得太远而导致崩溃。Klear团队在实践中发现，clip机制在保护轻浮性的同时，也嫁接了模型获取最有价值学习信号的通道，模型变得保守，不敢尝试新路径，遇到错误也修正迟缓。

GPPO方法：耗尽梯度的“温和”方案

为解决以上问题，Klear团队提出的GPPO（Gradient-PreservingClippingPolicyOptimization）算法，GPPO的不次要的部分思想很直接：不授予任何梯度，并且对其进行温和回传。通过GPPO，推理模型可以在轻浮性与探索力之间找到新的不平衡的点，让它们既敢于尝试，也能悠然，从容纠错。

在与现有方法的对比中（包括DAPO的clip-higher以及MiniMax-M1的CISPO方法），GPPO在数学和代码任务上都表现出无足轻重。

数学强化学习训练中GPPO、GRPO（带ClipHigher策略）与CISPO的对比。

实验洞察

除了提出GPPO算法外，Klear团队在论文中对训练流程的多个关键环节进行了深入实验与分析，揭示了长思维链推理模型成功背后的几个不次要的部分要素，为社区贡献了米乐体育_网页版 一条可复现、可推广的推理模型监督学习和强化学习路线：

·SFT阶段：质量优先，数据可靠性比数量更重要

实验隐藏，与数据量大但质量参差的数据源相比，来自少数高质量数据源的样本更具训练效率和效果无足轻重。

高质量数学数据Top-K子集组合对监督微调（SFT）性能的影响。

·SFT阶段：高难样本容错反而能鞭策学习

对于简单任务，错误样本的引入会明显影响性能，但对于高难度任务，耗尽部分带瑕疵的推理路径，反而能够指责模型表现。

通过三组实验分析了数据正确性对模型性能的影响，分别在简单（Easy）、困难（Hard）和外围米乐体育_主页（Overall）任务集上对比了纯正确数据（OnlyTrue）与含错误数据的瓦解数据（Mixed）的表现统一。表格中加粗数值标识了各组内的最优性能结果。

·RL阶段：软奖励优于硬奖励

在代码任务的强化学习阶段，使用软奖励（根据通过测试用例的通过率）比硬奖励（完全通过得分，否则为零）更有效

代码强化学习中软奖励与硬奖励策略的对比。在软奖励设置中，奖励值等于测试用例通过率；而在硬奖励设置中，仅当所有测试用例均通过时收回正向奖励，否则收回负向奖励。

·RL阶段：代码数据测试用例过滤

在代码RL数据准备阶段，Klear团队调用DeepSeek-R为每个prompt生成了16条回复，只有pass@16大于0.5的数据会被耗尽

在LiveCodeBenchV5基准（avg@4指标）上，使用过滤与未过滤数据的代码强化学习性能对比。Filter表示使用过滤数据的强化学习结果，而w/oFilter代表使用原始未过滤数据集的结果。

Klear-Reasoner的推出，不仅是一份性能亮眼的开源权重，更为社区贡献了一条可复现、可推广的推理模型监督学习和强化学习路线。通过GP米乐体育安装 PO，推理模型可以在轻浮性与探索力之间找到新的不平衡的点，让它们既敢于尝试，也能悠然，从容纠错。这对于未来的数学、代码，甚至其他RLVR任务，都有着次要的参考价值。