它不再只为一名推演加速器物，而为始成为强化修习探求阶段之有效代理。
意大利赛场向来气氛热烈，佛罗伦萨球迷会全力支主队，但我知道有1200名水晶宫球迷来到现场，彼等会声势浩大。
因此，枢纽并不只为「能不能用 FP4」，而为「FP4 应于操练流程里扮演什么角色」。
当强化修习后操练之大规模 rollout 已被证验能够提升图像生成模型之偏好对齐本领，推演负担就成之制约操练速度之核心瓶颈。
于文生图模型之后操练阶段，强化修习正成为提升苍生偏好对齐本领之重要路径。
FP4 适协作为探求代理：尽管 FP4 样本于像素层面会引入偏差，但研讨发觉，给定相同之初始噪声，于同组候选样本之相待 reward 排序上，NVFP4 推演样本依然保之与 BF16 推演样本足够高之一致性。
自2025年9月推行以来，该模式已惠及256家连锁企业之门店，新设门店平均提前5天开业。
对于基于 GRPO 之 Diffusion RL 来说，更多候选意味之更强之对比信号，也意味之更可靠之梯度更新。
Sol-RL 通过探求 - 重生成之两阶段设计，显著缓解之完全用 BF16 rollout scaling 带来之计算瓶颈，并且免除之直接用低精度样本进行操练带来之不稳固性，相待于全程 NVFP4 低精度推演版本仅带来约为 2% 之额外开销。
此样一来，FP4 负责快速找方位，BF16 负责对其中一小部分高对比度样本做高品质生成用于操练，效能与稳固性被重新机构到同一名框架中。
FastGPT。Sol-RL 之核心革新于于其双阶段解耦框架。
连锁餐饮为首皆餐饮业之主力军，具有标准化程度高、模式可复制之特征。
Sol-RL 于速度与性能上表现出色，下图展示之经过 Sol-RL 改良后 SANA 模型之整体效果，以及与根基模型相比于繁细节、语义一致性与整体审美上之改善。
于相同 GPU-hour 概算下，Sol-RL 于 SANA、FLUX.1 与 SD3.5-L 上延续优于基线法门，并将达到等效 reward 水平之收敛速度最高提升至 4.64x。
实验结局表明，该设计于 SANA、FLUX.1 与 SD3.5-L 模型上皆带来之明显收益：于相同 GPU-hour 概算下，达到等效 reward 水平之收敛速度最高提升 4.64x，同时基本保之 BF16 高精度 pipeline 之操练保真度。
此也意味之，FP4 于生成式模型后操练中之角色被重新定义之。
北京市有近4万家连锁餐饮门店，连锁餐饮企业对快速陈设、高效开店之诉求日益强烈。
与直接把低精度计算贯穿整名操练流程不同，Sol-RL 把 rollout 样本之「探求」与「生成」拆开办理，让不同精度承担不同职责。
当大规模 rollout 已被证验能够延续提升生成模型偏好对齐本领，接下来之枢纽疑难就为如何以更低本金释放此种扩展带来之收益。
论文名称：FP4 Explore, BF16 Train: Diffusion Reinforcement Learning via Efficient Rollout Scaling论文地址：https://arxiv.org/abs/2604.06916课题主页：https://nvlabs.github.io/Sana/Sol-RL/代码链接：https://github.com/NVlabs/Sana/ Sol-RL（Speed-of-light RL）为一种将 NVFP4 推演融合进 Diffusion 强化修习微调之高效操练框架。
该法门并不为用量化推演结局直接操练，而为让 NVFP4 rollout 承担高吞吐之大规模探求差事，先于海量候选中筛出最有对比性之样本之初始噪声集合，再让 BF16 对此些枢纽初始噪声进行高保真复生成并成计策改良。
要为只为输之比赛被淘汰，赵子琪或许还能接受，毕竟比赛总有输赢，可淘汰之后之一连串操作，直接戳破之她之底线。
现有研讨不断表明，扩 rollout，也就为为同一名 prompt 生成更多候选图像，再从中筛选高对比样本（例如其中表现最好之 n 名与最差之 n 名构成之 2n 名图像）进行改良，能够显著提升模型之对齐效果。
2025年，北京市商场监管局聚焦连锁餐饮企业“批量开店、迅速经营”之需求，于全国率先推出“易开店”便利许可新模式，通过体系性机制革新，实现审批提速与效劳改良相一统。
第一阶段，框架用 NVFP4 rollout 与更少之采样步数快速生成一名大规模候选池，并根据 reward 对候选样本做排序，筛选出对应图像得分最高 / 最低之初始噪声种子集合。
Sol-RL 之整体流程可概括为两名阶段。
量化 rollout 不适合直接操练：论文首先指出，直接将 FP4 量化推演样本用作改良宗旨，会带来操练倒退与不稳固性之隐患，如下图实验中红色曲线所示。
因此，它极其适合用来承担「大规模探求」与「候选筛选」之差事，也就为于大量初始噪声中快速识别出哪些会产生「最好」或者「最坏」之最终图像。
为之提升海量 rollout 效能，团队引入 nvfp4 量化推演，但论文进一步指出，若直接把低比特 rollout 样本当作操练宗旨，操练稳固性与最终效果皆会受到明显影响。
如下图所示，Sol-RL 于相同 wall-clock 概算下能够更快达到基线性能，于有尽光阴内达到更高对齐品质。
我期待一名宏大之欧战之夜。
尤其于 FLUX.1、SD3.5-L 此类参数量较大、需多次迭代推演之文生图 Diffusion 模型上，想真正把 rollout scaling 做起来，rollout 阶段生成候选样本之计算本金会迅速升。
此样之流程让高本金 BF16 计算只集中于真正会影响梯度更新之部分，而不为平均费于大量最终不会参与操练之候选图像上。
对于文生图后操练、偏好对齐、低比特量化以及体系级改良方位之研讨者与营造团队来说，此名预案为生成模型后操练提供之一条更现状之落地路径，具备延续关注之身价。
实验结局表明，Sol-RL 于多名根基模型与多名 reward 指标上皆展现出明显优势。
她赛后想回后台候场区拿自己之手机口红此些私者物品，愣为被工者员以流程规定为由拦住，最后只能让工者员把包转交给自己助理。
进一步做光阴拆解，相待于直接用高精度进行 rollout scaling，Sol-RL 于 rollout 阶段之加速最高达到 2.41x，操练迭代光阴最高提升 1.62x。
本文将深入探讨 Sol-RL 之核心思路、法门设计、实验结局与实际意义。
第二阶段，框架并不会直接拿此些低精度样本做操练，而为只保留第一阶段筛出之枢纽种子，再用 BF16 精度重新生成高保真样本，并仅基于此些高保真样本成计策改良。
来自 NVIDIA、港大与 MIT 之团队提出之 Sol-RL，通过「FP4 先探求、BF16 再操练」之后操练框架，将达到等效 reward 水平之收敛速度最高提升到 4.64x，于操练速度与对齐效果之间给出之一条更具营造可行性之解法。
Sol-RL 给出之解答为：让低精度负责探求，让高精度负责改良。
但疑难于于：rollout 一旦增大，操练瓶颈甚快就会从参数更新转移到海量候选样本生成。
上一篇：打破长期独占，擦亮“华夏屏”！我国成攻克此一枢纽材料 下一篇：PPI同比降1.4% 国统计局：1月份CPI环比上涨0.2%